当前位置：网站首页>spark 读取本地文件

spark 读取本地文件

2022-08-02 07:00:00 【this is a book】

1 背景

基于spark 开发程序

数据放在本地文件中，为text格式

本文语言案例为java

2 步骤

2.1 搭建工程

基于maven搭建spark工程_this is a book的博客-CSDN博客

2.2 代码示例

 SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
 SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());
 JavaRDD<String> rdd = javaSparkContext.textFile(INPUT_PATH); 
 rdd.foreach(new VoidFunction<String>() {
      @Override
      public void call(String s) throws Exception {
           System.out.println(s);
       }
  });