spark 读取本地文件_spark读取本地文件

1 背景

   基于spark 开发程序

   数据放在本地文件中，为text格式

   本文语言案例为java 

 2   步骤

 2.1 搭建工程

    ​​​​​​​ 基于maven搭建spark工程_this is a book的博客-CSDN博客

  2.2 代码示例

 SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
 SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());
 JavaRDD<String> rdd = javaSparkContext.textFile(INPUT_PATH); 
 rdd.foreach(new VoidFunction<String>() {
      @Override
      public void call(String s) throws Exception {
           System.out.println(s);
       }
  }); 

 3   注意事项

    如果是放在linux 服务器上，并且跑在spark 上，文件路径需要加这个前缀

file:///data/demo.text

  原因是spark一般和hdms组合使用，读取本地文件需要加前缀表明读取的是本地文件