当前位置:   article > 正文

解决IDEA:Failed to locate the winutils binary in the hadoop binary path

failed to locate the winutils binary in the hadoop binary path

出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。

解决方法:

1.去官网下载自己需要的hadoop版本:

Index of /dist/hadoop

下载完后解压到指定的目录之下记住目录名字。

2.下载相对应的hadoop-common

hadoop-common-2.6.0-bin-master.zip_inthehadoopbinarypath-Hadoop文档类资源-CSDN下载

将其中的放入原来hadoop的bin目录下

3.编辑环境变量

添加HADOOP_HOME

若没有则新建一个。

添加CLASSPATH

%HADOOP_HOME%\bin\winutils.exe

添加PATH

%HADOOP_HOME%\bin;

4.测试

import org.apache.spark.{SparkConf, SparkContext}
object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark pi").setMaster("local")
    val sc = new SparkContext(conf)
    val data = sc.parallelize(1 to 10)
    data.foreach(println(_))
  }
    }

跑一跑或者:

成功

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/711174
推荐阅读
相关标签
  

闽ICP备14008679号