代码探险家

这个屌丝很懒，什么也没留下！

热门标签

Spark在Win10下的环境搭建_spark win 安装

作者：代码探险家 | 2024-07-05 19:29:44

踩

spark win 安装

 
 前言 

  本章将介绍如何在WIN10下实现spark环境搭建。 

 
 本章概要 

  1、版本说明 

  2、环境准备： 

 
 版本说明 

  jdk：1.8 

  scala：2.11.8 

  spark：2.3.0 

  hadoop：2.8.3 

 
 环境准备 

 
 jdk配置 

  1、配置JAVA_HOME与Path： 

  Path 

  2、验证配置： 

 
 scala安装与配置 

  1、scala下载： 

 
 访问官方地址 
 http://www.scala-lang.org/download/2.11.8.html 

  2、配置Path： 

  3、验证配置： 

 
 Spark安装与配置 

  1、spark下载： 

 
 访问官方地址 
 http://spark.apache.org/downloads.html 

  选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多） 

  2、解压至D盘； 

  3、配置Path： 

  4、通过spark-shell进入Spark的交互式命令行模式： 

  如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。 

 
 Hadoop安装与配置 

  1、hadoop下载 

 
 访问官方 
 http://hadoop.apache.org/releases.html 

  进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快） 

  2、解压至 

  3、配置HADOOP_HOME&Path： 

  path： 

  4、winutils下载： 
 https://github.com/steveloughran/winutils 

  下载对应版本的bin目录直接替换本地bin目录即可。 

  5、此时继续spark-shell进入spark命令行交互模式： 

  此时即不会出现上述的异常提示。 

  6、访问控制台中的webui如下： 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/790809