当前位置:   article > 正文

Spark安装-环境搭建_spark without hadoop

spark without hadoop

Spark安装-环境搭建

1.1Spark简介

ApacheSpark 是用于大规模数据处理的统一分析引擎。是一个基于内存分布式计算框架。由于Spark基于内存,相对于hadoop的MapReduce等计算框架 大大提高了数据处理的实时性 ,同时Spark也i提供高容错性和可扩展性。

1.2Spark 发展

2009年诞生与加州大学

2012年 ,新版本包含了java的api

2016年 ,支持了kafka

1.3Spark优势

1:速度块

​ 与hadoop的MapReduce相比,基于内存的数据库使用Spark要比MapReduce快100个数量级别以上。速度提高了100倍。

2: 易用性

​ Spark程序支持开发者使用 java,Scala,Python,R 变成语言进行快色的开发。而且还提供了80多种高级api。

3:通用性

​ Spark提供一个强有力的一栈式通用的解决方案。SparkSql(交互式查询),SparkStreaming(实时流处理),机器学习,图计算。

4:兼容性

​ Spark与其他的开源产品兼容性很好,例如 Spark可以兼容hadoop。

2.1Spark的环境搭建

2.1.1基本环境

​ Spark可以在windows环境和linux环境上机型运行,Spark可以java8 ,R3.1,Python 2.7.

​ Scala需要2.11以上的版本。

2.1.2Sprak 的运行模式

Spark有四种运行模式 :

1:local 单机模式 ,一般用于开发测试。

2:Yarn Spark客户端直接Yarn。

3:Standalone 构建一个有Master和Worker 构造Spark集群,在集群中运行。

4:Mesos ,Spark客户端直接连接Mesos,不需要额外的构建Spark集群

3.1Spark的安装

3.1.1 Spark的下载

#将安装文件上传到 download目录下
rz
  • 1
  • 2

本次安装我们使用单机模式 。

需要注意 :先完成 linux系统,JDK 安装 ,hadoop安装 之后 才能安装 Spark

3.1.2解压Spark文件

#解压文件
tar -zxvf spark-2.4.5-bin-without-hadoop.tgz  -C /usr/local/
#修改目录名称
mv spark-2.4.5-bin-without-hadoop/ spark
  • 1
  • 2
  • 3
  • 4

3.1.3 配置相关文件

安装文件解压以后 ,还需要创建一个Spark的配置文件 ,我们直接复制一个由Spark提供配置文件模板,

#进入到spark的目录下
cd /usr/local/spark/
# 从模板中复制一个配置文件
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
  • 1
  • 2
  • 3
  • 4

复制出来配置文件之后 ,我们要进行修改 ,要将hadoop的安装目录 添加到配置文件中去

#使用vim修改我们复制出来的配置文件
vim ./conf/spark-env.sh
# 在配置文件中添加一下信息
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
  • 1
  • 2
  • 3
  • 4

配置完成之后 ,我们运行Spark自带的案例 ,获取Pi的近似值(圆周率)

#输入命令获取pi的近似值
./bin/run-example SparkPi 2>&1 |grep "Pi is roughly"
  • 1
  • 2
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/790810
推荐阅读
相关标签
  

闽ICP备14008679号