使用Spark shell_启动spark shell命令

作者：IT小白 | 2024-06-28 18:53:01

踩

启动spark shell命令

使用Spark shell

1. 实验室名称：
2. 实验项目名称：
3. 实验学时：
4. 实验原理：
5. 实验目的：
6. 实验内容：
7. 实验器材（设备、虚拟机名称）：
8. 实验步骤：
9. 实验结果及分析：
10. 实验结论：
11. 总结及心得体会：
12、实验知识测试

原创申明：未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计2993字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

1. 实验室名称：

大数据实验教学系统

2. 实验项目名称：

使用Spark shell

3. 实验学时：

4. 实验原理：

spark-shell命令及其常用的参数如下： ./bin/spark-shell [options]
Spark的运行模式取决于传递给SparkContext的Master URL的值。
• 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。
• 要查看完整的参数选项列表，可以执行“spark-shell —help”命令，如下：

0.	 $ spark-shell --help
1

Master URL（即—master参数）的值如下表所示：

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】