当前位置:   article > 正文

【 Spark编程基础 】实验1_spark实验一

spark实验一

第1部分:虚拟机的准备工作

1.1 下载安装虚拟机

  • 这里一开始使用Mac电脑安装虚拟机,使用UTM,但是过程曲折,后期换成了Windows系统,使用VMWare安装虚拟机
    在这里插入图片描述

1.2 修改主机名

在这里插入图片描述
在这里插入图片描述

1.3 主机ip映射

  • 获取Ubuntu虚拟机网卡编号

    • 获取Ubuntu虚拟机的网卡编号:ifconfig
    • 如果提示未安装ifconfig,需下载ifconfig:sudo apt install ifconfig
    • 如果提示未安装net-tools,需下载net-tools :sudo apt install net-tools
    • 如提示需更新:sudo apt-get update
      在这里插入图片描述
  • 修改虚拟机IP地址(可选,建议不要改,动态配置地址)

    • 修改虚拟机IP地址
    • cd /etc/netplan/
    • (tab)
    • 修改成以下代码
    • 生效:
      • sudo netplan apply
      • sudo netplan try
        在这里插入图片描述
        在这里插入图片描述
  • 主机ip映射:打开hosts文件,新增三条IP与主机的映射关系:

    • 这里的ip地址根据自己ifconfig现实的ip地址更改!!!
    • 后期改成了192.168.131.128
      在这里插入图片描述
  • 注意:这里的网关为宿主机IP!!!
    在这里插入图片描述

安装SSH服务端

  • 设置SSH无密码登录
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

SFTP连接,传输安装包

安装Java环境

  • 下载地址:https://repo.huaweicloud.com/java/jdk/8u202-b08/
  • mac OS使用arm版本,windows使用x64
    在这里插入图片描述
  • 配置环境变量
    在这里插入图片描述
  • 这里使用Terminal远程登陆了虚拟机,界面发生了变化
    在这里插入图片描述

第2部分 Hadoop安装

2.1 安装Hadoop

在这里插入图片描述

第3部分 配置集群环境

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

第4部分 Spark安装

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据本2002刘浩
CSDN:小手の冰凉(ID:Lenhart001)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/代码探险家/article/detail/749215
推荐阅读
相关标签
  

闽ICP备14008679号