林子雨—大数据技术原理与引用—上机实验一_林子雨大数据技术原理与应用第三版实验一教程

作者：weixin_40725706 | 2024-04-19 15:49:56

踩

林子雨大数据技术原理与应用第三版实验一教程

题目：熟悉常用的Linux操作和Hadoop操作
实验环境：操作系统：ubuntu16.04 hadoop版本:1.2.1 JDK版本:1.8
实验内容： 1.安装unbuntu系统。 2.下载hadoop并进行hadoop伪分布式安装（如下图所示即安装成功）。 3.熟悉常用的Linux操作。 cd命令：切换目录（1）切换到目录 /usr/local （2）去到目前的上层目录（3）回到自己的主文件夹 ls命令：查看文件和目录（4）查看目录/usr下所有的文件 mkdir命令：创建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在（6）创建目录a1/a2/a3/a4 rmdir命令：删除空的目录（7）将上例创建的目录a（/tmp下面）删除（8）删除目录a1/a2/a3/a4，查看有多少目录存在 cp命令：复制文件或目录（9）将主文件夹下的.bashrc复制到/usr下，命名为bashrc1 （10）在/tmp下新建目录test，再复制这个目录内容到/usr mv命令：移动文件与目录，或更名（11）将上例文件bashrc1移动到目录/usr/test （12）将上例test目录重命名为test2 rm命令：移动文件或目录（13）将上例复制的bashrc1文件删除（14）将上例的test2目录删除 cat命令：查看文件内容（15）查看主文件夹下的.bashrc文件内容 tac命令：反向列示（16）反向查看主文件夹下.bashrc文件内容 more命令：一页一页翻动查看（17）翻页查看主文件夹下.bashrc文件内容 head命令：取出前面几行（18）查看主文件夹下.bashrc文件内容前20行（19）查看主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行 touch命令：修改文件时间或创建新文件（22）在/tmp下创建一个空文件hello并查看时间（23）修改hello文件，将日期调整为5天前 chown命令：修改文件所有者权限（24）将hello文件所有者改为root帐号，并查看属性 find命令：文件查找（25）找出主文件夹下文件名为.bashrc的文件 tar命令：压缩命令（26）在/目录下新建文件夹test,然后在/目录下打包成test.tar.gz （27）解压缩到/tmp目录 grep:查找字符串（28）从～/.bashrc文件中查找字符串’examples’ （29）配置Java环境变量，在～/.bashrc中设置（30）查看JAVA_HOME变量的值 4.熟悉常用的Hadoop操作。（31）启动hadoop，在HDFS中创建用户目录（现在已经在hadoop目录/usr/local/hadoop）（32）接着在此用户目录下创建text文件夹，并查看文件列表（33）将～/.bashrc文件上传到HDFS的text文件夹，并查看text将HDFS文件夹text拷到本机
出现的问题： 1.hadoop fs -get命令失效，不被允许。
解决方案（列出遇到的问题和解决办法，列出没有解决的问题）： 1.hadoop fs -get命令失效，不被允许。这是由于hadoop上的文件不能写到root用户目录里，但它可以写入到普通用户，如我们实验使用的hadoop用户，所以上述命令可为hadoop fs -get /usr/local/hadoop/user/text/.bashrc /home/hadoop/test/file1，效果如下图所示：