devbox
小小林熬夜学编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

数仓4.0笔记——用户行为数据采集一_用户行为数据采集日志生成dt.sh尚硅谷csdn

作者：小小林熬夜学编程 | 2024-05-08 13:21:21

赞

踩

用户行为数据采集日志生成dt.sh尚硅谷csdn

1 集群所有进程查看脚本

脚本内容

  1. #! /bin/bash
  2.  
  3. for i in hadoop102 hadoop103 hadoop104
  4. do
  5.     echo --------- $i ----------
  6.     ssh $i "$*"
  7. done

 

 2 Hadoop安装及配置

前面的笔记有hadoop运行环境搭建（四）_丝丝呀的博客-CSDN博客

[zhang@hadoop102 hadoop]$ vim core-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3.  
  4. <configuration>
  5. 	<!-- 指定NameNode的地址 -->
  6.     <property>
  7.         <name>fs.defaultFS</name>
  8.         <value>hdfs://hadoop102:8020</value>
  9. </property>
  10. <!-- 指定hadoop数据的存储目录 -->
  11.     <property>
  12.         <name>hadoop.tmp.dir</name>
  13.         <value>/opt/module/hadoop-3.1.3/data</value>
  14. </property>
  15.  
  16. <!-- 配置HDFS网页登录使用的静态用户为zhang -->
  17.     <property>
  18.         <name>hadoop.http.staticuser.user</name>
  19.         <value>zhang</value>
  20. </property>
  21.  
  22. <!-- 配置该zhang(superUser)允许通过代理访问的主机节点 -->
  23.     <property>
  24.         <name>hadoop.proxyuser.zhang.hosts</name>
  25.         <value>*</value>
  26. </property>
  27. <!-- 配置该zhang(superUser)允许通过代理用户所属组 -->
  28.     <property>
  29.         <name>hadoop.proxyuser.zhang.groups</name>
  30.         <value>*</value>
  31. </property>
  32. <!-- 配置该zhang(superUser)允许通过代理的用户-->
  33.     <property>
  34.         <name>hadoop.proxyuser.zhang.users</name>
  35.         <value>*</value>
  36. </property>
  37. </configuration>

[zhang@hadoop102 hadoop]$ vim hdfs-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3.  
  4. <configuration>
  5. 	<!-- nn web端访问地址-->
  6. 	<property>
  7.         <name>dfs.namenode.http-address</name>
  8.         <value>hadoop102:9870</value>
  9.     </property>
  10.     
  11. 	<!-- 2nn web端访问地址-->
  12.     <property>
  13.         <name>dfs.namenode.secondary.http-address</name>
  14.         <value>hadoop104:9868</value>
  15.     </property>
  16.     
  17.     <!-- 测试环境指定HDFS副本的数量1 -->
  18.     <property>
  19.         <name>dfs.replication</name>
  20.         <value>1</value>
  21.     </property>
  22. </configuration>
  23.

[zhang@hadoop102 hadoop]$ vim yarn-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3.  
  4. <configuration>
  5. 	<!-- 指定MR走shuffle -->
  6.     <property>
  7.         <name>yarn.nodemanager.aux-services</name>
  8.         <value>mapreduce_shuffle</value>
  9.     </property>
  10.     
  11.     <!-- 指定ResourceManager的地址-->
  12.     <property>
  13.         <name>yarn.resourcemanager.hostname</name>
  14.         <value>hadoop103</value>
  15.     </property>
  16.     
  17.     <!-- 环境变量的继承 -->
  18.     <property>
  19.         <name>yarn.nodemanager.env-whitelist</name>
  20.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  21.     </property>
  22.     
  23.     <!-- yarn容器允许分配的最大最小内存 -->
  24.     <property>
  25.         <name>yarn.scheduler.minimum-allocation-mb</name>
  26.         <value>512</value>
  27.     </property>
  28.     <property>
  29.         <name>yarn.scheduler.maximum-allocation-mb</name>
  30.         <value>4096</value>
  31.     </property>
  32.     
  33.     <!-- yarn容器允许管理的物理内存大小 -->
  34.     <property>
  35.         <name>yarn.nodemanager.resource.memory-mb</name>
  36.         <value>4096</value>
  37.     </property>
  38.     
  39.     <!-- 关闭yarn对虚拟内存的限制检查 -->
  40.     <property>
  41.         <name>yarn.nodemanager.vmem-check-enabled</name>
  42.         <value>false</value>
  43.     </property>
  44. </configuration>

[zhang@hadoop102 hadoop]$ vim mapred-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3.  
  4. <configuration>
  5. 	<!-- 指定MapReduce程序运行在Yarn上 -->
  6.     <property>
  7.         <name>mapreduce.framework.name</name>
  8.         <value>yarn</value>
  9.     </property>
  10. </configuration>

[zhang@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

  1. hadoop102
  2. hadoop103
  3. hadoop104

（配置workers不能有空行，不能有空格）

配置历史服务器

[zhang@hadoop102 hadoop]$vi mapred-site.xml

  1. <!-- 历史服务器端地址 -->
  2. <property>
  3.     <name>mapreduce.jobhistory.address</name>
  4.     <value>hadoop102:10020</value>
  5. </property>
  6.  
  7. <!-- 历史服务器web端地址 -->
  8. <property>
  9.     <name>mapreduce.jobhistory.webapp.address</name>
  10.     <value>hadoop102:19888</value>
  11. </property>

配置日志聚集

[zhang@hadoop102 hadoop]$ vim yarn-site.xml

  1. <!-- 开启日志聚集功能 -->
  2. <property>
  3.     <name>yarn.log-aggregation-enable</name>
  4.     <value>true</value>
  5. </property>
  6.  
  7. <!-- 设置日志聚集服务器地址 -->
  8. <property>  
  9.     <name>yarn.log.server.url</name>  
  10.     <value>http://hadoop102:19888/jobhistory/logs</value>
  11. </property>
  12.  
  13. <!-- 设置日志保留时间为7天 -->
  14. <property>
  15.     <name>yarn.log-aggregation.retain-seconds</name>
  16.     <value>604800</value>
  17. </property>

启动集群（第一次要进行格式化，之后千万不要格式化）

[zhang@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format

启动HDFS

[zhang@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[zhang@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

Web端查看HDFS的Web页面：http://hadoop102:9870/

Hadoop群起脚本

[zhang@hadoop102 bin]$ vim myhadoop.sh

  1. #!/bin/bash
  2. if [ $# -lt 1 ]
  3. then
  4.     echo "No Args Input..."
  5.     exit ;
  6. fi
  7. case $1 in
  8. "start")
  9.         echo " =================== 启动 hadoop集群 ==================="
  10.  
  11.         echo " --------------- 启动 hdfs ---------------"
  12.         ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
  13.         echo " --------------- 启动 yarn ---------------"
  14.         ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
  15.         echo " --------------- 启动 historyserver ---------------"
  16.         ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
  17. ;;
  18. "stop")
  19.         echo " =================== 关闭 hadoop集群 ==================="
  20.  
  21.         echo " --------------- 关闭 historyserver ---------------"
  22.         ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
  23.         echo " --------------- 关闭 yarn ---------------"
  24.         ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
  25.         echo " --------------- 关闭 hdfs ---------------"
  26.         ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
  27. ;;
  28. *)
  29.     echo "Input Args Error..."
  30. ;;
  31. esac

修改脚本执行权限

[zhang@hadoop102 bin]$ chmod 777 myhadoop.sh

测试一下

 3 项目经验之支持LZO压缩配置

 

 

 core-site.xml增加配置支持LZO压缩

  1.  <property>
  2.         <name>io.compression.codecs</name>
  3.         <value>
  4.             org.apache.hadoop.io.compress.GzipCodec,
  5.             org.apache.hadoop.io.compress.DefaultCodec,
  6.             org.apache.hadoop.io.compress.BZip2Codec,
  7.             org.apache.hadoop.io.compress.SnappyCodec,
  8.             com.hadoop.compression.lzo.LzoCodec,
  9.             com.hadoop.compression.lzo.LzopCodec
  10.         </value>
  11.     </property>
  12.  
  13.     <property>
  14.         <name>io.compression.codec.lzo.class</name>
  15.         <value>com.hadoop.compression.lzo.LzoCodec</value>
  16.     </property>

 重新启动脚本才能生效

 

 测试一下好不好用

[zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input

 [zhang@hadoop102 hadoop-3.1.3]$ hadoop fs -put README.txt /input

 

 测试压缩

[zhang@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec  /input /output

 

 上传一个大的文件

 

 执行wordcount程序

[zhang@hadoop102 software]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output1

 一个大文件也没有被进行切片

对上传的LZO文件建索引

[zhang@hadoop102 software]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

执行结束，发现创造了一个索引

 再次执行WordCount程序

[zhang@hadoop102 software]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output2

 发现进行了切片

4 项目经验之基准测试

HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。

测试网速：

（1）来到hadoop102的/opt/module目录，创建一个

[zhang@hadoop102 software]$ python -m SimpleHTTPServer

（2）在Web页面上访问

hadoop102:8000（web端我只能使用IP打开，不知道哪里出现了问题）

 4.1测试HDFS写性能

 [zhang@hadoop102 software]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

 

 只有一个副本，所以速度就是硬盘速度（由于副本1就在本地，所以该副本不参与测试）

4.2测试HDFS读性能

[zhang@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。

4.3 使用Sort程序评测MapReduce（计算性能）

（1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data

（2）执行Sort程序

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data

（3）验证数据是否真正排好序了

[atguigu@hadoop102 mapreduce]$

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

由于虚拟机设置内存太小，性能不够，不能运行，就不运行了，步骤见上。

5 项目经验之Hadoop参数调优

HDFS参数调优hdfs-site.xml

dfs.namenode.handler.count=20×logeCluster Size ，比如集群规模为8台时，此参数设置为41。

 

 

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/554769
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号