尚硅谷物流数仓数据采集通道平台到数仓建模部分问题解决方案_尚硅谷物流大数据物流

1.数据库名字 要从tms01 修改到 tms

2.修改mysql主从复制里面的 tms01 修改到 tms

3.DataX配置文件生成器 configuration.properties里面 把tms01 修改到 tms

4.修改 mysql_to_hdfs_full.sh 脚本中 tms01 修改到 tms

5.flink-cdc / flink-cdc.sh运行问题

解决方案:
首先先到hadoop102 开启 start-cluster.sh

1.通过web UI提交任务

全类名 / Entrt Class

com.atguigu.tms.realtime.app.ods.OdsApp
1

参数 / Program Arguments

--HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写)
1

2.通过shell 命令提交任务

./bin/flink run -c com.atguigu.tms.realtime.app.ods.OdsApp ./job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar -p 2 --HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写)
1

可以使用 nohup 挂后台运行

nohup ./bin/flink run -c com.atguigu.tms.realtime.app.ods.OdsApp ./job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar -p 2 --HADOOP_USER_NAME atguigu --mock_date 模拟日期(按需填写) > /dev/null(按需填写) 2>&1 &
1

6.修改Hadoop104 Flume 配置文件 tms_kafka_to_hdfs.conf 配置中

添加

a1.sources.r1.useFlumeEventFormat = false
1

检查下面全类名路径是否有问题

a1.sources.r1.interceptors.i1.type = com.atguigu.tms.flume.interceptors.TimestampAndTableNameInterceptor$Builder
1

7.修改Hadoop104 Flume JVM内存大小

  cd /opt/module/flume/conf
1

  vim flume-env.sh
1

添加下列内容

export JAVA_OPTS="-Xms200m -Xmx400m -Dcom.sun.management.jmxremote"
1

修改下列内容

cd /opt/module/flume/
1

vim bin/flume-ng
1

JAVA_OPTS="-Xmx240m"
1

2023/07/04

8.运单明细表建表语句

下图中的volume 都改成 volumn

目前就发现这些问题,有其他问题可以在下面留言~~

觉得不错点个赞吧~