测试环境搭建整套大数据系统（十七：mysql同步，字段类型映射错误问题）

问题描述

mysql表

hive表

其中 type是字符串类型，但是yarn上一直报错

number这个类是往int类型转才会使用到的

解决方法

在命令中增加参数

sqoop export \
  --connect "jdbc:mysql://?useUnicode=true&characterEncoding=UTF-8" \
  --username root \
  --password  \
  --table event_resource_statistics \
  --columns "create_time,type,quantity,used_space,size,sort" \
  --input-fields-terminated-by '\t' \
  --input-null-string '\\N' \
  --export-dir /hive/warehouse/parsed_local_probe_origin \
  --map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \
  --verbose

1
2
3
4
5
6
7
8
9
10
11
12

增加–columns “create_time,type,quantity,used_space,size,sort”
–map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \