赞
踩
按下面顺序安装软件:
创建如下kettle数据加载作业
Test作业是表输入,配置信息
其中dm数据库连接使用:generic database类型
需要把dm数据库的jdbc驱动:DmJdbcDriver18.jar拷贝到kettle的lib目录下
字段选择组件,将dm数据库的大写转换为kadb的小写
Greenplum load是greenplum批量加载组件,完成使用gpload命令将数据并行加载任务
Kettle原生支持greenplum,数据库连接配置如下:
Local hostname标签页配置
Port不用设置,gpload自动生成。Hostname设置为运行kettle的windows机器地址,该机器必须和dm和kadb网络互通
GP configuration配置
其中:
Path to the gpload:为greenplum客户端安装目录中gpload.py文件的地址
Control file:为gpload生成的yaml文件保存位置,将默认的cfg扩展名修改为yaml
Log file:为gpload日志文件保存位置
Data file:为gpload加载的数据文件保存位置
Encoding:设置为UTF8即可
实际测试kadb单节点,单实例,加载3145728条记录,gpload用时:5.65秒
附录
安装PyYAML时提示:Python version 2.7 required,which was not found register解决方法
Window命令regedit打开注册表编辑器,加入以下键值路径:
计算机\HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Python\PythonCore\2.7\InstallPath
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。