搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
weixin_40725706
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
【Python探索之旅】运算符
2
pritunl管理工具的搭建部署
3
高性能MySQL —— 并发控制_mysql 服务端控制并发‘’
4
nginx实战总结--重点知识点总结_nginx为什么默认短链接
5
机器学习算法——支持向量机_什么是支持向量机算法
6
Hadoop安装详情_什么是hadoop相关软件的安装路径
7
Net跨平台UI框架Avalonia入门-资源和样式_avalonia ui
8
SQL语言实现数据库高级查询_sql高级查询
9
《深度学习进阶:自然语言处理》第7章 基于RNN生成文本_如何将rnn输出转变成文本
10
MySQL:CRUD进阶(七千五百字)
当前位置:
article
> 正文
DataStage 使用心得_datastage 计算数据条数
作者:weixin_40725706 | 2024-06-25 08:40:11
赞
踩
datastage 计算数据条数
DataStage 使用心得
最近一个月开始使用datastage,遇到很多问题,在这里和大家分享一下。
一. datastage支持很多数据库的直接抽取,也可以对普通文本文件,XML文件进行抽取和转换。
实际使用中发现用的多是文本文件,并不推荐直接重数据库读取数据进行抽取和转换。个人感觉如果直接从数据库抽取和转换数据
会影响datastage的执行速度。如果使用文本文件,可以减轻数据库服务器的压力,直接使用datastage server和datastage client
的资源,因为一个datastage server可以扩充多个datastage client,datastage server根据每个client的运行情况调度作业运行,
相对于以前把数据的抽取转换放在数据库服务器上速度要会,特别是在数据量很大的时候。
二.datastage实现了数据抽取和转换的可视化,简单的说就是傻瓜式的使用数据库。但是datastage只能实现数据的轻度整合,很难
实现复杂的数据抽取和转换。比如在用Aggregation stage时我即计算和又要计算条数,在Aggregation stage里要么算和,要么计算
条数,不能同时计算。解决方法是在聚合前多加一个字段cont_sign,默认值1,在算条数时sum该字段即可。
三.数据抽取完成后不能增量装入数据库。datastage对装入有索引的表的策略是先删除表的索引,装入数据重建索引。当增量装入数据
时无法成功重建唯一索引。
四.在datastage中好像不支持存储过程和函数,要用shell封装后调度执行。
五.我个人觉得datastage调试很麻烦,报错信息不清楚,特别是在stage较多的时候。非常浪费时间。
以上是我在使用datastage时遇到的问题,如有问题感谢大家指正。
关于datastage在调试时的报错信息不知各位网友是否有相关资料可以提供?
还有如何在datastage中使用存储过程和函数,除了用shell封装以外,还有什么好方法吗?怎么实现?
datagestage有个API接口的文档在那里可以找到??
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/weixin_40725706/article/detail/755674
推荐阅读
article
2024年
Github
最新教程|如何将本地
代码
上传
自
github
仓库
?_
github
上传
代码
...
首先,在GitHub上创建一个新的
仓库
。你可以登录到GitHub,点击右上角的加号,然后选择“New repositor...
赞
踩
article
解决
Navicat
for
MySQL
激活时候出现“
rsa
public
key
not
find
”...
解决
Navicat
for
MySQL
激活时候出现“
rsa
public
key
not
find
”的问题_
rsa
pu...
赞
踩
article
MySQL
执行
计划解析_
执行
解析计划...
在实际数据库项目开发中,由于我们不知道实际查询时数据库里发生了什么,也不知道数据库是如何扫描表、如何使用索引的,因此,我...
赞
踩
article
win10
安装
TensorFlow
填坑笔记_
tensorflow
到底
要
不
要
装
vs2015
...
郑重其事的将一台电脑重装了
win10
,网上找了几个
安装
攻略,照着
安装
TensorFlow
For windows。结果就...
赞
踩
article
【
文件
上传
漏洞
-
01
】
文件
上传
漏洞
及其
防御
_
java
文件
上传
漏洞
...
文件
上传
是Web应用必备功能之一,比如
上传
头像显示个性化、
上传
附件共享
文件
、
上传
脚本更新网站等。如果服务器配置不当或者没...
赞
踩
article
tomcat
常见
漏洞
_
tomcat
漏洞
...
前言
tomcat
和apache一样是一个免费的服务器,主要用于jsp框架的网站,可以看作是apache的一个扩展,但是运...
赞
踩
article
从零开始
学习
大
模型
-
第一章
-
大
模型
简介(附
学习
路线及全套资料)_零
基础
大
模型
培训材料...
大
模型
就像一座庞
大
的图书馆,里面有非常多的书籍。但与普通图书馆不同的是,这座图书馆中的每本书都是关于不同事物的描述和知识...
赞
踩
article
Nginx
负载
均衡及
webshell
_
nginx
iphash
和权重...
Webshell是通过服务器开放的端口获取服务器的某些权限。
webshell
又称脚本木马,一般分为大马、小马、一句话木马...
赞
踩
article
java
入门编程(
菜鸟
教程
)
_
菜鸟
教程
java
...
1.创建一个
java
程序的步骤a打开editplus软件,选择左上角的file选项,在弹出来的菜单中选择new然后再从弹...
赞
踩
article
下载
Proteus
并完成一个
C51
程序设计
和
仿真
_
proteus
csdn
...
本文介绍了用
Proteus
实现一个
C51
程序的设计和
仿真
_
proteus
csdn
proteus
csdn
...
赞
踩
article
c++
实现
队列
(
数组
)_
c++
队列
数组
...
紧接上一篇博客,这篇博客是关于
数组
实现
队列
的_
c++
队列
数组
c++
队列
数组
紧接上一...
赞
踩
article
Halcon
根据霍夫变换在
图像
中
寻找
直线
...
霍夫变换是
图像
处理
中
从
图像
中
识别几何形状的基本方法之一.几何形状包括圆,椭圆,
直线
等等.
Halcon
根据霍夫变换在
图像
...
赞
踩
article
程序员
必备
的
5类
AI
工具
盘点_
程序员
ai
工具
...
程序员
必备
的
5类
AI
工具
盘点_
程序员
ai
工具
程序员
ai
工具
在软件开发领域,人工智能技术...
赞
踩
article
不
出
网
上线CS的各种姿势(内
网
横向)_拿到
webshell
不
出
网
情况
下
怎么办...
在内
网
环境中可以使用ipc $生成的SMB Beacon上传到目标主机执行,但是目标主机并
不
会直接上线的,需要我们自己用...
赞
踩
article
基于
51
单片机
串口
通信
控制系统
proteus
仿真
设计
(
proteus
仿真
+程序+
设计
报告+原理图+...
基于
51
单片机
串口
通信
控制系统
设计
(
proteus
仿真
+程序+
设计
报告+原理图+讲解视频)
仿真
图
proteus
7.8及...
赞
踩
article
轻松上手MY
SQL
:
SQL
优化
之
Explain
详解_
sql
explain
...
本文深入解析了EXPLAIN命令在数据库查询
优化
中的作用,详细列出了其返回的关键列及其意义。涵盖了id、select_t...
赞
踩
article
pg订阅
oracle
修改
,
PostgreSQL
修改
视图
的操作...
最近发现
PostgreSQL
(create or replace)
修改
视图
有很多的限制,不像SQL Server和Or...
赞
踩
article
【深度
学习
】
GPT
-2
,
Language
Models are Unsupervised Multi...
自然
语言
处理任务
,
如问答、机器翻译、阅读理解和摘要生成
,
通常通过在特定任务的数据集上进行监督
学习
来实现。我们展示了当在一...
赞
踩
article
大
模型
赋能
开发者
!海云安荣膺
毕马威
中国
金融
科技
双50榜单!...
将AI大语言
模型
技术融入
开发者
安全智能助手当中,将为
开发者
提供自动生成针对性的缺陷成因解释、自动生成修复代码等功能,在提...
赞
踩
article
mysql
查看
数据库
、表
大小
、
磁盘空间
占用以及一些常用
mysql
代码,持续更新
ing
_
查看
数据库
大小
...
其中tabl_rows可以替代分页代码的count。可以
查看
数据库
每个表占用磁盘
大小
。如果行数不对可以重新分析表。
查看
数...
赞
踩
相关标签
github
数据库
mysql
数据库开发
tensorflow
windows10
深度学习
人工智能
web安全
安全
tomcat
apache
java
学习
面试
职场和发展
ai
nginx
负载均衡
运维
proteus
c++
开发语言
计算机视觉