当前位置:   article > 正文

阿里云DataWorks使用总结2_dataworks空间数据表授权永久

dataworks空间数据表授权永久

1、安全中心申请了整张表的永久权限,后续查询还是报错

这是由于申请之后,表结构变化导致的,需要重新申请,如果不想每次都重新申请,建议去MC中通过 grants的方式进行授权
1)ACL授权文档
https://help.aliyun.com/zh/maxcompute/user-guide/acl-based-access-control#concept-2159749
2)MC权限明细
https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-permissions?spm=a2c4g.11186623.0.0.4f81381508S5n0

2、DW数据地图中加载不出来数据

报错信息:{“code”:1109110700,“requestId”:“24127ac4ac76dc423538c8a14e3b1444”,“path”:“/dma/tableColumns”,“url”:“https://bff-cn-hangzhou.data.aliyun.com/dma/tableColumns?entityType=odps-table&entityGuid=odps.lhsmartprom.bi_waterfall&pageSize=500&pageNum=1&nameKeyword=&partitioned=N”}
手动刷新元数据报错:{“code”:600002,“requestId”:“8dca608f385fd1f086a5e71c37f813f2”,“path”:“/dma/searchRefresh”,“url”:“https://bff-cn-hangzhou.data.aliyun.com/dma/searchRefresh?tableGuid=odps.lhsmartprom.bi_waterfall”}
最后发现是新建了一个DW工作空间绑定了已有的一个MC空间,MC这个空间已经和其他空间绑定了,所以导致的该问题

3、运维中心资源组展示问题

这里仅仅展示调度起来的运行中的任务,
像那种手动触发的在里面是看不到的,但是可以到控制台也的哪里看

4、跨Project访问失败问题:

节点所在的项目跟odps表不在同一个项目里(即跨项目导入),会导致任务执行失败,怎么办
现象:任务运行失败,日志提示:DataXException: Code:[20000], Description:[runtime error]. - 准备任务失败。 com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied - Authorization Failed [4019], You have NO privilege ‘odps:CreateResource’ on {acs:odps:*:projects/xxx}.

将配置界面转换脚本,然后在同步脚本的odps输入配置中加入参数"packageAuthorizedProject",将当前datax节点所在的项目加入到这个配置项目中,具体操作如下:
界面配置转换为脚本。(注意:一旦转换为脚本文件,任务将不能恢复到界面模式)

5、创建集成任务并启动

1、参考这个demo
https://help.aliyun.com/zh/dataworks/user-guide/create-a-batch-synchronization-node?spm=a2c4g.11174283.0.i2
2、调用这个接口创建
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/CreateDISyncTask
3、调用update修改调度配置
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/UpdateFile
4、提交文件到开发环境
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/SubmitFile
5、补数据接口
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/RunCycleDagNodes
6、启动一次的接口
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/StartDISyncInstance?params={%22ProjectId%22:85171,%22TaskType%22:%22DI_REALTIME%22,%22FileId%22:517780421}&tab=DEBUG
可能会有这个报错
{ “RequestId”: “6CBA17FE-0430-535B-BBFC-88D1AD5AC11F”, “HostId”: “dataworks.cn-hangzhou.aliyuncs.com”, “Code”: “Forbidden.Access”, “Message”: “Access is forbidden.”, “Recommend”: “https://api.aliyun.com/troubleshoot?q=Forbidden.Access&product=dataworks-public&requestId=6CBA17FE-0430-535B-BBFC-88D1AD5AC11F” }
这个报错是由于目前DW的离线任务不支持运行一次这种操作,所以就是那个接口不是调用历险任务的,只能通过补数据的方式

6、任务成功,但是数据量少了

可能是由于字段对应不上,就是选择了同行映射,但是字段名实际没对应上,就会导致这个问题,选择同名映射就可以了

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/1014012
推荐阅读
  

闽ICP备14008679号