大批量处理excel文件到ODPS中方案

  • 时间:
  • 浏览:20
  • 来源:uu快3棋牌_uu快3讨论群_规律

于是就寻找别的最好的办法,最终通过在本机电脑上自建mysql数据库,日后 用navicat连接上,通过navicat批量的上传数据到mysql 中,

总的来说dataworks升级到2.0功能是十分强大的,数据保护伞、智能监控、数据服务、任务发布等新功能。

将转储SQL文件特性和数据文件上传到RDS中执行,数据便到RDS中,日后 在dataworks中整库迁移数据即可全版同步完成,整个批量上传过程一下午即将五千多个excel文件全版上云。

通过查找发现dataworks支持RDS整库迁移的最好的办法,于是就在想是否可不才能将那些excel文件批量的上传到RDS中,购买了一三个 RDS实例,通过半天的学习配置等,发现也无法批量的上传excel文件。

以上却说 另一方在使用中摸索的最好的办法,相信还有更好更完善的最好的办法,希望他们 儿多多分享。

备注: 该最好的办法可不才能实现excel文件转去掉 csv文件进行上云。日后 日后 格式不统一,须要逐个的创建表进行上传,一天只上传一百来个excel文件,速度是非常慢的。

1 、首先按照excel文件内容创建表(下图序号1中),日后 将excel文件进行外理,删除日后 无需说要的数据(序号2中的日后 空格),日后 另存为逗号分隔的csv格式文档,日后 在dataworks数据开发中上传csv文件,达到将excel文件上传。(具体的可不才能参照官网上步骤,非常的全版,让他不啰嗦了)。

刚接到需求时怪怪的的懵,不过工作还是要做的,首先通过查询dataworks中文档来看为社 实现该需求,通过文档了解到只支持csv、txt等格式进行单个上传,日后 就结束了了着手做。

日后 考虑到在本机自建mysql毕竟不稳定,就打算购买ECS,日后 在后边自建mysql,日后 同步数据,不过该最好的办法最终同步成功,日后 不建议使用,该最好的办法不支持整库迁移,日后 不到写脚本,须要两台以上的ECS,其中一台作为代理,故不推荐该最好的办法。

最近所做的项目须要将近五千个excel文件导入到ODPS,日后 excel文件内容格式全版不一样。