并行提高oracle数据导入速度-创新互联

近期有一个行业项目,需要把较大数据从文件中导入到oracle。

专注于为中小企业提供网站设计、成都网站制作服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业镇原免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了千余家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

我们使用oracle的sqlldr导入数据,当数据量较大时导入的时间过长:导入一张8千万条记录的表需要2.5个小时,太慢了。

后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时,这里记录一下使用过程。

思路

    将要导入的数据文件拆分成10份,然后使用多任务并行执行对应数据份数的sqlldr命令(当然也就需要同样数量的control文件),多个客户端同时往数据库中导入数据。

这里有两点比较重要,1、如何自动生成若干条sqlldr命令和若干个control文件(一个个写有点累);2、如何同时并行执行(一个个去执行就更累了)。

这里借助了集算器这个工具完成自动生成命令和控制文件,再并行执行。

实现步骤

主程序

  负责任务控制,任务分配、调用子程序。

并行提高oracle数据导入速度

子程序

     生成具体control文件和sqlldr命令,并执行导入命令完成数据加载

并行提高oracle数据导入速度

【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令;使用system函数调用系统命令。

实际效果

    由于是程序控制的并行任务,所以可以根据实际需要设置并行任务数,将机器性能发挥到最优。

下图记录了不同并行数情况下sqlldr导入速度,总体是呈线性增长的,并发任务越多,导入速度越快。

并行提高oracle数据导入速度

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章题目:并行提高oracle数据导入速度-创新互联
文章来源:http://myzitong.com/article/dijjhi.html