5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

成都创新互联公司是一家专注于网站建设、成都网站建设与策划设计,新荣网站建设哪家好?成都创新互联公司做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:新荣等地区。新荣做网站价格咨询:18982081108

本文通过 MySQL-StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

CloudCanal 任务详情页，点击 参数修改 ，即可调整

StarRocks 作为实时数仓，采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ，能够实时同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的写入方式，实际写入对端的操作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。

了解更多产品可以查看 官方网站 ：

CloudCanal社区 ：

postgresql从一个数据库转到另一个数据库有没有方便的方法？

Postgresql不支持跨数据库操作。

可以通过pg_dump加上pg_restore或psql来完成迁移，或者直接使用sql语句中的copy语句来完成数据的迁移。

mysql 数据怎么迁移到postgresql

如果表结构在mysql和postgresql的结构差别不大，那么相互迁移是比较简单的。

可以通过用shell脚本来处理能很好的实现。

第一：mysql 导出文本文件。

第二：shell处理文本文件的格式，使之适合postgresql导入格式，生成至目标文本文件。

第三：在postgresql中执行目标文本文件即可。

在PostgreSQL中怎么把一个数据库中一个表的数据复制到另一个数据库的表中 高手们帮帮忙，很急！！！

Postgresql不支持跨数据库操作。

可以通过pg_dump加上pg_restore或psql来完成迁移

或者直接使用sql语句中的copy语句来完成数据的迁移

具体看你的情况来选择一个合适的方法，你可以加我HI，我给你些建议

如何将GitLab的数据库从PostgreSQL迁移至MySQL

如何将GitLab的数据库从PostgreSQL迁移至MySQL

转数据库偷懒的做法就是：用一台装有sql server的机器，运行DTS程序（导入导出数据），然后源选择postgresql，目标选择mysql，直接导。。。记得装ms的两个数据库驱动程序 很多情况下，简单的数据库一下就能导过去，但是出于需要，还是建议人工建表，核对字段比较稳妥

数据库迁移时怎样将oracle的视图导入postgresql中？

一. 如果B数据库是新建的，为了移植数据库，那就直接附加，分下列步骤：

1. 打开配置管理器

2. 停止SQL Server服务

3. 在C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\Data目录下找到数据库文件，复制到B电脑上，B电脑打开数据库附加A数据库就好了。

二. 如果B数据库已经曾在，可以使用导出任务

打开数据库，右键点在数据库上，找到导出任务

按照向导选择该到处的数据表和视图。填写两个数据库的验证信息

本文标题：关于postgresql迁移的信息
文章位置：http://myzitong.com/article/dscsdij.html