CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步


cloudcanal 免费社区版 是由 clougence 公司自主研发的一款可视化、自动化的数据迁移与同步工具,集成了 结构迁移、数据迁移、实时同步、数据校验 和 数据订正 等核心能力。产品全面支持 60+ 主流数据库及中间件,涵盖关系型数据库、实时数仓、消息队列、缓存系统和搜索引擎,其中包括国产主流系统如 oceanbase、polardb、tidb、starrocks、doris 以及 rocketmq 等。

通过集成开源项目 CloudCanalProcess,用户可轻松实现以下扩展功能:

  • wide-table:宽表处理插件,支持事实表与单维度表的自动组合构建
  • data-transform:通用数据转换插件,支持字段增减、操作类型变更、数据清洗与回填
  • data-gather:分库分表、跨地域或垂直拆分场景下的数据实时汇聚
  • data-compare:基于源端变化实现业务级数据对账
  • business-alert:根据数据波动趋势触发智能告警机制

CloudCanal 在功能上对标阿里云 DTS、Amazon DMS、StreamSets 和 AirByte,致力于帮助开发人员、DBA 及运维团队高效搭建稳定可靠的数据链路。

CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步

独响 独响

一个轻笔记+角色扮演的app

独响 249 查看详情 独响

核心亮点

  • 支持 MySQL 到 MySQL/StarRocks/Doris/SelectDB/PostgreSQL 的表达式表名匹配,适用于超大规模表的批量迁移与同步
  • 新增 CloudCanal 控制台黑夜模式,提升夜间操作体验

新增链路支持

  • 开通 腾讯云 TDSQL MySQL → TDSQL MySQL 的全量同步、增量同步、数据校验、数据订正、结构迁移及 DDL 同步(包括加列、删列、modify、rename、truncate)

新功能上线

  • 支持 AWS RDS Oracle 的全量迁移与增量同步
  • Oracle/PostgreSQL/SQL Server 源端支持配置数据校验采样率(参数:checkSamplePercent),支持叠加过滤条件,暂不支持断点续传
  • 实现 MySQL → PostgreSQL 多 Schema 场景下的迁移与同步
  • TiDB 源端支持多个任务订阅同一张表,显著降低超大 Region 表拉取变更时出错的概率
  • 支持 MySQL/OceanBase for MySQL → OceanBase for MySQL 的 CHANGE COLUMN 类型 DDL 同步
  • 支持 MySQL → MySQL 场景下地理空间类型数据的同步
  • 支持在任务级别设置延迟告警 WebHook,便于对关键任务进行独立监控
  • 钉钉、飞书、企业微信告警支持 "@所有人" 功能,可通过 配置 > 个人偏好 > CloudCanal > imAlertAtAll 参数开启
  • 语音告警支持通过代理发送,满足全内网环境用户的使用需求
  • 支持将迁移同步节点上的任务日志和主机日志上传至 S3 或 OSS(通过 配置 > 个人偏好 设置存储信息),助力故障排查
  • 支持将任务参数导出为 Excel 文件保存,便于审计与问题追踪
  • 支持导出全量性能、增量性能及机器监控图表为图片
  • 支持修改订阅批量操作中黑名单的生效范围(已订阅表 / 新增表)
  • 支持将现有任务参数保存为模板,并在应用模板时预览内容
  • 提供开放 API 接口(/schema/listTransObjsByMeta),支持按源端和目标端库表信息查询相关任务

体验优化

  • 优化任务处于“删除中”状态时的操作限制,避免误操作
  • 优化任务参数模板的创建、查询与删除流程
  • 完善模板配置项的白名单规则管理
  • 改进创建任务时选择目标表的交互逻辑,提升易用性

缺陷修复

  • 修复 TiDB 源端增量同步时无符号 Decimal 类型解析异常的问题
  • 修复任务参数页面未展示待创建参数的问题
  • 修复未激活状态下提示文案错误的问题
  • 修复在搜索并手动勾选模式下修改映射规则或表名接口调用异常的问题
  • 修复消息源端创建任务最后一步界面显示异常的问题
  • 修复消息源端任务黑名单操作按钮未隐藏的问题
  • 修复消息对端数据库列表 action 过滤按钮未隐藏的问题
  • 修复 Kafka 测试连接时无法获取 Topic 列表的问题
  • 修复设置自定义主键后虚拟列影响汇聚逻辑主键生成的问题
  • 修复个人偏好中 IM 验证签名无效的问题
  • 修复修改邮箱、手机号、密码时报错信息未正确显示的问题
  • 修复异步操作(如创建、重跑、删除任务)失败后仍允许启动任务,导致状态机紊乱的问题
  • 修复创建任务时无法选择表的原因未正常提示的问题
  • 修复开启条件过滤下推后,“下一步/上一步”按钮状态缺失的问题
  • 修复 MySQL 获取最新位点后确定按钮不可点击的问题
  • 修复创建任务指定虚拟列时,若对端存在同名列会导致增量写入为空的问题
  • 修复达梦数据库因 DDL(ADD LOGIC LOG)解析错误引发结构快照异常的问题
  • 修复达梦源端数据过滤配置不生效的问题
  • 修复手动添加阿里云数据源时缺少实例 ID,导致自动建库、IP 白名单等依赖 OpenAPI 的功能失败的问题
  • 修复存量任务查看库表映射时,操作黑名单显示异常的问题
  • 修复超长单行日志导致浏览器卡死或崩溃的问题
  • 修复 MQ/Elasticsearch 对端修改订阅时新增库“确定”按钮无法点击的问题

免费下载与使用

  • 快速体验 SaaS 全托管服务:https://www.php.cn/link/9d43928b9e007bf34b0d8eadb3d0393f

源码地址:点击下载

以上就是CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步的详细内容,更多请关注其它相关文章!


# 池州品牌推广营销公司  # 多个  # 是由  # 适用于  # 并在  # 相关文章  # 中文网  # 库尔勒微商城网站建设  # 榆林seo营销软件  # 主键  # 吉林seo推广招商加盟  # 楼盘外拓营销推广方案  # 崇左营销推广网络营销公司  # 四川网站首页推广  # 湛江seo公司联系21火星  # 海口做搜狗seo  # 网站首页优化怎么做  # mysql  # 链路  # 无惧  # 钉钉  # stream  # 飞书  # ai  # 阿里云  # 腾讯  # 工具  # 企业微信  # 浏览器  # 微信  # js  # excel  # oracle 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】


相关推荐: 谷歌将使用公开信息训练 AI 模型,构建更强大的自家产品  元宇宙技术带你穿梭“大运河”,江苏书展上的数字阅读馆吸睛小读者  学生作文评分的新趋势:教师与AI的合作模式  “苏南 vs 苏北” AI 分胜负,娱乐性比较工具 EitherChoice 上线  Snow Kylin登陆中国列车,打造全球首条元宇宙专列  第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》  能走、能飞、能游泳,科学家打造全能 M4 机器人  尼康尼克尔Z 180-600mm f/5.6-6.3 VR镜头发布:12499元 拍鸟神器  基于预训练模型的金融事件分析及应用  Transformer六周年:当年连NeurIPS Oral都没拿到,8位作者已创办数家AI独角兽  加强高质量数据供应能力,促进通用人工智能大模型领域的创新  BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」  苹果AR头显商标与华为撞车,在中国或改名  世界水下机器人大赛:9国青年携手逐梦深蓝  科普:什么是AI大模型  生活垃圾智能分类机器人社区展“才能”,征求居民意见  中国联通发布图文AI大模型,可实现以文生图、视频剪辑  微软 GitHub Copilot 编程助手被投诉:换口吻改写公共代码来躲版权  网易云音乐和小冰推出AI歌手音乐创作软件,首发内置12名AI歌手  特斯拉门店可能启动机器人卖车?也许不是你想的那样  人工智能“Aria”现身 Opera浏览器100版本更新:新功能“标签岛”  联想创投携手12家被投企业MWC展示元宇宙、机器人等技术  能抓取玻璃碎片、水下透明物,清华提出通用型透明物体抓取框架,成功率极高  吴恩达、Hinton最新对话!AI不是随机鹦鹉,共识胜过一切,LeCun双手赞成  智能手机应用中的人工智能的重要性  腾讯企点客服接待与营销分析能力升级!企业操作更高效、人机交互更智能  NTU、上海AI Lab整理300+论文:基于Transformer的视觉分割最新综述出炉  「社交达人」GPT-4!解读表情、揣测心理全都会  人工智能的变革之路:通过OpenAI的GPT-4漫游  科技数码圈的新物种 乐天派桌面机器人 AI +安卓+机器人 首发价1799元  13条咒语挖掘GPT-4最大潜力,Github万星AI导师火了,网友:隔行再也不隔山了  人工智能:解决劳动力短缺的关键策略  中国电信AI能力通过国家级金融领域权威认证并荣膺AI国际头部竞赛冠军  Intel酷睿Ultra发布会官宣!迈向全新的AI时代  江永:精准施训提升通信无人机应急救援能力  旷视入选北京市通用人工智能产业创新伙伴计划  【澎湃原动力】人工智能产业协同创新中心:全产业链资源在这里汇聚  微软在德国举办MR研讨会,向女性分享元宇宙潜力  百川智能发布Baichuan-13B AI模型,号称“130亿参数开源可商用”  百度创始人、董事长兼首席执行官李彦宏:AI原生应用比大模型数量更重要  字节、网易相继入局,AI之后大厂又找到下一个风口?  中国移动副总经理高同庆:打造人工智能时代的智能服务运营新范式  XREAL Beam 投屏盒子正式发布:支持“可悬停 AR 空间屏”  30+大模型齐聚,大模型成世界人工智能大会“顶流”  研究表明 GPT-4 模型具备自我纠错能力,有望推动 AI 代码进一步商业化  OpenAI 为开发者推出 GPT 聊天机器人 API 大更新,同时降低价格  售价14.99万起!小米汽车部分信息疑遭AI曝光,内部人士回应:网传图片明显经过处理,不可轻信  衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  讯飞星火大模型实现升级 助力通用人工智能人才培养 

 2025-11-28

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.