0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何快速完成PostgreSQL数据迁移?

数据库小组 来源:数据库小组 作者:数据库小组 2023-08-14 15:39 次阅读

PostgreSQL 是一种备受开发者和企业青睐的关系型数据库,其丰富的数据类型、地理空间负载和强大的扩展能力等特性使其备受欢迎。然而,在企业使用 PostgreSQL 承载应用的过程中,由于业务需要上云、跨云、下云、跨机房迁移、跨地域迁移、数据库版本升级、扩缩容等场景的普遍存在,因此需要进行 PostgreSQL 的迁移。

在 PostgreSQL 迁移过程中,迁移时间、数据准确性和业务停机要求是影响迁移成功的关键因素。因此,选择合适的迁移工具至关重要,以提供高效、安全、准确的迁移能力。

1. 传统的迁移方案

当前,常见的 PostgreSQL 迁移方案为备份恢复、pg_dump/pg_restore,这两种迁移方案普遍存在如下的问题:

停机时间长,上述方案通常要求,在数据库迁移期间,业务停止服务,停服时间通常高达数小时/上天,对业务的挑战极大。特别当迁移难度较高时,通常反复多次迁移,业务停服时间更不可控。

可靠性不高,客户端工具不提供迁移过程的观测、诊断与修复能力,很容易出错。

数据准确性难保障,此类工具因不提供对应的质量检测能力,所以迁移的数据质量一般难以保障。

大数据量迁移挑战,因其性能及容灾能力不足,不能很好支撑大数据量、大表的迁移。

2. 业务不停机迁移方案

为了解决用户在 PostgreSQL 迁移过程中可能面临的问题,玖章算术旗下的云原生智能数据管理平台 NineData 推出了 PostgreSQL 业务不停服数据迁移能力。NineData 实现了完全自动化的结构迁移和全量数据迁移,并且还提供了变更数据的迁移能力。这种能力可以实时监听源 PostgreSQL 中的变更数据,在完成全量迁移后将变更数据实时复制到目标 PostgreSQL,从而实现源/目标 PostgreSQL 的动态复制。在 PostgreSQL 数据迁移过程中,业务可以正常提供服务,无需停服。最终,业务可以根据需求选择对应的时间点切换到目标 PostgreSQL。具体流程请参见下图。

wKgaomTZ2jeAMyNrAADiqpmJUqQ943.png

PostgreSQL数据迁移过程|NineData

除了提供业务不停服的迁移能力外,NineData 提供的 PostgreSQL 还具有如下能力:

大数据量或大表的迁移能力,基于智能分片、动态攒批、并发迁移、表级断点续传等多种技术能力,提供强劲迁移能力。

结构及数据一致性对比,NineData 提供了 PostgreSQL 的结构对比及数据对比能力,能够进行高效的一致性对比,快速识别差异对象或数据,并提供对应的订正 SQL,快速订正修复差异内容,有效保障迁移数据质量。

可观测可干预能力,NineData 提供详细的迁移状态、进展及详情信息,当出现迁移异常时,会提供多种诊断修复能力,帮助您保障任务稳定性。同时,提供迁移限流能力,您可根据业务需要,自定义迁移速度,保障 PostgreSQL 的稳定性。

3. 一分钟启动全自动化迁移

虽然提供了比较强大的 PostgreSQL 的迁移能力,但是 NineData 使用起来非常简单,只需要花 1 分钟时间完成任务配置,即可以完全自动化完成数据的迁移过程。下面我们来看下整个任务的配置过程:

1. 配置复制任务

wKgZomTZ2b2AaOKRAAc4cvZYxAo846.png

基于上述操作即可轻松、可靠得完成 PostgreSQL 的数据迁移。完成 PostgreSQL 任务配置后,NineData 会自动进行结构迁移、全量数据迁移及增量数据复制。

当数据迁移完成后,也可以配置对应的结构对比、数据对比进行结构一致性及数据一致性的校验。下面会进行对比任务的配置演示。

2. 结构对比

wKgZomTZ2cSAR3SYAAknnIfG5R4114.png

3. 全量数据对比

wKgZomTZ2cuAQ0M8AAmaeXNMqfY910.png

4. 写在最后

除了 PostgreSQL,NineData 还支持数十种常见数据库的迁移和复制。除了 SAAS 模式,NineData 还提供企业专属集群模式,以满足企业对于数据安全和合规性的最高要求。目前,NineData 已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3799

    浏览量

    64379
  • 数据迁移
    +关注

    关注

    0

    文章

    72

    浏览量

    6949
  • postgresql
    +关注

    关注

    0

    文章

    21

    浏览量

    213
收藏 人收藏

    评论

    相关推荐

    【Nanopi2试用体验】高级(九):Nanopi2上配置PostgreSQL数据

    一、安装世界上最先进的开源数据PostgreSQL 9.4 和 phpPgAdmin # apt-get install postgresql postgresql-contrib访
    发表于 01-27 20:48

    MaxCompute_2_MaxCompute数据迁移文档

    先从源MaxCompute中导出元数据DDL,在目标MaxCompute中初始化表,然后借助DataX工具完成数据迁移,步骤如下:1.安装配置ODPS客户端https://help.aliyun.com
    发表于 04-13 15:28

    容器开启数据服务之旅系列(一):Kubernetes如何解自建PostgreSQL运维之痛

    ;alicloud-disk-efficiency"accessMode: ReadWriteOncesize: 20GisubPath: "postgresql-db"8 点击 “部署”, 完成数据发布9 点击
    发表于 04-17 13:31

    阿里云如何打破Oracle迁移上云的壁垒

    脱敏,将所有表名称、字段名称进行加密,密钥文件将由客户保管。Oracle迁移到PPAS相对迁移到其他数据库更为平滑,因为有许多兼容的地方。Oracle数据库到PPAS
    发表于 05-29 20:03

    PostgreSQL的常见问题总结

    1.1)PostgreSQL 是什么?该怎么发音?1.2)PostgreSQL 的版权是什么?
    发表于 07-24 06:12

    RDS for PostgreSQL的插件的创建/删除和使用方法

    这类插件在计算机相关领域中已经有不同程度的应用,它成为 PostgreSQL 功能延展性的主要特点。PostgreSQL 的插件可以完成包括各种类型、各种数据访问的各种类型等功能。这
    发表于 04-25 10:30

    阿里云PolarDB支持Oracle等数据库一键迁移上云

    阿里云PolarDB发布重大更新,提供传统数据库一键迁移上云能力,可以帮助企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松上云,最快数小时内
    发表于 07-11 16:39 979次阅读

    PostgreSQL 13正式发布

    来源:CSDN 9月24日,PostgreSQL全球开发组宣布PostgreSQL 13正式发布,作为世界上使用最多的开源数据库之一,PostgresSQL 13是目前的最新版
    的头像 发表于 10-10 09:56 1796次阅读

    多层面分析 etcd 与 PostgreSQL数据存储方案的差异

    PostgreSQL 的实现始于 1986 年,由伯克利大学的 Michael Stonebraker 教授领导。经过几十年的发展,PostgreSQL 堪称目前最先进的开源关系型数据库。
    发表于 03-20 11:34 367次阅读

    37年历史的PostgreSQL数据库将进行重大架构变更

    其中简要概括了这项迁移所涉及的种种挑战,并低调地承认转化过程“肯定无法通过单一版本彻底完成”。但邮件中没有提到推动这项重大变更的原因,好在随着讨论的进行,相关信息很快得到了补充。正如 Andres
    的头像 发表于 06-25 15:54 468次阅读
    37年历史的<b class='flag-5'>PostgreSQL</b><b class='flag-5'>数据</b>库将进行重大架构变更

    PostgreSQL 插件那么多,怎样管理最高效?

    PostgreSQL 版本与插件耦合的问题,帮助用户更直观、更快速地安装管理数据库插件。 关于 PostgreSQL 插件 众所周知,Postgr
    的头像 发表于 06-30 16:21 419次阅读
    <b class='flag-5'>PostgreSQL</b> 插件那么多,怎样管理最高效?

    PostgreSQL准确且快速数据对比方法

    MySQL、SQL Server、PostgreSQL、Redis、MongoDB、ClickHouse、Doris 等,可进行数据库间的结构对比和数据对比。
    的头像 发表于 09-12 15:46 1006次阅读
    <b class='flag-5'>PostgreSQL</b>准确且<b class='flag-5'>快速</b>的<b class='flag-5'>数据</b>对比方法

    PostgreSQL中可用的各种数据类型

    PostgreSQL是一种功能强大的开源关系型数据库管理系统,具有广泛的数据类型支持。在本教程中,我们将介绍PostgreSQL中可用的各种数据
    的头像 发表于 09-19 14:08 4282次阅读

    为什么选择 PostgreSQL

    认识PostgreSQL PostgreSQL 是一款开源的、高度可扩展的关系型数据库管理系统 (RDBMS)。它由一个强大的开发社区支持,自1996年以来持续不断地发展和改进。 它支持高级功能,如
    的头像 发表于 09-30 10:25 1314次阅读