合作伙伴公司简介
迪思杰(北京)数据管理技术有限公司(以下简称DSG), 是全球领先的数据复制技术专业公司,拥有几乎所有主流数据库,如:Oracle、MySQL、PostgreSQL、DB2及各类国产数据库的实时日志分析复制技术和完全的自主知识产权。DSG全球领先的数据库统一实时转换数据模型,能够快速、统一实现各类数据库之间的转换和异构加载,及对各类大数据组件的支持。DSG各类产品线已应用于政府部门、公安、银行、证券、保险、企业等1000多家客户。
方案应用背景
随着云计算与大规模并行数据库的兴起,传统IT架构与并行集群数据库之间、与基于云计算的大规模非结构化的数据库之间,需要实时高性能数据复制共享,使企业突破单一传统IT架构限制,走向性能可无限扩张的混合云架构。
当前,客户业务存在以下问题:
方案内容
DSG提供SuperSync大型数据库高性能复制平台,实现对SequoiaDB巨杉数据库的高效日志分析及使用、不中断业务的首次全同步及实时增量同步、数据库的数据复制迁移平台。
SuperSync通过select方式对多种源端数据库进行全量导出为xdt数据,再通过vagentd读取分析数据库日志文件,当数据库有DML或者DDL操作时,vagentd将分析到的数据转换成xdt文件。SuperSync对同步数据xdt先缓存在源端目录中,以支持断点续传,然后再通过nfm_sender将xdt数据发送给目标端。
SuperSync目标端使用nfmd接收xdt数据并保存在本地目录中,通过yloader对xdt文件进行解析,生成目标端数据库可以识别的SQL数据库同步,再通过目标端yxad装载到目标端SequoiaDB巨杉数据库中。
方案亮点
采用并发多线程分析在线日志文件,提前预分析在线日志文件转化成供分析程序需要的精简日志文件格式,供不同的分析进程多次使用,甚至在数据库非归档模式下,日志切换覆盖之前,保留未分析完的日志文件。增量分析日志速度可达:100-200G/小时。
不停机、不停业务、不修改数据库参数,一键化启动全量数据同步、增量数据同步数据库同步,自动完成源端全量数据的导出、目标端全量数据装载、源端增量数据实时分析、目标端增量数据实时装载。特别采用自主研发的底层工具直接dump数据文件导出存量数据,非调用数据库接口方式导出全量数据,减少对于生产数据库的资源占用及对应用系统的影响。全量导出正常数据速度可达:200-400G/小时。
采用非触发器模式通过抓取到日志文件里的具体DDL语句,并且取得DDL后准确的数据字典信息,目标端无故障、无感知的完成DDL操作及后续DML的装载。支持瞬间批量频繁的DDL操作,支持异构数据库之间DDL的转换。
对LOB字段表(BLOB/CLOB/BFILE)优化的全量导出算法,提供断点续导、并发导出、坏块检测、LOB字段单独导出、单独装载等方式,达到全量导出LOB数据表速度:100-200G/小时。同时支持XML、UDT、IOT等特殊字段表的同步。
可以将不同源端数据库、不同目标端数据库之间的数据流动采用统一的数据流格式文件,即可以实现源端Oracle、PostgreSQL、DB2、MySQL等多种数据库同步到SequoiaDB巨杉数据库中,也实现对SequoiaDB巨杉数据库到各种数据库的回流,帮助客户更好的高效的完成业务应急接管,容灾切换时间小于5分钟。
客户价值
SuperSync在不中断业务的情况下可以实现数据首次全同步和不一致数据修复,无需人工干预,简化软件操作,减少用户工作量。
SuperSync支持Oracle、MySQL、PostgreSQL、DB2等多种数据库迁移到SequoiaDB巨杉数据库。
针对客户不同源端数据库、不同目标端数据库之间的数据流动,SuperSync采用统一自主知识产权的数据流格式文件xdt,从而可以支持源端数据库到目标端数据库的复制的任意组合,适应客户的多种数据库之间、不同平台组件的复杂同步需求场景。
当生产库发生故障时,容灾系统能高效的完成业务应急接管,容灾切换时间小于5分钟。
SuperSync的日志并发分析,加快日志分析性能。仅对日志进行一次分析,结果就可供多进程、多任务使用,同时分析结果可存放在本地或远程,以减轻数据库日志重复分析对源端系统带来的压力。
互认证证书
限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688