数据大集中管理模式下数据同步技术探讨论文

数据大集中管理模式下数据同步技术探讨论文

　　摘要：为确保在大集中数据管理模式下数据的安全，本文就目前流行的ORACLE数据同步技术DATA GUARD、STREAM、GOLDEN GATE技术进行比较，分析其优劣，并结合业务需求，就如何建立同地和异地的数据同步机制进行探讨。

　　关键词：关键字：数据库 ；ORACLE；数据同步；安全

　　1. 现状及需求

　　1.1现状

　　从2008年开始，我市建立了重庆市主城范围内集中统一管理的城镇地籍数据库，实现了城镇土地登记系统和数据的大集中,中心数据库采用ORACLE数据库平台。

　　按照我市土地和房屋合一登记的管理模式的要求，从2010年开始，我市各房屋登记中心在全市集中的城镇地籍数据库的基础上，结合原有的房屋登记系统，以宗地为线索开展了房屋登记数据的清理工作，建立了全市集中统一的城镇地房籍数据库和应用系统。

　　1.2 需求

　　由于我市实行的是大集中的数据管理模式，中心生产数据库在出现故障的情况下如不能得到及时恢复，将导致全市土地和房屋登记业务停顿，因此必须在中心机房建立与生产数据库实时同步的数据库，确保在生产数据库出现较长时间不能恢复的故障的情况下，启用备用数据库，保证业务的连续。

　　同时，由于数据在市局统一存放，各单位无数据库。而各单位由于对数据使用的需求千差万别，无法在市局统一的数据库上满足其个性化的需求。因此需将市局集中的数据同步到各区，既可实现数据的异地备份，同时各区可利用改回备数据进行各类统计分析和专题利用。

　　2. 技术比较

　　目前基于Oracle数据库的数据同步技术大体上可分为两类：Oracle自带的数据同步技术和第三方厂商提供的数据同步技术。Oracle自带的同步技术主要有DataGuard，Streams， GoldenGate三种技术。第三方厂商的数据同步技术有Quest公司的SharePlex和DSG的RealSync。

　　本文重点就ORACLE本身提供的DataGuard，Streams， GoldenGate三种同步技术进行比较。

　　2.1 DataGuard技术

　　DataGuard是Oracle数据库自带的数据同步功能，基本原理是将日志文件从原数据库传输到目标数据库，然后在目标数据库上应用（Apply）这些日志文件，从而使目标数据库与源数据库保持同步。

　　DataGuard为源数据库提供了两种日志传输方式，ARCH传输方式和LGWR传输方式，其中，LGWR传输方式可实现同步和异步的传输。在这些日志传输的方式上，可提供三种数据

　　保护模式，即最大性能（Maximum Performance Mode）、最大保护（Maximum Protection Mode）和最大可用（Maximum Availability Mode）。

　　根据目标数据库对日志应用方式（Log Apply）的不同，该技术可分为Physical Standby（Redo Apply）和Logical Standby（SQL Apply）两种方式。物理同步是指目标库通过介质恢复的方式保持与源数据库同步。逻辑同步是指目标数据库通过LogMiner挖掘从源数据库传输过来的日志，构造成SQL语句，然后在目标库上执行这些SQL，使之与源数据库保持同步。

　　2.2 Streams技术

　　Streams技术是指利用挖掘日志文件生成变更的逻辑记录，然后将这些变更应用到目标数据库上，从而实现数据库之间或一个数据库内部的数据同步。

　　其实现步骤为利用Capture进程分析日志，生成逻辑记录（LCR），将其放入一个队列。Propagation进程将生成的逻辑记录发送到目标数据库中。目标数据库利用Apply进程将LCR应用到数据库中，实现与源数据库的同步。

　　Capture进程一般位于源数据库，Capture进程将日志分析后生成的LCR，然后再传输到目标数据库中进行应用。也可将Capture进程配置在目标数据库中，源数据库直接将日志文件传输到目标数据库，然后再利用配置在目标数据库的Capture进程进行分析，生成逻辑记录再利用Apply进程进行应用。

　　2.3 GoldenGate技术

　　GoldenGate数据同步的基本原理是由Extract进程读取源数据库的事物日志（Oracle中是redo log），将其中的变更操作（、update、等）按事务执行的顺序组合在一起，直接将其发送到目标服务其上，或者存放到Trails文件中，然后由Data Pump进程将Trails文件传输到目标服务其上，在目标服务器上Collector进程接收从源服务器传送过来的Trails文件，最后由Replicat进程将Trails文件中的数据装载到目标数据库中。GoldenGate通过网络传输的数据量通常是日志量的1/4或更少。

　　以下为三者的优劣比较：

　　3. 技术选择

　　3.1 中心数据库与本地数据库同步技术选择

　　为避免中心数据库在出现长时间不能恢复故障引起业务的长时间停顿，我们利用2004年购置的IBM P650小机建立了中心数据库的镜像数据库。考虑到中心数据库和镜像数据库均使用UNIX操作系统，而且都在一个局域网内，为方便配置，我们通过DATA GUARD实现中心数据库与镜像数据库的数据同步。同时，为确保数据数据的零丢失，日志传输采用最大保护模式。

　　3.2 中心数据库与区（县）数据库异地同步的技术选择

　　由于我市市级集中的中心数据库安装在UNIX操作系统上，而各区只能提供普通的PC服务器均安装的为WINDOWS操作系统进行数据回备，而且单位数量有三十多个，由于DATA GUARD只支持同平台的数据库之间的数据同步，而且只支持最多9个的STANDBY数据库。同时考虑到中心数据库之间与其他单位的数据库分别处于不同地方，之间用6M的网络相连，正常工作时间还需通过网络传输大量的业务数据，而通过STREAM的数据同步技术需占用大量的网络带宽。

　　由于中心数据库与区（县）数据库平台操作系统平台异构，同时要实现一个中心数据库与30多个数据库的同步，尽量减少因同步数据对网络带宽的占用，考虑到GOLDEN GATE在这些方面都具有明显优点，因此中心数据库与区（县）数据库的同步采用GOLDEN GATE的技术实现。

　　参考文献：

　　[1] 郭伟华 浅谈ORACLE数据同步技术 《科技资讯》2010.2

　　[2]杨朝红,宫云战,桑伟前,等.基于主从异步复制技术的容灾实时系统研究与实现.《计算机研究与发展》 2003.40

【数据大集中管理模式下数据同步技术探讨论文】相关文章：

基于云计算的数据挖掘技术探讨论文05-02

数据挖掘技术的研究论文05-02

过采样技术在光纤陀螺数据采集中的应用04-30

数据挖掘论文04-29

高校管理数据挖掘技术的应用论文05-02

移动通信网络与大数据探讨论文05-02

学校数据共享方法探讨05-01

生产车间数据采集与监控系统探讨论文05-02

大数据时代下软件工程关键技术研讨论文04-27

大数据背景下的统计与OK策划研究论文05-02