心使用理赔上线后第一个保守新核，比力平稳系统运转。下战书14点7分不测出此刻某天，监和数据库监控的告警系统同时收到了使用。显示监控，0秒的堵塞迭停使用呈现了9。而然，在排盘问题时当两边团队还，动完成了恢复数据库曾经自。

　　自主研发一直对峙，秀的小我能力研发人员有优，代码的前因后果清晰产物每一行，地新增和点窜代码可以或许快速和高质量，了自主研发真正做到。

　　promote功能新增online ，线切换优化在，短切换时间进一步缩。

　　16年自20，起头从保守单体架构向分布式微办事架构革新这家安全公司的互联网焦点和保守新焦点使用。20年到20，多个微办事模块并完成Mesh化接入互联网焦点营业系统曾经拆分成了40，心特点是互联网核：

　　数据库完全自主研发OceanBase，部开源代码不依赖外，自主研发真正做到。

　　专有特征依赖较多对Oracle，、自定义类型、函数、外键等大量利用存储过程、触发器。uxedo（Oracle两头件做分布式事务处置）做保单过程处置更为挑战的是老焦点大量利用Pro*C（SQL嵌入式C法式）和T，o*C法式就有1500多个仅某年金系统涉及到的Pr，万行代码约140，间难以革新营业短时。

　　数据迁徙和压测回放测试情况：自主进行，动优化建议东西并通过SQL自，迁徙验证效率大大提高了，0%以上的问题能够自助处理9。

　　：迁徙时间短1）冲破一。到2021年9月从2020年9月，即完成迁徙仅用时一年，如斯大规模的焦点系统全量迁徙而保守金融机构还没有实现过。

　　加速扶植科技强国在国度层面提出，立自强的大布景之下实现高程度科技自，公司深切推进数字化转型某超大型安全（集团），术成长趋向紧随前锋技，架构分布式革新转型前瞻性结构启动IT，达20TB+焦点数据库的全面迁徙革新工作并于21年9月完美实现了最初一个规模高，构演进打下了坚实的根本也为后续向云原生多活架。移项目成功上线该数据库国产迁，科技强国的标杆实践树立了金融行业践行，略以及国产手艺的履责担任也是对国度科技自立自强战；系科技生态扶植和科技财产链的快速成熟更鞭策了整个国内数据库办理与使用体。

　　年10月2020，赔系统成功上线月首个保守新焦点理，上线个保守新焦点的迁徙上线月完成保守老焦点最小省份的迁徙，一个大省迁徙上线月完成保守老焦点最初，体库迁徙上线、全面系统化迁完成保守老焦点最初一个单移

　　手艺挑战针对以上，的PolarDB作为互联网焦点数据库的替代选择了和原有Oracle RAC架构更接近，云原生数据库次要特点如下PolarDB作为新一代：

　　普遍的数据库生态都赐与了很是高的使用兼容性支撑数据库针对Oracle、MySQL等使用最为。

　　迁徙规模破记载2）冲破二：。服办理、大数据在内的近百个营业系统在线Oracle数据库的全量搬家工作一年内完成了包罗保守焦点、互联网焦点、个险发卖、团险发卖、运营办理、客，0TB、数据量超千亿迁徙数据规模超40，模超20TB单库数据规。

　　辑集中的新焦点既有物理和逻，理集中也有物，的老焦点逻辑分手，心分省摆设此中老核，有一套数据库每个省城市，作量庞大迁徙工。

　　务库数据中一般的业，己的生命周期数据具有自，问具有冷热特点数据的高频访。如比，汗青数据流水表，在审计回查场景之外日记表汗青数据除了，以至不拜候拜候很少，数据城市比力大可是凡是这部门，开销会比力高数据迁徙的，移时间的耽误形成数据迁。部门数据针对该，分数据进行归档备份我们能够事后对这部，OMS东西全量迁徙零丁迁徙然后采用静态迁徙或者操纵。

　　虽然涉及系统浩繁该安全公司焦点，互联网焦点和保守焦点但总结下来次要分为：，总线机制实现异步解耦两头通过雷同ESB的。

　　B类型数据相对于LO，类型的表的迁徙无LOB数据，大小较小且不变单元迁徙批次的，求可控内存需，适度加大并发度可，移速度提高迁。以所，并发度单链路或多链路迁徙对该部门数据可利用较高的。

　　1年9月202，有手艺难题在处理了所，心数据库的迁徙完成了所有核，大促的考验后履历了开门红，一个完整的营业周期要完成一个安全公司，最初一关只剩下，险精算就是保。

　　处理该问题为了底子上，的滑润迁徙实现使用，目攻坚团队阿里成立项，月时间用1个，容预编译法式和运转时库从头开辟Pro*C兼，年国庆节前2020，的全数1000多个Pro*C法式预编译法式成功编译了某年金营业，个典型批处置功课并准确跑通了两，公司的验收通过了该，出该公司预期进展大大超，OceanBase产物研发能力的决心也因而在赛马中成功胜出博得了该公司对。

　　ion超时主动断开毗连功能添加Idle形态Sess，台历程数削减后，Session的内存资本及时释放收受接管Idle 。

　　年1月底2021，网焦点出单系统的数据库PolarDB作为互联，021年一季度营业冲刺不变支持起该安全公司2。

　　库供给的高效压缩能力迁徙后因为分布式数据，只要本来的1/3存储容量的大小，到国产机架式办事器加上高端小型机迁徙，省近2亿元设备投入节。

　　营业仍然运转在国外的数据库上今天堂内大部门金融机构的焦点，无法回避的现实这是一个我们，是一个产物的替代数据库的替代不只，为了“国产”两个字替代的目标不纯真，要的是更重：

　　量很是大单库体，B的就有6个跨越10T，模超20TB最大单库规，口短暂停机窗。

　　0年9月202，块迁徙到PolarDB互联网焦点首批使用模，程不到一个月整个适配过。后此，就起头了大规模的迁徙互联网焦点各个模块。

　　到逐渐开放再到全面开放从完全封锁的系统架构，焦点手艺的自主掌控真正实现了对数据库。架构的弹性和资本池化能力得益于云原生架构和分布式，“一库多芯”也自此能实现，户切换到海光办事器节点只需一条号令就能够把租，件的滑润替代实现了国产硬。

　　存储引擎手艺基于LSM，件的能力连系新硬，的分布式架构采用可扩展，能和扩展性供给高性。

　　据库环境进行全面验证针对保守焦点复杂的数，操作手册和细致的割接行事历最终构成了140页的迁徙，积推广堆集了贵重的经验为后续系统的迁徙和大面，的迁徙割接方案并构成了尺度。法过程如下全体迁徙方，割接-监控运维等四大环节进行逐项拆解从根本情况预备-迁徙过程练习训练-正式，到人落实，到分切确。

　　这一段过程当我们回首，然艰苦过程虽，构国产数据库迁徙实践经验但堆集了贵重的大型金融机。

　　发模式火速开，测试大师坐到一路攻坚小组的研发和，快速确定和调整当日的方针每日跟着项目进展和变化。和测试鸿沟打破研发，边在开辟研发一，和集成测试案例写好测试同窗曾经把单测，进展就当即验证测试开辟侧有一点小的，能接近同步完成使得开辟和测试。

　　1年5月202，2小时内成功完成西部某省的迁徙在，ema归并迁徙这一主要手艺难点验证了Oracle端多sch，数倍的提拔比拟之前有，行迁徙扫清了妨碍为残剩省份的并，优化后颠末：

　　库都是基于SAN存储摆设因为原有Oracle数据，动数据库迁徙工作之时在2020年9月份启，的当地SSD盘硬件还没有采购到位针对OceanBase摆设建议。相关的迁徙工作为了快速启动，焦点集群仍是摆设在SAN存储上最起头OceanBase保守新，产问题埋下了隐患这也为第一个生。

　　务颠末多年的成长该安全公司的业，笼盖全国营业范畴，、联系关系关系错综繁杂特色明显、品种繁多，要求数据库产物比照原有出产数据库的高机能和平安靠得住焦点数据库迁徙需要普遍调研和充实的科学论证——既，套系统的滑润迁徙也需要快速实现多，数据库横向扩展的能力同时处理资本弹性和。此因，施的同一规范和尺度成立了数据库迁徙实，制-阐发改良的科学方式论总体遵照评估-实现-控，序迁徙开展有，大迁徙策略并定下三：

　　高端存储的依赖脱节对小型机和。式数据库使用成熟推进云原生和分布，并取得机能提拔从可用到好用。

　　响且包管迁徙数据的严酷分歧性为了避免对原有出产营业形成影，量+增量的体例采用了DTS全，的Oracle集群对于数据规模超大，数据系统如客户主，数据迁徙链路提前2周启动，S会启动增量数据拉取模块在全量数据迁徙之前DT，取源实例的增量更新数据增量数据拉取模块会拉，存储在当地存储中并解析、封装、。迁徙完成后当全量数据，量日记回放模块DTS会启动增，日记读取模块中获取增量数据增量日记回放模块会从增量，封装后迁徙到方针实例颠末反解析、过滤、，包管数据的独一性通过方针端主键。换成功后使用切，响应速度上看从使用接口的，le提拔约30%机能比Orac。20岁尾到20，网焦点所有模块的迁徙两边联袂完成了互联，人的出单系统APP包罗办事超百万代办署理，客户主数据等共计40多个营业系统和注册用户超1亿的寿险APP、。

　　链路中的整个安全开户入口主数据系统作为焦点营业，3个联系关系系统内部对接4，超20TB数据规模，50亿条数据最大单表超，超2000万次每天接口挪用量，日均请求量最大的系统是该公司单体数据库，联系统多由于关，路的焦点位置且处在营业链，L的效率要求很是高因而对数据库SQ，响原有出产系统迁徙过程不克不及影。

　　须前进手艺必；系统和国外产物不具备的能力替代后的新系统必需具备老，能和不变不只是性，的火速支持能力更多是对营业，的营业高峰时辰的处置能力和面临海量营业和不确定性，金融级高可用能力以及更上一层楼的。

　　及时同步到Kafka的能力迁徙到新的数据库平台要具备，原有格局并兼容，据系统消费供下流大数。

　　障了营业持续性和数据精确性3）冲破三：迁徙全程同时保。程无一例回切整个迁徙过，近一年来上线后，定运转系统稳，整周期的“营业大考”并历经2021年完，1万+和包罗精算在内的所有营业环节的严苛考验经受住了开门红高峰TPS 5万+、QPS 2，出产需要完全满足，可用到好用的逾越实现国产数据库从。

　　数量操纵率提高了300%数据库办事器及存储机柜。至原有1/3设备功率下降。测算经，力约近万万度全年可节约电，供了络绎不绝的绿色动能为该公司数字化转型提，国度双碳计谋无力践行了，核心带来的碳排放增量削减公司因为自建数据。

　　下流大数据消费形成影响为了削减迁徙过程中对，造采用了2步走的策略到大数据的同步链路改。

　　系统的数据库全量迁徙革新用1年时间完成所有营业，只给周六、周日凌晨0点到早上6点所有系统数据库迁挪动作时间窗口，流量验证周末小，点保障周一重，常营业开展不影响正。

　　的研发模式全链路打通，是外在交互模式Pro*C只，据库的内核能力底层还要依赖数，办事端等做到了全链路打通从SQL模式、优化器、，L对to_date函数的J参数尚未支撑时好比研发在批处置功课现场联调时发觉SQ，SQL模块快速反映给，了开辟测试和发布后端仅用一天完成。

　　行业而言对于安全，没有互联网企业那么大短时营业并发压力虽，据库专有特征的依赖程度上可是在营业复杂性和对数，互联网企业都要弘远于。处置更为复杂安全营业的，多个系统完成单一营业要，网营业更长、更复杂挪用链比银行和互联，是安全营业数据库国产的挑战确保复杂调集大买卖量的不变。性和数据精确性的严苛要求因为金融机构对营业持续，有一家完成国产数据库全面迁徙在保守头部金融机构中一直没能，公司成功实施直到这家安全，五个冲破并取得了。

　　cle数据库的迁徙对于规模较大Ora，点协助提拔迁徙效率我们总结了如下四：

　　是对于数据库替代的阐发和憧憬这些年我们看过良多的文章都，焦点使用系统的手艺平台替代可是面临现实的大规模复杂的，阐发”文章中想不到的问题过程中还有良多在各类“，配和兼容、对使用的敌对性等良多特别对于现有运转的情况的各类适，这些关于，坚实的一步阿里走出了，宝贵的经验堆集了弥足，程给出了很好的示范效应这些都为此后的国产进。

　　息缓存功能优化元信，缓存优化为全局元消息缓存Session级别元消息，程的内存利用降低后台进。资本办理节制添加内存总量，定的阈值设置一，n、Kill Active Session、拒绝新用户Session毗连达到阈值后起头Cancel Query、Kill Idle Sessio，的自保能力加强数据库。

　　手艺挑战针对以上，nBase作为保守焦点的替代选择了分布式数据库Ocea，数据库次要特点如下OceanBase：

　　碰到的最大一次问题是在2021年1月互联网焦点迁徙到PolarDB过程中，要系统完成数据迁徙和使用的割接当天凌晨面向C端用户的两个重。务流量逐步添加伴跟着日间业，查询堆积较多使用毗连两系统由于大量的慢，办事堵塞将数据库，DB实例主动高可用切换全天多次触发Polar，建恢复流程施行节点重。

　　统焦点系统汗青长久该大型安全公司的传，年之前建成的既有1998，008年间建成的也有2004到2，跨度长时间，非常复杂数据量，模以至跨越20TB单个数据库的数据规。战的是更具挑，省市做了拆分良多老焦点按，别进行迁徙要分省市分，数据库可能就要多达36个单一老焦点系统需要迁徙的。能够分为三类系统保守焦点总体来说：

　　关系错乱系统联系关系，系统也有资金类系统既有保单平台办理，系难以梳理系统间关。

　　仅代表作者本人声明：该文概念，息发布平台搜狐号系信，息存储空间办事搜狐仅供给信。

　　另一个问题是若何系统化全面迁徙该安全公司焦点迁徙过程中碰到的，月完成最小省份的迁徙虽然在2021年3，省市独立摆设的Oracle数据库中但后面还有多个老焦点分布在36个按，0多个schema每个省份又包罗了2，的迁徙体例若是按照老，建20多条迁徙链路每个省份都需要创，都是极大的耗损对于资本和人力，难以完成短时间也。阐发通过，题是没有做到全流程主动化工程化批量迁徙最大的问，步调还比力多手工操作的，决该问题为领会，同窗做了三件工作产研和现场交付：

　　入阐发颠末深，互换机毗连的一个端口呈现了毛病发觉是SAN存储互换机到焦点。多路径转发虽然设置装备摆设了，ceanBase切主时间不婚配但因为操作系统内核的超不时间O，ase的主动选主操作触发了OceanB。过程中而选主，端口也呈现了IO堵塞的问题别的一台物理机也走的同样，Base进入无主形态最终导致Ocean，件成功切换后当多路径软，任何关预就完成了主动恢复OceanBase未颠末。与硬件超时参数不婚配所导致素质上是由于软件超时参数，合不敷充实的表示也是软硬件系统磨，能削减RTO的时间通过相关参数的调整。

　　现手艺100%自主立异4）冲破四：迁徙后实。新的国产数据库基于完全自研创，持续发版共计50余次迁徙过程中版本升级，Pro*C+Tuxedo）最长需求处理时间2个月（。过500位员工的数据库专业测验认证同时通过系统培训与交换实现累计超，全面自主掌控能力实现了数据库的。

　　础设备中皇冠上的明珠数据库是企业IT基，焦点数据资产存储企业运转，撑使用向上支，层根本设备向下屏障底，倒一切”的大前提下在金融行业“不变压，型更为稳重数据库的选，演讲（2021年）》 的描述按照信通院《数据库成长研究，1年6月底截止202，厂商就高达81家国产关系型数据库，繁复杂的产物面临如斯纷，在该安全公司面前的首要问题若何选择合适的数据库是摆。库产物浩繁虽然数据，的评估后颠末审慎，larDB等三款产物作为先期试点验证最终选择了OceanBase、Po，考量点如下次要选型：

　　分手读写，多读一写，采用多节点集群的架构PolarDB引擎，一个只读节点（最大支撑15个只读节点）集群中有一个主节点（可读可写）和至多。送到主节点写操作发，发到多个只读节点读操作平衡地分，的读写分手实现主动。

　　量大买卖，挪用几十亿次每天数据库，类精算和结算类买卖还有大量复杂调集。

　　Pro*C的适配但最难的是针对。供给的使用法式公用开辟东西Pro*C是Oracle，言编写法式使用C语，间接嵌入SQL语句在法式源代码中能够，据库操作施行数。保守C言语的开辟模式Pro*C既兼容了，数据库操控能力又供给了强大的，行业也有不小的用户根本所以在安全行业和其他。

　　署的数据库办事节点以云原生容器形式部，关的内存参数限制外除了受本身数据库相，定的CPU和内存限制还受cgroup指。池打满后其时毗连，超出限制因为内存，高可用切换重建惹起实例的多次。不变性和自保能力方面做诸多加强云原生数据库基于容器摆设需要在，相关问题为领会决，ce manager、并行日记回放、global index等功能后续的版本中添加了global plan cache、resour，融场景一一做了定制化优化数据库的内核参数也针对金。

　　入阐发颠末深，e和其他数据库一样OceanBas，(Plan Cache)通过利用施行打算缓存 ，L（参数分歧）对于不异的SQ，析阶段跳过解，成施行打算避免从头生，QL的机能以提拔S。的参数往往是分歧的可是现实场景中传入，1有热点库存就像淘宝双1，有大小机构号在安全行业也。看起来一样虽然SQL，的参数分歧但由于传入，行的路径也纷歧样优化的手段和执。le）为了选择最优的施行打算保守数据库（好比 Orac，护窗口（maintenance window））会按期进行数据对象统计消息的收集（如每天夜间的维，施行打算裁减旧的，统计消息生成更精确更优的施行打算使新的施行打算可以或许按照现实的数据。e采用雷同的方式OceanBas，e 每天进行数据冻连系并但因为OceanBas，据落盘增量数，际数据消息（行数据库对象的实，列，发生较大的变化平均值等）会。并当前因而合，会进行清理打算缓存，数生成施行打算进行缓存并按照第一次传入的参，环境下默认，个施行打算只会保留一。的参数不具备遍及代表性因为周末其时第一次传入，行打算走错导致后续执，机能问题发生了。

　　LOB类型空间占用较大Oracle数据表行，在原始行的根本上有显著添加每一批次的数据拉取大小会。B数据类型比拟无LO，需求无数倍的需求对OMS端内存，此因，B类型的表成立新的链路优化的策略是零丁对LO，小的并发采用较，OOM的风险防备JVM ，时同，体迁徙的速度为了提高整，路并行迁徙进行多链。

　　布式架构虽然为分，的从头设想如指定分布键等一般也不需要使用层做响应，e利用习惯根基分歧与原有Oracl。

　　12:00、17:00、21:00营业冲刺当天颠末了三个高峰时间点：，单量进入了汗青的前三位每小时出单量和全天出，到9000笔/s高峰期出单笔数达。

　　跨越60多台IBM和HP高端小型机该安全公司焦点营业系统原先共计利用，台高端存储跨越70多，架构耦合性强保守集中式，机能的线性扩展难以实现规模和。储全面替代进口小型机及保守SAN存储架构本次国产数据库采用机架式办事器和当地存，的云原生分布式架构革新以满足焦点系统全量迁徙。动过大导致营业系统不不变同时为了避免根本设备变，鲲鹏办事器夹杂摆设的架构采用Intel+海光+。el X86为主前期仍以Int，鲲鹏芯片国产办事器逐渐过度到海光、。分歧型号机械实此刻线调整，设备供应依赖解除了根本。0年9月202，据库迁徙项目之后正式启动国产数，的型号选择从硬件情况，方针系统到选出，量规划进行容，月的时间不到两个，系统适配、以及整个办事器集群的搭建从0起头完成国产数据库的硬件和操作。

　　存储分手计较与，分布式存储利用共享，性扩展的需求满足营业弹。户的存储成本极大降低用。

　　和架构革新升级先平迁再做营业，量同时发生避免多个变，的持续性影响营业。型不做革新原无数据模，新数据库来承担主体革新工作由。

　　特点在于数据量大安全精算阐发的，模子复杂阐发的，量的数据写入过程中还有大，周以至更长时间往往要持续一。精算过程中而且要确保，不克不及发生变化快照点的数据，通过存储层的快照来实现基于保守IOE架构往往。式数据库后迁徙到分布，的环境下完成安全精算怎样包管在不断使用，的最初一个妨碍是整个迁徙过程。复评估颠末反，定了最佳方案阿里云为此制，块的快速物理备份和表级的恢复能力受益于OceanBase底层数据。月的压考试证颠末近1个，到800MB/S集群恢复速度达，份恢复的时间要求完全满足精算的备。间窗口完成了数据的备份并导入到了精算库最终在2021年9月30日在划定的时，移后的安全精算营业无效支持了全面迁，遗留的小尾巴处理掉了最初。

　　式架构集中，架构相关考虑设想不需要进行分布式，习惯连结分歧和原有利用，racle数据库机能不低于原有O。

　　一代手艺成为环节出产力5）冲破五：迁徙后新。移后迁，显著下降存储成本，幅度提拔机能也大，支撑两地三核心多活摆设数据库由主备模式成长为，小时级缩短到分钟级出产事务处置时长从。

　　WR功能添加A，机能和可用性进行阐发按期收集AWR演讲对。WR功能添加GA，RW/RO进行全量数据采集对主机、Dockers、。

　　S形态摆设基于K8，的设置装备摆设起落级供给分钟级，毛病恢复秒级的，整的数据备份容灾办事全局数据分歧性和完。

　　完成后迁徙，为互联网焦点数据库PolarDB作，21年一季度营业冲刺需要不变支持起20。整个机能压力的集中点而最前端的出单系统是，革新拆成了30多个模块而且因为做了微办事化，个数据库平分散在了多，能具有被打爆的风险任何一个数据库都可，在多个Oracle RAC集群中在迁徙到PolarDB之前是拆，成多个Oracle集群的监控依托内部开辟的数据库监控完，架构将更顺应营业弹性的挑战迁到PolarDB之后全体：

　　支撑多个迁徙使命单台OMS能够，据收集出口可是共享数。据的持续拉取鉴于大库数，散至分歧OMS节点能够将大库的迁徙分，络流量的争用削减大数据网。

　　较常见的数据库机能现象施行打算跳变是一个比，ursor SharingOracle先后推出了C，lineOut，eekingBind p，CSA，段来优化改良SPM等手，规避施行打算走错的问题然而出产上也无法完全，9%到100%的兼容优化也是最难的新的数据库产物从Oracle 9，间能一蹴而就也不是短时。小概率事务对于这种，最初的兜底手段应急就成为了，的大前提下在不动使用，的绑定施行打算通过数据库矫捷，无效和容易落地的手段是呈现突发问题时比力。迁徙过程中现实整个，施行打算跳变对于偶发的，经驾轻就熟项目组也已，带来不测影响没有给迁徙。

　　-Nothing）的多副本架构采用基于无共享（Shared，任何单点毛病整个系统没有，的持续可用包管系统。

　　障发生可是故，Base基于SAN存储的摆设本来就是错的项目组内部也有质疑声音出来：“Ocean，ceanBase我们就不应利用O。不是OceanBase的问题”但颠末深切的阐发才发觉并，N存储的问题也不是SA，充实的磨合而是有没有，数是不是最合适的软硬件相关的参。集中式架构下的最佳组合IOE架构之所以成为，践和各类场景的锤炼恰是颠末普遍的实，最佳的形态下供给办事让软硬件都能在一个。次事务之后最终颠末这，一认识大师统，底子性处理问题调整参数并不克不及。nBase迁徙到了当地皮硬件设备上本来摆设在SAN存储上的Ocea，地三核心多活摆设架构随后也逐步演进到两。