知晓：【金猿产品展】OceanBase 原生分布式数据库——从根本上解决海量数据管理的问题 ...

2023-7-12 05:13| 发布者: 天若有情| 查看: 74| 评论: 0

摘要: 　　一款完全自研的原生分布式关系数据库软件，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，具备卓越的水平扩展能力，全球首家通过TPC-C标准测试的分布式数据库，单集群规模超 ...

　　一款完全自研的原生分布式关系数据库软件，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，具备卓越的水平扩展能力，全球首家通过TPC-C标准测试的分布式数据库，单集群规模超过1500节点。产品具有云原生、强一致性、高度兼容Oracle/MySQL等特性。兼容mysql的数据库https://www.oceanbase.com/solution/database-migrationoceanbase，完全自主研发的原生分布式数据库，连续年稳定支撑双，创新推出“三地五中心”城市级容灾新标准，一套引擎同时支持tp和ap的混合负载，具备数据强一致，高扩展，高可用，高性价比，高度兼容oracle/mysql等特性，已助力+行业客户实现关键业务系统升级。

　　2021年重大更新升级

　　OceanBase 数据库作为一款企业级原生分布式关系型数据库，自创立以来一直坚持原生分布式的发展路线，其高兼容、金融级容灾和高可用、透明灵活扩展、超强稳定性等能力已经在金融、政府、运营商等各个行业得到了充分验证以及认可。今年6月1日，OceanBase 3.0 产品发布会宣布 OceanBase 数据库进入 3.0 时代，全力打造硬核的原生分布式 HTAP 数据库，打破边界，同时支持 OLTP 和 OLAP 负载。截止目前，OceanBase 3.0 已经在多家企业的核心业务系统得以应用。2021年10月22日云栖大会上，OceanBase 3.2 版本正式发布。

　　OceanBase 3.2 是宣布进入3.0时代后的首个重大版本，持续在企业级能力构建上发力，围绕兼容性、HTAP混合负载、小规格性价比等几大核心能力，在Oracle/MySQL 兼容、易用性、稳定性、性能和功能等诸多方面持续迭代增强与优化升级，在提升用户体验的同时，帮助用户更轻松地完成应用迁移、TP 和 AP 统一部署、降低应用开发部署和运维成本。OceanBase 3.2在同等环境及任务的前提下，相比于3.1版本，Sysbench OLTP 性能提升24%，BMSQL tpmC 性能提升30%以上，TPC-H 性能提升655%，极大的提升了 OLAP 能力。

　　应用场景/人群

　　OceanBase 基于分布式架构和通用服务器、实现了金融级可靠性及数据一致性，产品具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。通过科技创新、产品技术沉淀以及不断完善夯实的全产业链合作伙伴生态，助力传统行业数字化转型。2020 年 5 月，OceanBase 以 7.07亿 tpmC 的在线事务处理性能，打破了自己在 2019 年创造的 TPC-C 世界纪录。截止至目前，OceanBase 是第一个也是唯一一个上榜的中国数据库。目前，OceanBase 已承担蚂蚁集团所有核心链路，并服务大量金融、运营商、政府公共服务等行业企业，在中国工商银行、建设银行、南京银行、西安银行、常熟农商行、苏州银行、广东农信、人保健康险、招商证券、中华财险、中石化、深圳公积金、浙江移动、山东移动等众多行业机构上线，助力客户快速实现业务价值。

　　产品功能

　　OceanBase 3.2 版本产品功能升级：

　　1.硬核 HTAP 能力，OLTP 和 OLAP 性能大幅提升

　　在 3.2 版本，OceanBase 数据库通过执行计划索引剪枝、缓冲区刷新算法、去除重复表达式、Table Scan 算子，多种算子的执行效率与内存消耗优化，极大提升了 HTAP 负载能力。相比于3.1版本，3.2版本在 OLTP 和 OLAP 性能上具有大幅度提升，可以更轻松的应对海量数据和高并发的 OLTP 业务挑战以及实时分析的 OLAP 业务与挑战，在 TPC-H 性能测试上提升655%，极大的提升了 OLAP 能力。

　　a.支持小规格部署，性能提升30%

　　持续优化系统内部模块级内存使用限制，突破小规格限制，并支持在8C64GB 小规格机器部署并稳定运行。性能层面，相比3.1版本整体提升30%。针对内存写入平滑性、系统并发执行、系统可用会话池、收发包内存等内存使用方面进行性能增强优化。进一步降低数据库对内存资源消耗。针对栈内存、Diagnose 内存、SQL 线程缓存、Close STMT 队列等模块内存方面进行重要技术升级，大幅提升数据库对内存资源的利用率。

　　b.突破分布式数据库事务限制，支持超大事务

　　分布式数据库系统内存 Memstore 中写入的数据量超过一定限制时将 Memstore “冻结”并将数据 dump 到磁盘上，但冻结和转储过程 Memstore 中要求没有未提交的事务，因此会导致活跃事务频繁搬迁以及租户内存爆的风险。OceanBase 通过转储未提交事务技术（租户级别的调度与冻结超出内存限制的活跃未提交事务）以及 Paxos 即时写日志技术（对冻结事务生成 clog 进行Paxos 同步），实现了分布式数据库对超大事务支持能力，更好地有效解决转储对事务状态的依赖。

　　c.内核能力优化提升性能

　　强化内核能力，通过 Marker 去除重复的表达式，替代原有的 HashSet 以获得更好的性能；新增支持手工收集优化器统计信息，提升手工调优能力；新增索引自动加密，提升数据存储的安全性。

　　2.更高兼容性，降低业务迁移改造成本

　　OceanBase 数据库针对 Oracle 和 MySQL 模式，在功能、语法、函数、过程语言、系统包等方面均进行了兼容性增强，进一步降低业务迁移到 OceanBase 数据库的改造成本，以及用户使用 OceanBase 数据库的学习成本。

　　a.Oracle 兼容性，支持存储过程读写及定时器任务管理调度能力

　　新增支持系统包 UTL_FILE，实现多系统间的数据交换、同步和整合，用户可以将数据库内的数据写成文件同步至下游系统使用，也可将其他系统生成的数据文件读入数据库做进一步处理，避免系统重构成本。新增支持定时器任务 DBMS_JOB ，可以轻松进行任务的管理和调度，实现定时任务、循环任务及异步任务等复杂业务场景下的自定义任务管理和调度，降低人力维护成本。

　　b.适配 MySQL 5.7 协议，MySQL 模式下支持自增列和 DML 触发器

　　适配支持 MySQL 5.7 驱动协议，支持 5.7 新增的会话变量，可以推高 OceanBase 的 MySQL 兼容版本，避免企业内部安全审计问题。新增支持自增列做为分区键，为数据的逻辑分离提供更好的灵活性。OceanBase 的 MySQL 模式并不支持 DML 触发器，导致需要触发器行为的场景下，客户需要自己写代码来实现数据和记录的约束，OceanBase 数据库在3.2版本在 MySQL 模式下支持 DML 触发器，用户可以在表上创建触发器，当在该表上的 DML 操作满足条件时，即可触发用户自定义行为。

　　3.提高产品易用性，降低运维成本

　　OceanBase 数据库对数据库的易管理和易运维进行了针对性的提升，针对很多常用用户操作进行了简化，降低用户使用数据库的复杂度，提升使用效率。

　　a.提升自动化能力简化运维成本

　　支持 Schema History 回收功能和自动清空回收站功能，OceanBase 数据库回收站提供以租户为单位，当磁盘空闲空间不足时，按照 FIFO 的策略，自动清理回收站空间的功能。支持用户通过配置项 _schema_history_recycle_interval 控制Schema History 回收周期，通过配置项 recyclebin_object_expire_time 指定回收站中对象的过期时间。提供自动巡检能力，可以根据内置巡检规则及系统脚本对关心的资源设定时间进行检查并生成巡检报告。支持租户级别的最新状态物理恢复，恢复命令在缺少条件下恢复到 CLOG 中记录的目标租户的最新状态简化用户操作。

　　提供内部状态可视化能力，通过虚拟表读取任务队列及内存任务情况；加强性能诊断报告能力，对集群的性能指标、参数和资源配置、负载进行分析并生成诊断报告帮助 DBA 进行性能诊断；提供 SQL 诊断调优特性，针对 SQL 进行健康情况诊断及性能问题排查，识别可能会影响系统稳定性的慢 SQL 及可疑 SQL ，帮忙用户提早排查问题规避风险。

　　4.核心场景稳定性更强，为业务护航

　　OceanBase 数据库在访问连续性、数据一致性和事务执行等方面针对性提升系统的稳定性，为客户业务的连续性和正确性提供更有效的保障。新增全局死锁检测、本地路由表自动刷新、备机强一致性读、系统异常状态侦测强化、集群网络流控优化能力。

　　a.新增全局死锁检测功能，及时处理死锁问题，保障事务执行稳定性

　　死锁是数据库非常常见的问题。出现死锁时，需要 DBA 来监控或巡检发现，并人工进行处理；定位时间和周期都比较长。针对这一场景，OceanBase 数据库在3.2版本支持全局死锁检测功能。实现分布式死锁检测的关键在于，如何汇总每个节点上的局部锁等待关系，并基于汇总出来的全局锁等待关系产生全局的锁等待图(wait-for graph)，找出图中成环(deadlock cycle)的事务，最后挑选出最优的事务作为牺牲者(victim)去解开死锁。

　　OceanBase 数据库采用基于 Mitchell-Merritt 算法，使得分布式死锁检测在分布式数据库系统中得以实现。目前死锁检测范围已包含嵌套执行、存储过程、触发器、外键等，后续版本也会持续增强和完善全局死锁检测能力。

　　b.支持超多分区，突破个数规格限制，确保业务系统稳定性

　　OceanBase 3.2版本就分区级联方案、分区状态算法、心跳及日志传输等多个重要模块组件进行增强优化，实现数据库集群支持规模达到50万级别分区数量，帮助用户在业务高速增长下保证系统稳定性。

　　c.优化集群网络流控，避免网络带宽耗尽带来的访问故障

　　在数据库实际的业务场景中，当出现大规模数据同步复制（比如故障数据迁移、备份恢复）时，很容易把网络带宽耗尽，从而影响正常业务访问。OceanBase 数据库优化了集群网络流控，优化事务日志同步、迁移、补副本、RRebuild 操作拷贝静态数据等场景下所需要的网络带宽资源使用，对网络流量进行更好的控制，通过规则和保底方案形式避免访问故障的出现。

　　5.强化管控能力，满足复杂业务场景

　　a.支持公共云海外部署形态，助力客户全球业务拓展

　　OceanBase 公有云在海外发布，在安全特性（SSL 加密、TDE 数据透明加密、VPC 隔离）满足海外安全合规需求的同时，通过数据存储压缩技术优势，实现成本下降30%、存储空间下降90%。

　　b.支持多租户资源隔离，满足跨业务跨部门复杂业务场景

　　大型复杂的业务场景下，不同业务以及部门之间需实现权限及资源隔离，以避免因资源争抢等造成业务间互相影响。针对多租户场景，提供租户级的磁盘空间限制管理能力，通过自动化任务定期主动探测空间使用情况，超出时触发空间限额管理策略。支持租户级的快照备份恢复，可以根据业务种类及重要程度指定备份策略，并支持自定义备份目的地。

　　产品优势

　　产品优势：

　　OceanBase基于原生分布式系统架构设计，每个节点提供无差别的数据库服务，有别于在开源基础上“分库分表”的分布式方案，支持全局索引、强一致分布式事务、跨服务器复杂查询等能力。

　　金融级高可用：

　　三地五中心容灾架构方案，建立金融行业无损容灾新标准。

　　基于Paxos协议的日志传输，支持数据多副本，普通服务器可实现容灾自动恢复，且数据零丢失。

　　HTAP混合负载：

　　同一套高性能并行执行引擎，结合独有的数据存储方式，分别对交易和分析场景进行深度优化。

　　隔离不同负载使用的计算资源，避免分析场景与交易场景相互干扰。

　　超大规模集群水平扩展：

　　实现透明水平扩展，支持业务快速的扩容缩容，同时通过准内存处理架构实现高性能。

　　支持集群节点超过数千个，单集群最大数据量超过3PB，最大单表行数达万亿级。

　　主流商业和开源数据库兼容：

　　兼容MySQL和Oracle 两种主流数据库生态，包括SQL语法、函数、视图以及存储过程等高级特性。

　　提供丰富的数据库工具软件，开放API接口，能够与三方工具集成，降低客户的使用门槛。

　　服务客户/使用人数

　　OceanBase分布式数据库已助力中国工商银行、建设银行、南京银行、西安银行、常熟农商行、苏州银行、广东农信、人保健康险、招商证券、中华财险、中石化、深圳公积金、浙江移动、山东移动等200+行业客户实现核心系统升级；开源以来的5个月内，目前已知用户有快手、携程、美团、Billibilli、六棱镜等50余家。

　　市场价值

　　OceanBase连续两年支持教育部协同育人计划，推动分布式数据库教学标准体系建设，以培养下一代数据库人才为驱动力，共同建设OceanBase高校人才教学生态，打造国产分布式数据库核心人才。

　　其中，在教研工作上，联合东北大学编制研究生分布式数据库教材，联合复旦大学编制本科生分布式数据库教学方案，目前教案已完成，教材已编制完成还未最终出版。

　　OceanBase 于2021年9月正式推出OceanBase“创计划”第一期，通过免费的方式帮助企业在成长的过程当中解决数据处理、数据存储等挑战，在开源版本基础上，面向符合条件的前100家中小企业，免“服务费”升级到 OceanBase开源版，包括咨询、安装部署、后期运维和基础保障。同时 OceanBase 推出涵盖部署、使用、迁移、性能测试、诊断调优的开源版认证课程，打造国产数据库培训认证体系，目前已完成1000多人才认证。

　　当企业升级至开源版本后，将至少配置1位DBA数据库工程师，“创计划”第一期将服务100家，后续第二期第三期将服务更多的中小企业，DBA人员需求越来越大，该计划将不断助力解决数据库专业人员的就业问题。

　　产品所属企业·OceanBase：

　　北京奥星贝斯科技有限公司（以下称 OceanBase），成立于 2020 年，注册资本 1 亿元，是蚂蚁集团控股并独立运作的商业公司，致力于企业级分布式数据库 OceanBase 的设计、研发、销售、服务等。通过科技创新、产品技术沉淀以及不断完善夯实的全产业链合作伙伴生态，助力传统行业数字化转型。OceanBase 基于分布式架构和通用服务器、实现了金融级可靠性及数据一致性，拥有100%的知识产权，始创于2010年。产品具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。2020 年 5 月，OceanBase 以 7.07亿 tpmC 的在线事务处理性能，打破了自己在2019年创造的 TPC-C 世界纪录。截止至目前，OceanBase 是第一个也是唯一一个上榜的中国数据库。目前，OceanBase 已承担蚂蚁集团所有核心链路，并服务大量金融、运营商、政府公共服务等行业企业，在中国工商银行、建设银行、南京银行、西安银行、常熟农商行、苏州银行、广东农信、人保健康险、招商证券、中华财险、中石化、深圳公积金、浙江移动、山东移动等众多行业机构上线，助力客户快速实现业务价值。