旧瓶难装新酒 分布式数据库攻关传统运维难题

时间: 2024-08-12 11:19:07 |   作者: 工会活动

  数据库,和芯片、操作系统一样,是现代信息技术的三大核心基础之一,是IT基础软件的“命门”。数据库的安全、稳定、可靠、性能、容量,对国计民生有根本性的影响,也直接影响数字化转型的进程。

  这话毫不夸张,随信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性在面对大规模数据处理中逐渐显露,分布式数据库应运而生。

  北京商报记者通过调查了解到,分布式数据库解决了传统集中式单机数据库时期的问题,打破了后者面对海量数据在处理、存储、性能等方面存在的瓶颈,且分布式数据库的高可用能力,保证了不会因为单点故障而影响整体的可用性,这也保障了金融、电信等对高可用需求较高业务的连续性。

  有人这样解释,你可以将数据库看作为一名“超级会计师”,假如没有数据库,存储的数据可能像把一堆书随意堆放在房间里,不易找寻还容易丢失。但有了数据库,就能按特定的规则和顺序来存放这一些数据,还能进行各种查询、更新、删除等操作。

  近年来,数字化转型已经逐步从头部金融机构带动效应下的“选择题”,发展成为几乎所有金融机构需要面对的“必答题”。随着全面迈入数字化的经济时代,数据量也正在从TB级跃升至PB级,甚至ZB级。

  OceanBase CEO杨冰进一步告诉北京商报记者,IT领域“旧瓶”(旧的数据架构)难装“新酒”(新的数据量级),数字化转型也需要一套现代数据架构的有力支撑。其中,数据库就等于“大树”(数据架构)的“根基”,“根基”决定“果实”(数字化转型)的优良。立足当下,传统数据库已不能够满足现代数据架构需求,金融机构急需彻底重构“根基”。

  OceanBase是蚂蚁集团自研的原生分布式数据库。此前,中国的数据库市场几乎都是海外产品,但随着访问量、交易量指数级攀升,所对应要购买的数据库资源也随之直线攀升,企业不堪重负,瓶颈也很快显现。

  有报告指出,传统数据库在时代面临技术架构复杂、使用成本高以及安全性等严峻挑战,企业迫切地需要采用新一代数据库来处理,利用架构升级来消弭高昂的软硬件成本,并需要加强数据分析能力以推动企业洞察驱动的决策模式,从而进一步加速数字化转型。

  “那个时候的数据库都是集中式,没有很好的方法处理大数据,面对高并发的一些场景也没有扩展能力,随着网络的需求爆发式增长,我们应该一个有扩展能力的分布式数据库,所以我们就决定自己做。”杨冰介绍,从0至1,很多都得打破重来,如何重新设计一个架构适应未来的发展,是技术上的难点;另外,怎么样处理以及确保数据相同等等,也是逐步解决掉的问题。

  “数据库是用出来的。”杨冰称,OceanBase从2010年立项,写下第一行代码,坚持完全自主研发,在过去十多年间,从互联网支付核心到全场景金融核心,再到政企民生、运营商核心场景,以及新零售、新制造、互联网海量场景,OceanBase参与并支持了多次关键业务负载,并不断深度完善、快速迭代。

  随着业务发展与数据处理需求的变化,传统数据库方案逐渐面临业务抖动、扩展难、处理时延大、成本高等诸多困境,许多行业及业务场景都在谋求数据库现代化升级。但什么样的数据库能解决扩展性、稳定性和运维问题?在业内看来,这对于提升企业的竞争力至关重要。

  北京商报记者通过调查了解到,在当今多样化的业务环境中,不一样的行业对数据库系统的需求各不相同。例如,金融风控场景需要高效的事务处理(TP)和分析处理(AP)数据库;游戏行业则更关注文档数据库的灵活性和性能;而基于位置服务的业务对GIS空间数据库的依赖尤为突出。

  业务场景的复杂性导致数据库运维过程中面临诸多挑战,包括备份恢复、现网巡检、安全与法规遵从、故障排查、维护升级和性能调优等。

  传统的单一数据库系统难以全面满足多样化的业务需求。运维过程中,多数据库系统的多样化诉求不仅增加了数据库管理员(DBA)的工作量,还对其技能提出了更高的要求。随着引入数据库系统的增多,运维的复杂程度成倍增加。

  “这种情况下,数据库的多模能力显得很重要,它能够统一管理和处理不一样的数据,在提高效率的同时简化技术栈,从而满足复杂多变的业务需求。”OceanBase资深技术专家张易谈及了多个方面。

  业内许多数据库的多模功能通常以解决方案的形式呈现,其中每个引擎都是垂直的,即每一种模型都是一个数据库,它们之间相互独立。但OceanBase采用了一种不同的方法,在OceanBase中无论是KV多模还是SQL多模,它们都共享同一个分布式存储引擎。例如,SQL多模会共享OceanBase的SQL引擎,包括其中的执行及优化能力。由于这种共享,OceanBase底层的分布式存储引擎的演进也会统一影响到多个模型。张易解释,这样的设计带来的好处在于,用户不再需要担心单一模型的生态和演进问题。不仅能实现多模融合计算、多模融合存储、多模一体化运维,基础引擎的优势也将会乘以N。

  在具体场景应用上,张易介绍,以基于位置的服务为例,假设需要查询距离最近且评分超过4分的奶茶店中的前10条好评。这个需求涉及多个角度。首先,需要筛选评分超过4分的奶茶店,这是普通的结构化关系型数据库擅长的处理,即以“评分4分以上”作为过滤条件即可。其次,需要找到距离最近的奶茶店,这是典型的基于位置的查询服务,是空间数据库擅长的处理。另外,需要仔细考虑10条好评,这里的评价一般都是文本,文本内容是否属于好评很难判断,可以基于文本内容提取文本语义做向量检索,从而得出判断。

  那么,如何结合这些查询条件,最终选择何种执行路径呢?是使用向量索引还是使用空间索引,还是使用普通TP索引?张易称,OceanBase通过多模引擎和优化器的融合,能够选出最优的执行路径,从而为用户带来更佳的查询结果、查询响应时间和资源消耗。

  据了解,OceanBase的多模能力,可使用户无需为不一样的数据部署不同的数据库,只需使用一个数据库、一个引擎即可。OceanBase原生支持多种数据模型,包括SQL和NoSQL,为用户更好的提供了依据自己需求选择正真适合数据模型的便利。

  “对于我们这样自研的数据库,且又是一个新品牌,最大的挑战就是客户的信任问题,”谈及在推广初期遇到的困难,杨冰记忆犹新,OceanBase团队曾为了争取某国有大型保险公司的项目,与其他厂商“竞赛”了近一个月。

  “当时,整个核心系统数据量非常庞大,上千万行老代码需要兼容,短时间内要完成迁移上线,且业务尽可能少改动,在这么短的时间内基本是不可能完成的事情,但我们仍旧是希望能挑战一下硬骨头。”杨冰称,“因为还有别的厂商一起竞赛这一个项目,整个竞争架势有点像百米赛跑,为此,我们快速集结了一个7人最强小分队,几乎是大家日夜兼程,开发和测试同步进行,最终用了28天的时间完成上线。这一次的胜出,也充足表现了我们的自研能力、代码掌控能力及处理问题的能力,通过这样一次战斗,也获得了更多的同行业客户信任。”

  OceanBase诞生于金融场景,据介绍,截至目前,OceanBase已经累计服务了数百家金融机构,覆盖70%资产规模千亿元以上的银行,在证券、、基金行业的Top20资产规模企业中,覆盖率分别为75%、65%、45%。其中大部分涉及核心系统数据库升级,尤其以头部、头部公司为代表的金融机构开始涉足“无人区”,率先进行核心系统数据库的分布式升级。

  以某国有大行为例,国内首个贷记卡核心系统“大机下移”分布式已经运行一年有余,目前已有ECIF、对公网银等几十套系统数据库升级至OceanBase,传统核心也在基于OceanBase进行大机下移和单元化改造。

  杨冰向北京商报记者介绍,不同规模金融机构数据库升级需求各不相同,大型金融机构基础设施较好,对TPS、响应时间等各方面的要求比较高,另外,大型金融机构需要整体升级的系统较多,迁移的数据量也较大,所以着重关注整套迁移方案的安全性和改造成本。而对于中小型金融机构而言,其第一步是要数据库具备分布式能力,且非常关心服务和培训,以确保有足够的服务人能保障后续的日常服务。

  有分析人士指出,2024年将进入分布式数据库大规模部署阶段,分布式数据库厂商需要持续打磨核心功能、扩大生态建设、做好人才教育培训、做好金融行业差异化需求适配等。