当前位置:   article > 正文

信创铺路,数据库格局颠覆的时刻到了_弹性扩容 分布式关系数据库

弹性扩容 分布式关系数据库

昂贵、专有、厂商锁定· · · · · ·传统的商用数据库的众多弊端一直为用户所诟病。

面对传统数据库的一堆噪点,在信创发展多年后,对于Oracle数据库能否被替代这样的问题,依然没有“能”或“不能”这样一刀切的答案。

在国内外,用户的数十万的Oracle数据库的数据被迁移到更多云数据库。但是在很多关键业务系统上,Oracle数据库依然占据重要的市场份额。

从第一款商业化关系数据库诞生开始,数据库已经走过了40多年的历史,在发展过程中分化为面向事务处理和面向分析决策的数据库;在商业产品之外,诞生了开源数据库,并逐渐成为一个主流方向;从起初的单机形式,开始了分布式之旅,应对高并发、大数据量、超高峰值等挑战;从关系型数据库独霸天下,到多种数据模型数据库百花齐放,市场上出现了十几种专有数据库。

面对众多的趋势,面对规模不断增大的市场,信创,在数据库领域的步伐越来越坚定有力。

 

一、中国企业进入全球数据库领导者阵营

数据库与CPU、操作系统并列为全球ICT技术三大件,也是企业IT系统必不可少的核心技术。

现在,几乎所有IT系统都离不开数据库系统,数据库种类也已发展到多达十几种。

数据库系统的研发很困难吗?专家告诉我们,确实非常困难,超大规模的数据库系统是计算机系统,乃至整个IT软件领域最困难的挑战之一。

在数据库诞生之初,中国就开始了国产数据库的研发,自主可控一直是中国数据库发展的核心目标。

中国企业的数据库产品一直在前行。虽然在不同的时代,中国企业的数据库产品不时出现在用户的关键业务系统中,也出现在Gartner的竞争魔力象限中,但是一般都是短暂的,市场的影响偏小。

云计算和开源数据库为中国在数据库领域的弯道超车提供了机会,也取得骄人的业绩。在Gartner公布的2020 年度全球数据库魔力象限中,阿里云首次挺进全球数据库第一阵营,与AWS、微软、谷歌、Oracle等同处领导者象限,这也是中国数据库40年来首次进入全球顶级数据库行列。而腾讯云、华为云则进入“特定领域者”。

Gartner的报告称,到2022年,所有数据库中的75%将被部署或迁移到云平台,而只有5%的考虑返回到本地部署环境。到2023年,云数据库管理系统的收入将占DBMS市场收入总额的50%。

图片

2018年,阿里云闯入Gartner“远见者”象限。2019年,阿里云进入了“挑战者”象限,当年阿里云数据库增长了116%,处于中国第一、全球第三的位置。

从2014年开始,阿里云开始了“去IOE”行动,走上自主研发之路。如今阿里云拥有丰富的数据库种类覆盖度和完善的产品布局,为用户提供了多种关系型和非关系型数据库产品,还提供了混合云环境部署。

2009年,阿里开始用开源的MySQL替代Oracle。2010年,阿里巴巴又基于MySQL打造开源数据库AliSQL,并对淘宝商品库进行改造。2012年,AliSQL支撑了首个“双11”。2013年,已经家喻户晓的淘宝下线最后一个Oracle数据库。

图片

在自己的业务系统中应用,为阿里云数据库提供进步的试验场,极限流量洪峰的实战考验是阿里云数据库系统得到国际认可的硬核所在。

与此同时,进入“特定领域者”的腾讯云数据库已经拥有了一套完整解决方案,包括金融级分布式数据库TDSQL、云原生数据库CynosDB、开源数据库TBase、时序数据库CTSDB、图数据库TGDB、流计算平台Oceanus、数据库一体机TData、为游戏设计的分布式数据存储服务TcaplusDB等。

基于长期在自主研发创新方面的投入积累,腾讯云数据库在助力国内数据库国产化迁移替代领域表现出明显优势,并将在未来国产化趋势大潮下持续投入。

华为云凭借GaussDB系列数据库产品入选特定领域者。据媒体报道,华为在数据库产品上的战略投入超过13年,支撑着华为7大产品线近40个产品,为电信运营商提供的在全球部署的3万套设备所需网管与计费软件,均使用华为数据库。

目前,华为囊括全球1000+数据库专业人才,在华为全球7大研究所从事数据库基础研究。这也是是华为数据库自研的核心力量。

 

二、关系型数据库国内英豪

面对五花八门的数据库,最重要的类型是什么?

是关系型数据库。40年来从未变过。

尽管近十年来,NoSQL数据库如HBase、MongoDB或Cassandra等来势汹汹,并在一些特定的应用中效果明显,但是依然无法撼动传统的关系数据库的主导地位。

根据DB Engines排名,当今最受欢迎的数据库产品是关系数据库Oracle、MySQL和Microsoft SQL Server,十大数据库中有六个是关系型数据库。

在数据分析方面,关系数据库具有不可替代的优势:

关系数据库使用“元数据”,即描述数据的信息,提供有关数据源、数据收集方法和含义的信息;

表格结构使数据井井有条,易于访问并且相对易于人们查看和理解;

在关系数据库中,总是知道确切的数据种类和数量;

关系数据库非常适合常规数据分析,如经典统计分析等。

图片

在中国关系型数据库软件市场中,传统部署模式国际厂商仍占主导地位。Oracle、Microsoft、SAP、IBM分别占据市场第一到第四的位置,占据超过一半的市场份额。

华为、阿里巴巴集团,以及传统数据库厂商南大通用和人大金仓排在其后,占据近40%市场。

国产关系型数据库核心业务应用场景不断扩大。随着国内云厂商技术能力不断提升,数据库等核心技术的国产化也取得重大突破,对本土客户的需求将会有更好的适应和匹配,数据库国产化成为行业发展的必然。

在金融场景中,目前腾讯云数据库已在平安银行信用卡A+新核心系统、人保财险系统、张家港农商行的核心系统中落地应用。

在刚刚过去2020年的“双11”,阿里云的云原生数据库PolarDB和云原生数据仓库AnalyticDB首次在阿里巴巴大规模应用,PolarDB刷新处理峰值新纪录,TPS高达1.4亿,比2019年提升60%;AnalyticDB处理了7.7万亿行实时数据。

国产关系型数据库技术与产品不断发展进步。数据库技术突破的最大动力,一是开源,二是云计算。目前,国产数据库产品性能不断提高,国产化适配不断完成,生态系统不断壮大,除了云服务商外,出现不少优秀企业。

达梦公司具有丰富的数据库产品,包括DM系列新一代更新的DM8,以及达梦透明分布式数据库(DMTDD)等。

人大金仓已经成为中国电子科技集团有限公司(CETC)的成员企业,包含各类数据库产品,KES,也就是关系型数据库;KSone,分布式数据库;以及KADB,分析型数据库。

金仓数据库管理系统KingbaseES是面向事务处理类、兼顾分析类应用领域的新型数据库产品。系统支持1000个以上并发用户、TB 级数据量、GB 级大对象。系统可运行于Windows、Linux、麒麟以及UNIX 等多种操作系统平台,具有标准通用、稳定高效、安全可靠、兼容易用等特点。

隶属中国航天科技集团公司的神舟通用公司提供神通数据库系列产品与服务,先后获得30 项数据库技术发明专利。神通数据库企业版采用关系数据模型,支持SQL通用数据库查询语言,提供标准的ODBC、JDBC、OLEDB/ADO 和.Net Data Provider 等数据访问接口,并具有海量数据管理和大规模并发处理能力。

瀚高数据库企业版,是为企业级客户打造的一款拥有完全国产自主知识产权、面向核心交易型业务处理的企业级关系型数据库。其中HGDB V5数据库产品全面拓展了丰富的企业级功能,在业务处理性能、高可用性、安全性及易用性等方面均有大幅度增强。

 

三、分布式关系型数据库群雄并起

数据库管理系统起初都是单机形式,主要服务于银行、航空公司、宇航局等大型企业。2000年后随着在线业务的蓬勃发展,很多系统都面临处理高并发、大数据量、超高峰值等挑战,数据库开始了分布式之旅来应对这些挑战。

这条路先从分析场景开始,然后扩展到事务处理领域。分布式分析数据库主要解决海量数据的存储、查询分析的需求,主要是应对扩展性、高可用等挑战;而分布式事务数据库主要解决分布式事务的问题。

分布式数据库是指数据在物理上分布而在逻辑上集中管理的数据库系统。首要的是透明性。对于用户来说,相当于一个单机数据库;其次是数据冗余性,通过多副本来实现系统可靠性和可用性;以及易扩展性,通过水平扩展来提升整体的处理能力。

因此可见,分布式数据库的核心技术包括数据复制,即不同副本之间的数据同步机制;数据分区,即如何将海量数据分布到不同节点中;分布式事务,即解决多节点面临的原子性、一致性、隔离性、持久性挑战。

在企业数字化转型的过程中,数据量会随着业务发展快速膨胀,形成全新的业务需求及数据增量,为分布式数据库带来全新的市场机遇。

在中国分布式数据库市场,云服务商是一个不可忽视力量。阿里蚂蚁金服OceanBase被称为完全自主研发的金融级分布式关系数据库。在普通硬件上实现金融级高可用,在金融行业首创“三地五中心”城市级故障自动无损容灾新标准,同时具备在线水平扩展能力。

PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库,目前兼容三种数据库引擎:MySQL、PostgreSQL、高度兼容Oracle语法。计算能力最高可扩展至1000核以上,存储容量最高可达100T。

TDSQL是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能DBA、自动化运营、监控告警等配套设施,为用户提供完整的分布式数据库解决方案。

目前TDSQL已经为超过500+的政企和金融机构提供数据库的公有云及私有云服务,客户覆盖银行、保险、证券、互联网金融、计费、第三方支付、物联网、互联网+、政务等领域。

国内创新型公司在关系型分布式数据库领域青出于蓝胜于蓝。

3月24日,星环科技推出了两款自研的关系型分布式数据库的最新版,一款是具备多模型、联邦等特性的高性能分析型数据库ArgoDB 3.0;另一款是支持SQL标准语言的国内领先的交易型分布式数据库KunDB 2.0。ArgoDB和KunDB通过不断的打磨、对业务场景不断的落地实践,已成为具有完全自主知识产权的成熟的国产数据库,能够为更多的客户提供高可靠、高性能、成熟的数据库产品服务。

巨杉分布式数据库已协助超过100家金融银行客户和超过1000家企业用户,提供分布式数据库技术。借助自主专利的STP分布式序列时钟协议,实现RR级事务隔离及跨引擎事务一致性能力,为数据中台提供联机湖仓生产落地的最佳实践,已成功协助客户在高达1.2万亿数据量生产环境下,提供安全稳定、可灵活扩展、高性能、高并发的数据底座。

TiDB是国内PingCAP 团队开发的一个分布式SQL数据库。值得一提的是,TiDB是开源的。公司专注于实现高性能、在线弹性扩容和分布式事务特性,提供全球最顶级的跨数据中心容灾分布式 NewSQL数据库,为客户在去IOE大背景下提供可靠的解决方案。

 

四、NoSQL数据库依靠开源生存,

云服务商获益最大

什么是NoSQL数据库?

顾名思义,NoSQL数据库通常不使用SQL查询语言进行数据访问,使用适合其数据模型的替代语言。

NoSQL数据库不使用在关系数据库中所用的规范化数据模型。换句话说,它们不组织表、行和列中的数据。

为什么NoSQL数据库对大数据分析很重要?

最适合经典统计分析的关系型数据库对于大数据分析应用可能完全无法正常工作。与关系数据库相比,NoSQL数据库更适合以下场景:数据结构很少或不一致;数据必须分布在一台以上的计算机上;速度比准确性更重要;该应用需要普通数据库处理不善的数据类型或分析方法等。

图片

现在都有哪些类型的NoSQL数据库?

NoSQL数据库有许多不同的类型,这些数据库是为不同的数据收集和大数据分析应用量身定制的。

AWS将其称为专用数据库(The purpose-built database),就是为专门的场景需求设计的数据库。如键值数据库、文档数据库、内存数据库、图形数据库、时间序列数据库、分类账数据库等。

扎根数据服务领域,众多数据库新派企业,在开源自己的产品同时,不断通过商业运营,发展壮大自己。

MongoDB的文档式的数据库产品长期位列NoSQL数据库第一。2017年10 月 20 日,MongoDB 在纳斯达克上市。2020年12月其市值达到163亿美元。

Redis Labs是一家专注于内存数据库的公司。相比同行,公司提供的数据库解决方案的处理速度要更加快,因为它能在服务器的内存里直接对数据库进行操作。

目前,不同的云服务商,包括微软、谷歌云、阿里云、腾讯云等都开始提供多种数据库服务。作为云服务行业市场份额最高的AWS,能提供15个数据库引擎,比其他提供商都多,数十万客户使用AWS数据库推进创新。

国内的阿里云、腾讯云、华为云,以及青云等提供的专用数据库产品组合支持各种数据模型,让用户可以构建具备高可扩展性的分布式应用。通过选择最合适的数据库来解决具体的问题,可以摆脱存在诸多限制的通用大型数据库,并专注于构建应用来满足业务需求。

NoSQL数据库未来将走向何方?

开发人员越来越多地拒绝"一刀切"的方法,并纳入了更多专门构建的数据库,以处理特定需求和使用案例。随着文档、图形、搜索和时间系列数据库取代传统的通用关系数据库,专用数据存储的增长将继续。

但是,从目前来看,不要期望NoSQL数据库会超越关系数据库。完全适合实时应用程序的NoSQL数据库甚至不能用于传统统计信息。因此,关系数据库和NoSQL数据库在数据分析中都具有重要作用,并长期存在。

对于信创用户而言,正确选择NoSQL数据库可使您的大数据分析应用快速有效。错误的数据库或实施不当会完全破坏您的工作。

因此,中国软件网认为,在信创领域,关系型数据库与NoSQL应该并行发展,一要有侧重,二要兼顾。

 

本文转载自中智观察微信公众号
原文作者:中国软件网 赵满满
原文链接:信创铺路,数据库格局颠覆的时刻到了

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/904272
推荐阅读
相关标签
  

闽ICP备14008679号