大福星下单系统刘雷提到: 数据作为数字经济时代新的生产要素,要像土地、人力、资本、技术等其他要素那样,不断流动、交换和共享,进而推动经济社会发展。在这个过程中,一方面,要通过数据标准的制定,加强数据治理和数据管理能力,提高数据质量,提升数据生产服务能力;另一方面,利用多方安全计算、人工智能、大数据等技术建立跨平台、跨企业、跨领域的数据仓库体系,按照数据不出域、可触达的要求,实现数据的交换和共享。
近日,由金融信息化研究所联合交通银行在内的多家金融机构及华为云正式发布了《金融数据仓库发展报告(白皮书)》(以下简称:白皮书),从政策、全球、技术、历史五个维度综合分析我国金融数据库技术发展现状和问题,并提出了金融数据仓库七大关键技术和十大发展趋势,对于金融机构未来建设、升级优化数据仓库极具参考价值。
src=另外一大现象是:金融机构的数据仓库数据规模差异较大。白皮书数据显示,拥有 PB 级规模数据仓库的金融机构占比达到 15.96%,典型像国有大行和股份制银行等,近年来由于业务规模不断扩大,数据仓库的数据规模来也水涨船高;而数据量 50TB 以下的金融机构占比大约 45.75%,像农商行、证券业、保险业等基本处于 TB 级别。
白皮书还对不同类型金融机构当前使用数据仓库痛点和使用诉求进行了调研。在痛点方面,国有大行因其海量数据,带来容量瓶颈问题;相对国有大行,其他金融机构数据治理体系还不完善,面临数据质量等系列问题。在使用诉求方面,不同类型金融机构也不尽相同,主要集中在 T+0 分析、数智融合、湖仓一体、存算分离以及数据共享等方面。
src=交通银行软件开发中心总经理刘雷表示: 数据驱动如今是金融业重点关注方向。对于金融业而言,以数据为核心意味着:一、数据处理要快,实时计算的场景越来越多,大数据要求更高的算力;二、数据处理范围要广,除了金融机构内部结构化数据之外,需要整合更多复杂的数据来源,对于数据仓库等技术能力要求更高;三、数据需要共享,既打破金融机构各部门的数据壁垒,还避免数据重复加工;四、数据需要形成资产体系,让数据产生持续价值。
白皮书也指出,当前经过金融业的探索与实践,围绕分布式和云原生的架构主体,来构建数智融合的数据仓库成为大势所趋,具体包括七大关键技术:超大规模并行处理满足海量数据的算力、高可用及容灾技术实现数据永远在线、动态负载管理满足多样化负载统一管理、数据安全技术保障数据合规访问、融合分析技术打通结构化与非结构化数据分析边界、弹性扩展技术满足系统在线按需扩展和管控一体的智能运维释放运维压力。
例如, 人人用数 是当前很多金融行业重点践行的方向。以某大型股份制银行为例,其以 零售之王 著称于业内,超过 2W 名员工属于重度数据消费者,从全渠道获取、精准营销到客户精细化运营、风险控制,日常业务中时时刻刻都需要用到数据做决策。 人人用数 带来了各种海量并行操作,对于数据仓库的超大规模并行处理能力、弹性扩展能力和运维能力挑战极大。
事实上,白皮书还对全国百余家金融机构进行了充分调研,提出了金融行业数据仓库十大发展趋势,主要包括 融合 和 普惠 。 融合 主要有 T+0 分析、湖仓一体、数智融合、存算分离、高维分析、HTAP 等; 普惠 则包括数据共享、数据网格(Data Mesh)、数据编织(Data Fabric)、现代数据栈(Modern Data Stack)等。
当前,金融机构数据量、数据类型和数据来源都远胜以往,并且数据分布在数据仓库或者数据湖之中,从而造成数据重复存储、数据管理与分析挑战巨大。因此,金融数据仓库很重要的一大趋势就是走向湖仓一体,湖仓之间互相配合、取长补短,帮助企业构建起统一元数据、数据管理和访问入口的数据平台,从而满足各种业务的用数需求。
刘雷认为, 数据仓库数据管理能力与 AI 平台流程会形成生命周期管理的结合。数据仓库将关系型的数据开放给 AI,并作为 AI 流程中数据准备、特征工程等强数据处理负载的分析引擎;非结构化数据(如图像、视频、语音、文字)处理和模型训练由 AI 平台承载,训练生成的模型可直接部署在数据仓库中,由数据仓库来实现推理,并可以直接与数仓中关系型数据关联分析。
再如,数据仓库也在加速走向 普惠 。 普惠 意味着使用门槛降低和广泛的使用人群,自然会带来灵活性与统一的难题。随着接入数据源越来越多和数据量越来越大,数据仓库等数据平台需要在统一元数据的基础上,采取更加灵活和敏捷的数据治理,推动了数据仓库向数据网格(Data Mesh)、数据编织(Data Fabric)等方向发展。
src=为此,白皮书从技术、历史等多个维度综合分析我国金融数据库技术发展,真正为国内金融机构结合自身情况构建面向未来的数据仓库提供了真知灼见。
第三,白皮书揭示了中国数据仓库产品的崛起,像华为云等公司的数据仓库产品在国有大行最为复杂、苛刻的场景中得到充分验证和考验,其实时分析、逻辑数仓、HTAP、湖仓一体和数智融合等一系列企业级关键特性也能够满足复杂金融场景的演进需求,为中国金融业的数据仓库建设和数字化转型带来了全新视角和思路。
总体来看,在新场景和新技术的双轮驱动下,数据仓库在金融业的应用正处于一个变革期。《金融数据仓库发展报告(白皮书)》很好地剖析了当前数据仓库在中国金融业的建设情况和未来发展趋势,对于中国金融业数字化转型大有裨益。面向未来,随着中国数字经济持续发展,中国金融业的数字化转型对于支持经济长远发展至关重要,数据仓库也必然会发挥更大的价值与作用。
|