金融数智化由繁至简,华为云数智算融合为良方_环球新视野
DoNews 2023-06-21 17:33:58

随着社会数字化能力的快速升级,金融行业正逐渐迈向数字化转型的新时代。尤其是AI的爆发,数据智能技术正在彻底改变着这个行业的面貌,随着越来越多的金融机构开始将人工智能、机器学习和大数据分析技术应用到其业务中,金融数据的价值正在得到充分的发掘。


(相关资料图)

毋庸置疑,在数字经济时代,数据上升为新的关键生产要素和资产,逐渐超越土地、资本等传统要素,成为社会经济发展和企业创新更加重要的驱动力。

对于金融行业而言,本身就有大量的数据,每一家金融机构都希望成为一个数据驱动的企业,但目前企业仍面临着数据持有成本高、数据孤岛严重、数据治理难度大等挑战,这也导致如何充分释放数据价值成了当下的难题。

一方面,企业与组织逐渐拥有海量数据规模和丰富应用场景,最新数据显示,国内股份制银行每年的数据量增长在30%,这些海量多源异构数据的增长,对于企业的存储与管理带来极大挑战 ;另一方面,数据价值释放、使用也遇到现实困境,权威机构统计表明,当前全球仅仅只有2%的数据被真正分析过,而注入AI模型的数据连1%都达不到。且随着数据越来越繁多,企业在弹性调度、实时调度数据上也将变得更加复杂。

如何破局?尤其是在AI爆发、大模型建设成为主流的大背景下,数字智能化转型已经全面提速,对于企业而言,建设数据驱动型的现代化企业已是刻不容缓。为此,华为为金融业提供了答案:通过云-数-智-算全面融合架构,化繁为简,助力金融人人用数,实现处处智能。

云数融合,数据挖掘的“金铲子”

在数字化浪潮中,数据正在重塑企业的运营、管理、决策乃至创新,不过,企业当前在数据价值实现中面临的挑战空前巨大,尤其是企业数据产生的速度、规模和类型,远超当前设备的处理和计算能力,数据价值挖掘效率低下成了一大难题。

事实上,一直以来金融业内对于数据处理都并非易事,就像鄂尔多斯盆地油气田虽然资源丰富,但属于典型的“三低”(低渗、低压、低丰度)油气藏,实现经济有效开发属于世界性难题。数据从产生到发挥要素价值的过程也同样漫长,包括数据采集、数据存储、数据处理加工、数据流通、数据分析、数据应用等,每一个过程都充满大大小小的挑战。

尤其是随着多样性计算的演进,数据库必须支持多种算力。过去以CPU为中心的架构,现已发展到多样性算力协同的对等计算架构,CPU、GPU、NPU甚至包括为特定场景开发的计算单元等都要形成协同关系,从而更好地去处理数据。

不仅如此,多模融合成为主流,多模数据需要协同处理以实现资源集约化管理。从过去主要处理的是结构化数据,到现在处理非结构化数据例如图、时序、流、文档等的数据类型,这对数据整合处理和整合分析提出了更高的要求。

早期企业数字化建设所依赖的基础资源,多为以服务器硬件设备为中心,业务应用随不同厂商设备、操作系统、虚拟化软件的差异化进行定制设备的安装、调试,应用的部署运维基本靠人力完成,自动化程度低,缺乏统一的设备和应用管理能力。虽然后期有虚拟化软件的出现,资源的利用率和扩缩容的灵活性方面得到一定提升,但从未从根本上解决基础设施与软件割裂、运维复杂的问题。

如今华为推出的云原生全面融合架构,其中一点就是在传统架构上进行了云数融合升级,将企业的关注点从以资源为中心转移到以应用为中心,包括应用敏捷交付、快速、弹性、平滑迁移、无损容灾,可以更好地帮助企业实践应用的自动化应用。

举个例子,假设某企业需要在一段时间内处理大量的数据,但是处理量难以预测,需要根据实际情况来进行资源调度。如果企业采用传统的数据处理方法,需要购买足够的硬件设备才能满足一段时间内的处理需求,这会带来很大的成本和资源浪费。而云数融合后,企业可以将数据存储在云端,利用云原生技术架构实现弹性资源调度。当需要处理数据时,系统会自动分配足够的资源来完成任务,处理完成后,系统会自动释放这些资源,从而降低成本,提高效率。

另外,随着数据更新速度加快,当下金融业很多业务对实时性的要求越来越高,而为了保障企业能够将实时数据进行快速计算,华为也在计算层、存储层、缓冲层做了三层池化,加速了云计算数据中心建设的效率,利用虚拟化技术,将资源分享给不同用户,资源的放置、管理与分配策略对用户透明。让用户能够灵活使用、调配想要用到的数据中心资源,并且让基础架构的硬件设备尽可能发挥出最大利用率。

而擅长数据处理的企业,数据价值跃升也更为明显。以营销场景为例,传统的用户标签可能只有几十维,但在完全挖掘数据价值后,数据范围更广,结合外部数据和AI预测引入,可以做到几千维,实现百倍的增长,这种情况下可以更好洞察理解客户。

客观来说,金融业的数据复杂且更新迅速,一些数据的价值很难落地,而华为云数融合的目的,就是希望将更多数据挖掘并且简化处理步骤,让所有的数据都可创造价值。当然,随着智能大模型的爆发,数据与智能的融合在数智化架构中也变得极为重要。

数智融合,高效释放数字价值

在金融行业早期数字化转型的过程中,为解决某一业务问题,往往按照单一业务逻辑部署信息系统,另外由于政策、业务的不断变化,金融机构不同业务系统建设存在时间差异,各不同业务条线往往根据自身需求独立获取数据、进行数据加工,再进行系统部署应用,最终形成一个个独立的“烟囱式”数据架构,出现数据孤岛、数据与AI架构不互通、业务流程难以穿透等各种问题。

一家银行可能有几百套信息和数据系统,各种架构、软件标准五花八门,数据融通和业务流程困难极大。分散的数据源、海量的数据规模、异构的数据属性都是金融机构数据治理的难题,也导致数据在处理后无法直接利用AI训练。就像是即便拥有全世界最顶级的数据处理师,但无法给到他们数据进行处理,那么就显得毫无价值。

传统的做法是将处理好的数据搬迁到AI架构进行训练,但一组数据是,普通银行在做增量数据搬迁时,大概需要6-8个小时,而做全量数据迁移的时间,往往达到了4-7天,这就导致企业构建、保护和管理数据的过程复杂且耗时,并且需要大量开发和维护成本。

所以区别于这种被动局面,华为数智融合就是打通了数据治理生产线和AI开放生产线之间的互通,基于DataArts、lakeformation,把数仓、数据湖、AI数据的目录、数据权限、事务一致性、多版本管理等能力都融合到一个中心点,构建了满足各种引擎需求的数据湖统一元数据服务视图,支持一份数据在数据湖、数据仓库、AI、开源系统等多个引擎间自由共享,实现了引擎元数据互通,达到了数据与AI共存的效果。

但统一元数据本质是将数据与计算做了分离,这就导致数据库、数据仓库、数据湖、AI引擎不互通,大规模分布式集群节点与节点之间的数据交换时间间隔可能会变长,且需要满足实时性要求,所以降低链路延时,提高计算效率尤为重要。而华为推出的分布式硬件设备擎天加速卡,能够实现的就是使数据与数据之间直接交换,不需要再上升到交换机层面,将路径大大缩短,使数据与集群之间的交换效率大大提升。

事实上,单看数据与计算分离这种架构是十分理想化的,但在实际运用过程中还是存在很多工程化问题需要解决,而华为要做的不仅是将理想架构落地,还会通过擎天加速卡、AI数据治理产线等ICT根技术来支持企业解决落地过程中的诸多问题。所以华为在做的其实就是化繁为简,将复杂的事留给自己,为企业、客户提供更简单、实用的融合架构。

数算融合,软硬协同更兼容

事实上,云数融合和数智融合本质上是基于软件层面的优化,但数智化转型是一个系统性工程,软件和底层硬件的融合至关重要,这也是华为独特的优势。

比如当企业云数智融合达到了一定水准,很难在软件层面实现突破时,还想要再进一步提升效率,那么在硬件上下功夫便是最优解。最常见的像银行的日终跑批、数据分析、监管报送等这些针对数据展开的业务,对时效性均有较高要求。

正常情况下日终跑批是从晚上十点左右开始跑起,一些数据量大的银行可能会跑到第二天早上9点或者10点左右,这就会造成前一天数据还未跑完,第二天的新数据便产生了,影响了正常工作。

还有业务员在做数据分析时,有些数据需要自己提取,但在使用自助分析工具时,会有一个响应时间,对于一些复杂的命令,运行起来可能需要30秒甚至更长时间,对整体效率可能会产生一定影响。

RWA场景、监管报送等复杂场景对数据计算的效率、算法有更高要求。例如银行在做监管报送时,会同时开放给不同分支去批量处理、批量增仓改查,这种既要保证跑批又要平衡数据变动的复杂混合负载要求,显然对后台提出了极高要求。

所以在当前基础上,如何进一步缩短数据处理时长是业内所需解决的问题。华为给出的方案是通过鲲鹏计算底座+RoCE无损网络+数据湖仓之间的协同,并且通过资源池隔离、优化算法等方式去提升复杂场景下的性能。

另外,对于架构本身来说,虽然华为是做了开放处理,湖仓可以适配不同底座,底座也可适配不同厂商的湖仓,但基于华为自身的ICT能力,软硬件的协同、融合也能够达到一加一大于二的效果。

智算融合,大模型部署不费力

不能否认,大模型的爆发,将金融业带入到了一个全新时代,但同时也给行业带来了一些难题。尤其是大模型的部署,会有一系列复杂的工程化问题,比如数据采集、数据标注、数据清洗、模型的再训练、推理等等,所以企业需要一个端到端的解决方案来实现高效落地。

而华为也是目前为数不多能够实现全栈AI能力的企业,覆盖昇腾芯片、算子CANN、算法框架MindSpore、盘古大模型、开发者平台ModelArts等等,通过华为AI能力和上层应用生态,构筑全栈全场景的AI解决方案。

另外对于大模型来讲,能够看到一个非常显著的区别,便是训练的数据量剧增,例如ChatGPT3和3.5的训练量都为百亿,而GPT-4则达到了千亿级别。数据级别从TB级到PB级甚至未来还有可能达到ZB级。而数据量的爆发也会在计算、存储、通信三个层面产生新的问题。

首先计算层面,目前单卡算力能力5年仅能增加47倍,而算力需求5年增加了百万倍,显然单机已无法满足日益增多的算力需求,业内较为统一的做法是将基础设施分布式集群化。但集群化就会对散热提出更高要求,传统风力方式几乎很难完成散热重任,会导致出现不稳定,出现中断情况,相较之下液冷散热效率更高,正逐渐成为集群散热必选。

当然,在保证稳定性的前提下,如何去提升超大集群算力利用效率以及大模型算法分布式开发效率,这就需要算力架构的优化和算法框架的优化。

存储层面,因为训练数据有一个巨量提升,如果还按照传统的HDD存储方式,那么其效率也会大大降低,全量数据载入可能会需要数天时间,所以全闪存等高性能存储方式将是未来主流的解决方案。

通信层面,集群化下通信系统其实决定了其性能瓶颈,传统100G的交换网络在训练时可能会有较高延时,所以就需要升级到200G或者400G的RoCE网络,以帮助数据中心网络实现大宽带、低时延、高效率的训练。

华为云数智算全面融合架构,解决的就是AI集群系统面临的工程化难题,化繁为简,为企业数智化架构升级提供了可以落地的优质的解决方案。

产业数字化浪潮的推进,必然为金融业带来新的数智化挑战,金融行业数字化转型迫在眉睫。而将云、数、智、算进行有效融合的“数智融合”解决方案,是破题的关键,可让AI和数据释放更多价值。在这个过程中,华为也将持续赋能行业实现高效的数据挖掘、治理和运用,为更多企业进行数字化和智能化升级构筑起坚实的创新基石,推动金融数字化转型迈向全新阶段。

特别声明:本文为合作媒体授权DoNews专栏转载,文章版权归原作者及原出处所有。文章系作者个人观点,不代表DoNews专栏的立场,转载请联系原作者及原出处获取授权。(有任何疑问都请联系idonews@donews.com)

金融数智化由繁至简,华为云数智算融合为良方_环球新视野

2023-06-21 17:33:58

北海道两车迎面相撞5人死亡

2023-06-21 17:00:25

速读:两台电脑怎么共享一台打印机详细步骤_两台电脑怎么共享一台打印机

2023-06-21 16:50:22

618收官 小红书直播“特色不特”

2023-06-21 16:21:25

即时看!杜邦AmberLite IRC76CRF H树脂使用的要求

2023-06-21 15:49:58

韶关市养老服务高质量发展大会暨养老产业招商大会举办 推动养老事业和养老产业发展 每日热点

2023-06-21 15:27:37

会计个人鉴定报告怎么写|全球播资讯

2023-06-21 15:12:05

痛心!夫妻不幸溺亡,女儿岸边大喊“救救爸爸妈妈”-天天热点

2023-06-21 15:12:25

每日动态!恩捷股份:看好募投项目前景 未来或将带来新收益丨公司问答

2023-06-21 15:01:36

全球快资讯:6月21日数字阅读板块跌幅达6%

2023-06-21 14:40:48

神农令-天天快看点

2023-06-21 14:36:11

青木股份6月21日盘中跌幅达5%|全球微速讯

2023-06-21 14:21:57

天天观焦点:辽宁省沈阳市2023-06-16 02:01发布大风蓝色预警

2023-06-21 14:15:23

亟待意思_亟待

2023-06-21 14:08:26

二月红知道陈皮睡过丫头吗_老九门陈皮第几集死

2023-06-21 14:08:02

AI融资成功率是人类3倍 GPT-4比人类更懂融资?

2023-06-21 14:04:51

成都疾控提醒吃粽子少蘸白糖|世界滚动

2023-06-21 13:49:14

信贷投放节奏回落,政策发力稳增长成投资关键!

2023-06-21 12:02:32

写作手法有哪些及作用举例 写作手法有哪些及作用

2023-06-21 11:49:33

环球看热讯:简单有内涵的文案

2023-06-21 11:32:51

崇川区开展2023“护苗·绿书签”主题宣传活动 天天播资讯

2023-06-21 11:16:48

世界热讯:csgo开箱几个箱出金? 出金几率武器箱可以分几种?

2023-06-21 11:36:09

​黄子佼地图炮拖18位艺人下水,郭正亮惊爆:这件事很怪-当前时讯

2023-06-21 11:09:59

招商蛇口31.6亿元摘得北京丰台区羊坊村一宗住宅地块

2023-06-20 16:40:06

通用技术环球医疗受邀出席第24届全国医院建设大会|每日热讯

2023-06-20 16:13:01

天天速看:早秋时节别乱穿,现在流行这几种“秋裙”,内搭外穿都好看

2023-06-20 16:02:49

三江购物:公司是第19届亚运宁波赛区专仓和食材供应商之一

2023-06-20 15:22:57

快看:子婴是秦始皇儿子吗(子婴是秦始皇的什么人)

2023-06-20 14:51:36

当前简讯:喜报!青园街道社区卫生服务中心达到“优质服务基层行”推荐标准

2023-06-20 14:06:27

浦东一超市发生抢劫案?不实,系​​​​​​​精神异常男子无故摔砸商品-世界即时看

2023-06-20 13:17:59

全球快看点丨北云科技获数亿元战略投资,多家头部车企及Tier1产业资本参投

2023-06-20 12:48:08

【环球聚看点】联发科与爱立信携手合作,5G上行新突破,天玑9300全大核引期待!

2023-06-20 12:08:53

黎巴嫩的风能开发

2023-06-20 11:53:04

世界观察:失败乃成功之母的名人事例3个_失败乃成功之母的名人事例

2023-06-20 10:56:12

世界微动态丨第十八届珠峰文化旅游节开幕

2023-06-20 10:48:52

重磅!刚刚LPR降10个基点!南通房贷利率全面下调|环球热门

2023-06-20 10:31:01

全球新动态:手足口和疱疹性咽峡炎进入高发期 这份防控指南请收好

2023-06-20 10:09:20

虫草深加工产品走出“深巷”|全球速看料

2023-06-20 09:57:24

全球热资讯!上海魔都制造音乐节周深直播完整版_上海魔都

2023-06-20 09:08:00

环球快报:水井坊:6月19日融资买入1205.58万元,融资融券余额5.21亿元

2023-06-20 08:33:49

“1杯奶茶87条数据”,小微消费场景不能成信息保护死角_观点

2023-06-20 08:04:36

秘密天使主题曲(关于秘密天使主题曲的基本详情介绍)

2023-06-20 07:02:33

聚焦:雷战士3 雷战士莱蒂2

2023-06-20 05:58:21

品味书香诵读经典征文2020版_品味书香诵读经典征文2020

2023-06-20 04:47:26

当前播报:6月19日基金净值:华夏鼎清债券A最新净值1.0245,涨0.14%

2023-06-20 02:10:36

看准网点评_看准网

2023-06-20 00:40:32

首届中国尼龙产业发展大会在河南平顶山开幕

2023-06-19 22:35:14

文易赋星|焦点快播

2023-06-19 21:49:06

报告显示:科技创新、人力资源等因素是我国经济发展潜力所在

2023-06-19 21:03:17

全球快报:氪星晚报丨理想汽车负责人:我们在ChatGPT问世之前就已启动AI大语言模型训练;比亚迪物管公司更名腾势汽车;投资领域聊天机器人BondGPT上线

2023-06-19 20:19:25

妮美宝箱激活码 妮美的宝箱激活码

2023-06-19 18:58:35

云计算是什么东西(云计算是什么)-焦点热讯

2023-06-19 18:46:36

oled屏和lcd屏哪个对眼睛好_oled屏和lcd屏哪个清晰

2023-06-19 17:59:11

全球视讯!药物种类繁多,如何对症下药?这项服务了解一下

2023-06-19 17:47:01

多维空间理论pdf小白盘(多维空间理论)

2023-06-19 17:07:23

金曜石佩戴的忌讳_金曜石佩戴禁忌

2023-06-19 16:44:16

cadres怎么读 cadre

2023-06-19 16:07:54

常熟成立电商直播调委会助力新业态发展|环球观天下

2023-06-19 15:55:26

环球热消息:天津男科老中医哪个好-天津哪里的男科医院好

2023-06-19 15:17:32

全球时讯:AI板块领涨,白酒跌逾2%!指数集体调整,还能涨吗?

2023-06-19 15:01:40

伯克希尔哈撒韦公司被动增持其在日本五家主要贸易公司的股份_环球速讯

2023-06-19 14:22:48

北京市2023年6月19日12时30分发布大风蓝色预警信号 环球热消息

2023-06-19 13:50:24

全球观天下!6月份以来近百个募投项目发生变更 专家提示警惕上市公司“凑项目”融资行为

2023-06-19 12:54:00

全球今日报丨四川邻水县配网开关可远程实施分合闸操作

2023-06-19 12:08:04

天天观点:世界观热点:机构重仓股是什么?如何分辨出机构重仓股呢?

2023-06-19 11:57:24

波箱坏了一般什么情况(天籁波箱指的是什么?)

2023-06-19 11:20:02

全球聚焦:南方路机(603280):MACD指标DIF线上穿0轴-技术指标上后市看多(06-19)

2023-06-19 10:56:19

全球快看点丨黄色预警!三亚这个区域已受雷电活动影响

2023-06-19 10:49:40

宁夏乡村守护人牧飒携手10余位网红,向全国网友推介吴忠美食

2023-06-19 10:22:27

中暑可能致命?医生提醒这些人群注意-全球通讯

2023-06-19 10:00:46

哈弗二代大狗深耕轻越野细分市场,狗品类全球销量已经突破25万_天天速看料

2023-06-19 09:50:47

天天讯息:世界焦点!非法吸收公众存款是什么意思?非吸业务员一般怎么判?

2023-06-19 09:51:18

世界热点!世界联赛前两周获6胜2负,只有一套阵容的中国女排露出疲态

2023-06-19 09:37:53

【聚看点】防汛四级应急响应,扩至8省!

2023-06-19 09:27:51

砗磲贝讲解_砗磲贝

2023-06-19 09:37:21

中间圆点符号怎么打_中间一点的符号怎么打|世界动态

2023-06-19 09:12:12

今年“黄牛”抢了你几张票?“买不到”的演出票都去哪儿了?

2023-06-19 08:56:41

拍照时路人入镜了算不算侵权?关于肖像权要明白这些

2023-06-18 21:53:33

头条焦点:童年时光、纽曼思竞争激烈,京东健康618鏖战正酣

2023-06-18 20:57:30

轨道4号线一二期日均客运量增长73.7%丨重庆端午旅游预订量同比增长300%_要闻

2023-06-18 20:09:49

富祥药业:两高管拟合计以230万元-370万元增持股份_天天即时

2023-06-18 19:38:41

一口气优惠5万,紧凑型SUV,6.9秒破百,吉利几何C值得入手吗?

2023-06-18 18:46:34

100厘米等于多少分米(1厘米等于多少分米)

2023-06-18 18:09:47

7月1日起 成都双流机场这些航班最高可免300元退票费改签 即时

2023-06-18 17:17:42

四部门部署2023年降成本重点工作

2023-06-18 16:56:52

头条:村超,踢破了天!

2023-06-18 16:22:03

农业农村部:全国麦收进度过九成五|视点

2023-06-18 15:58:46

强降雨致重庆云阳一处山体危岩垮塌 附近村民紧急撤离

2023-06-18 14:58:59

临高县气象台发布雷电黄色预警【Ⅲ级/较重】【2023-06-18】

2023-06-18 13:23:20

永州经开区安全生产巡查工作反馈会召开

2023-06-18 12:23:45

李梦成中国篮球之光 姚明之后最强留洋代表 她已彻底“翻身”|全球热议

2023-06-18 11:29:26

环球热点!三星Galaxy Z Fold5海报曝光 折叠缝隙终告别

2023-06-18 11:03:02

2023驻马店中小学暑假放假时间最新 什么时候放暑假

2023-06-18 10:14:28

亿纬锂能正式成立医疗电池事业部|当前关注

2023-06-18 10:01:06

百“龙”争先迎端午|环球速讯

2023-06-18 09:04:54

“我是你的骄傲吗?”有些爱说不出来,这10首歌曲替你表白|当前报道

2023-06-18 08:47:09

全球热门:卡车的卸货方法 卡车的卸货方法是什么

2023-06-18 07:54:12

【环球快播报】官方回应女孩输液后死亡:患者家属不同意尸检,在跟家属沟通

2023-06-18 07:07:11

世界热讯:理想汽车:首款纯电车年底发布,50万以上乘用车榜首没问题

2023-06-18 06:21:55

【环球报资讯】匈牙利波利犬(匈牙利名犬)

2023-06-18 04:49:52