中关村在线新闻中心 08月21日
华为数据存储解决方案架构师李斌杰:构筑AI数据湖,解锁数据潜能,领航AI时代
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

在CCF HPC China 2025年会上,华为数据存储解决方案架构师李斌杰发表了主题演讲,重点介绍了华为AI数据湖解决方案在加速行业智能化落地中的关键作用。面对AI时代数据爆炸式增长和多模态数据治理、跨地域协同、复杂AI工程化等挑战,华为提出了以“数据为中心”的存力中心建设理念。该解决方案集成了AI工具链、数据管理和先进数据存储,旨在打通数据治理到模型落地的全链路,破解AI规模化落地的瓶颈。其中,全新推出的OceanStor Pacific 9926全闪分布式存储,通过高密大容量SSD和端到端NVMe协议优化,显著提升了容量密度和带宽性能,并提供容量保障服务。同时,OceanStor A800高性能AI存储则通过“存强算”和KV Cache技术,提升AI集群利用率和模型推理效率。华为致力于通过技术创新和生态共建,使AI落地更加便捷。

💡 **AI时代数据挑战与存力中心建设**:AI的爆发式增长带来了海量数据,传统架构难以满足需求,存储创新成为AI行业化落地的核心。在国家将数据列为新型生产要素的背景下,“以数据为中心”的存力中心建设恰逢其时,旨在将数据资源优势转化为经济发展优势,激发数据要素活力。企业在AI时代面临多模态数据治理、跨地域数据协同和复杂AI工程化等三大挑战,例如自动驾驶业务的数据处理流程异常复杂,数据工程和模型工程面临巨大压力。

🚀 **AI数据湖架构是AI规模化落地的核心路径**:要实现AI规模化落地,核心在于依托集成了AI工具链与先进数据存储的AI数据湖架构。该架构由政府主导建设存力中心,企业构筑行业数据湖,从而打通从数据治理到模型落地的全链路,有效解决AI落地中的“最后一公里”难题。

💾 **华为OceanStor Pacific 9926加速SSD应用,提升存储效能**:为应对AI时代热温数据存储空间需求的急剧增加,华为推出了全新款型OceanStor Pacific 9926全闪分布式存储。该产品搭载高密大容量SSD,内置高效数据缩减算法,可提供高达8PB/2U的容量密度,比HDD机型提升16倍;基于端到端的NVMe协议性能优化,单节点带宽性能达成15GB/s,提升4倍;采用面向大容量SSD优化的专有EC算法和Die级数据重构设计,重构效率相对HDD提高3倍。此外,还提供可得容量保障服务,确保用户“所购即所得”。

⚡ **OceanStor A800高性能AI存储赋能AI训练与推理**:针对AI训练/推理场景,华为OceanStor A800高性能AI存储通过“存强算”能力,能够提升AI集群利用率30%。同时,其多级KV Cache技术为大模型推理提供了长记忆能力,显著提升了推理效率,为AI模型的开发和应用提供了强有力的支撑。

🤝 **共建生态,使能AI落地**:华为通过联合伙伴充分发挥数据聚合效应,实现数据全局可视、可管,并落地数据高效应用与运营。同时,通过ModelEngine工具链框架的开源共建生态,使能数据工程和模型工程,帮助产业链伙伴和客户快速完成数据编排、模型编排以及应用对接,目标是“让天下没有难落地的AI”。

2025-08-21 09:55:32  作者:狼叫兽

摘要:AI数据湖解决方案,加速行业智能化落地!

8月13日-16日,第21届CCF全国高性能计算学术年会(CCF HPC China 2025)于鄂尔多斯盛大召开。8月15日,华为数据存储解决方架构师李斌杰出席华为高性能计算创新论坛,发表“解锁数据潜能,领航AI时代”主题演讲。


华为数据存储解决方案架构师李斌杰发表演讲

AI时代,数据无所不在。新应用的爆发让数据的价值不断攀升,数据的规模增长催生了对数据基础设施的更高要求。传统架构已难以承载海量数据的价值释放诉求,存储创新由此成为AI行业化落地的核心引擎。

当下,在国家将数据列为新型生产要素的战略背景下,“以数据为中心”的存力中心建设恰逢其时,其已成为数据基础制度和先进技术落地的重要载体,旨在将数据资源优势转化为经济发展优势,激发数据要素活力。

对于企业而言,多模态数据治理、跨地域数据协同、复杂AI工程化已成为AI时代的三大首要挑战。以自动驾驶业务为例,虽然其数据质量较高,但由于多源异构、模态复杂(如激光、雷达、点云、视觉等),以及路测和研发中心分布于不同地域等因素,导致数据归集、调度、加工与处理的流程异常复杂,面临数据工程和模型工程挑战。

这揭示了AI规模化落地的核心路径:依托集成了AI工具链与先进数据存储的AI数据湖架构,由政府主导建设存力中心、由企业构筑行业数据湖,打通从数据治理到模型落地的全链路,破解AI落地的最后一公里难题。

基于此,华为推出了AI数据湖解决方案,提升数据价值密度。方案由数据湖存储、数据管理、AI工具链ModelEngine、数据应用与运营构成。

在AI时代,海量数据需要随时访问、长期留存,这使得热温数据存储空间需求急剧增加。为此,华为全闪分布式存储在高性能款型OceanStor Pacific 9920/9928的基础上,推出了全新款型OceanStor Pacific 9926,旨在加速SSD在海量数据场景下的广泛应用,加速实现HDD的升级替代。该产品搭载61.44/122.88TB高密大容量SSD,内置高效数据缩减算法,可提供高达8PB/2U的容量密度,较HDD机型提升16倍;并基于端到端的NVMe协议性能优化,单节点带宽性能达成15GB/s,较HDD机型提升4倍;此外,采用面向大容量SSD优化的专有EC算法、Die级数据重构设计, 10分钟/TB的重构效率也相对HDD提高3倍。与此同时,OceanStor Pacific 9926将配套可得容量保障服务,若达不到承诺容量即补盘,满足用户容量“所购即所得”。

针对AI训练/推理场景,华为OceanStor A800高性能AI存储以存强算,提升AI集群利用率30%,并通过多级KV Cache技术,让大模型推理具备长记忆能力,提升推理效率。

华为通过联合伙伴充分发挥数据聚合效应,实现数据全局可视、可管,落地数据高效应用与运营。同时通过ModelEngine工具链框架开源共建生态,使能数据工程和模型工程,帮助产业链伙伴和客户快速完成数据编排、模型编排以及应用对接,让天下没有难落地的AI。

AI时代,数据存储大有可为。华为数据存储将持续深化技术创新与生态协同,携手全球伙伴构建面向AI时代的数据基石,共同绘制数字经济发展的新蓝图。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

华为 AI数据湖 数据存储 智能化 CCF HPC China 2025
相关文章