华为存算分离专家交流
时间：2023 年 10 月 19 日
本次会议邀请华为存储领域的专家进行了充分的交流。
存算分离技术介绍：
数据处理需要计算设备和储存设备。传统存储是存算一体的部署策略，数据
在本地盘，好处是数据离 CPU 比较近，能够快速读写数据；坏处是计算和存储
资源绑定，不利于在
大数据时代的数据管理。而且可能出现可靠性问题，因为计
算存储都在一起，所以服务器出问题导致数据出问题。数据存在本地盘一般采取
一主多备，如果要保持数据一致性，需要许多数据同步工作。存算一体的缺点：
1）可靠性不行；2）同步程序复杂；3）资源消耗大；4）数据利用效率不高。
存算分离是大势所趋，常见的计算由服务器完成，数据用外部存储，通过集中式、分布式或其他形态，特别在大数据、AI 时代的数据量膨胀很快，所以采用分离架构。在分离结构下，计算和存储都可以按最优的形式进行，比如计算做集群或分布式计算不用考虑数据储存问题；数据也可以按最有利的方式去存储，结构化、非结构化、分布式的各种形式，按照数据读写的效率提升，降低资源的占用，提高数据的安全性等最有利的方式去做。优点：可靠性提升、资源灵活分配、专业级容灾，数据复用。典型产品是企业的外置存储设备，现有主流的厂商有华为、浪潮、同有、新华三。
Q：存算分离技术难点？以前为什么不用？
A：以前数据量小，存算一体比较方便，计算和存储很近，且集中式架构简单。存算分离的难点：1）数据量需要外置，访问数据需要网络，早期网络带宽较低，
网络没有服务器内部总线速度快，外置读写效率较低；2）存储介质不如现在 SSD
的性价比，以前 SSD 很难做到规模化，只有最热的数据用系统盘，大量的数据使
用机械硬盘，导致可靠性问题。外置机械硬盘会有故障率，规模化导致整体可靠
性降低；3）当时没有使用 MPP 分布式架构，包括大数据 Hadoop 架构可以支持
操作更大的数据，在数据到 PB 以后必须存算分离，进行层层分离，专人管理。
Q：冷数据是否才进行分离？热数据仍然一体管理？
A：对。数据一般分为冷热温三种，最特别的数据一般放在服务器内存里，甚至
在 CPU 的高速缓存层操作。温冷数据更推荐存算分离，放外置存储设备里管理。
随着热数据膨胀到一定规模，服务器内部的高速缓存能做到 T 级别。现在也有热
数据采取外置，依赖于提高访问的速率。比如，内存直接访问 RDMA，虽然外置
数据，实际可以接近 CPU 直接访问内存的效果，保证数据访问足够快。整体来
说，最热的数据还是离 CPU 最近，搁在高速缓存或者内存里面，再其次放在服
务器附带的闪存盘，再其次是硬盘。
Q：随着分布式存储的市占率提高，存算分离是不是更适合分布式存储？
A：分布式存储必然存算分离，集中存储更方便进行各种数据的管理，但是带来
扩容问题。只有分布化才能做的更大，不需要通过系统。分离架构可以考虑并发
的操作，读写更大规模的数据。在数据爆炸的时代，必然是存算分离。
Q：存算分离场景？
A：数据库，早期是存算一体，现在都分布式化了，比如金融行业，现在改造由
集中式向分布式改造。
大数据，规模更大，传统数据库是 TB 级别，大数据一般是 PB 级别。使用存
算一体会造成大量计算资源浪费。
云计算，云化数据包括客户数据和自身虚拟化数据，数据和虚拟机绑定，所
以必然分离进行管理。
高性能计算 HPC，数据量很大，需要根据数据密集程度进行分离。
Web 应用，将前端客户应用操作和后端数据进行分离。
Q：拆下产业链和玩家？行业难点在哪？
A：有华为、浪潮、同有、新华三，难点是技术门槛比较高：1）存算分离架构，
需要通过软件、硬件构成整体的效率、稳定性、可靠性，需要很多年的研发经验
和技术积累，需要对介质、存储协议、芯片、算法需要全面的了解。需要长期的
积累才能做到最优状态。有的玩家会研发控制芯片和介质芯片，提高产品的自主
可控能力与自身架构达成最优的效果
2）算法，偏向软件层面，比如落盘算法，数据读写就是效率、可靠性、稳定
性，把性能波动对业务的影响，降低到最低，这里面有很多算法。需要很多技术
积累。
全产业链的厂商更能做存算分离的设备。比如，同有面向行业的产品做到最
优，在
军工，保密行业存储，独有的加密算法也很讲究，也能在细分市场做到极
致。
Q：存算分离市场空间？
A：企业外部存储中国市场规模大概 600 多亿，每年增长大概平均 20%。
Q：如何评价华为的产品？
A：金融行业由于数据量膨胀，需要对数据库改造，用国产化分布式数据库，通
过存算分离可以提高整体的能力，可以满足金融核心数据库演进的需要。华为、
浪潮、同有、新华三都在做这类的研发。
Q：存储增量会提升吗？
A：是的，随着数据的膨胀，对应存储设备必然增长。比如金融行业的很多银行
数据基本上要 50 年以上，意味着市场一直在增长。市场增长意味着可以卖更多
的存储设备和更多的存储介质，像金融行业为代表的行业，越来越多用国产化的
自主可控的存储的设备和介质，对厂家都是利好。国内存储领域在政府、金融、
教育、医疗，还有央国企和运营商，也有很多机会。包括
信创工程也有更多的机
会，必须进入国家相关名录，比如同有。存储介质也要国产化忆恒、长江、紫光
也都是受益的。
梦想成真只爱糖
登录用户ID：
1
评论(9)
收藏
展开
