HPC向“数据密集型”发展,多样性的数据处理成为新常态,海量的数据流动,也越来越困难。在整个的数据处理过程中,多样性的数据转化、拷贝、加载等,占据了35%以上的时间。 因此,突破数据处理过程中数据的格式壁垒,实现数据0拷贝就地处理,就犹如打通多样性数据处理的任督二脉一般,将大幅提升HPC数据处理效率。
要点一
云、大数据、AI技术正在重构传统的数据处理流程,一次数据分析会涉及文件、对象、大数据等多种格式数据
一次数据处理涉及PB级的数据量,数据拷贝、加载等流动时间占比达35%以上
要点二
一个硬件资源池+一个逻辑资源池,文件、对象、大数据使用同一种资源模型
一个逻辑资源池可以同时保存文件、对象、大数据格式的数据
文件、对象、大数据客户端可以同时读写同一个文件,不需要协议转换
要点三
只需要划分一个统一的命名空间,简化存储的规划、配置、运维
多样性数据就地分析,免数据拷贝,数据分析效率提升30%以上
共用硬件资源池,提升存储资源利用率,同时,避免数据拷贝产生的冗余副本,端到端节省存储资源
要点四
不需要使用网关,维护简单
统一的元数据和数据架构,文件、对象、大数据均提供原生的语义,无语法上的缺失和限制
和单一协议完全一样的数据访问路径,每种协议都能发挥硬件资源的极限性能
统一的快照、远程复制、配额、QoS、元数据检索等,提供比单协议更丰富的特性
Tech Now!是华为OceanStor存储打造的一档科技范、有“养料”的小栏目,旨在分享有趣味的创新技术、热点话题、趋势分析,你所关心的就是我所讲述的。
Tech Now!更懂存储科技热点~