您好!欢迎进入武汉聚雅科技有限公司官网

武汉聚雅科技有限公司

  1. 华为光与行业感知省级合作伙伴运营中心
  2. 华为F5G全光网 AI行业感知 数字孪生平台

服务咨询热线

18942931149
17362912244

Tech Now! 第四期|协议互通,打通HPC多样性数据处理任督二脉

作者:聚雅科技 发布日期:2021-05-11 10:57:19 关注次数:1804

HPC向“数据密集型”发展,多样性的数据处理成为新常态,海量的数据流动,也越来越困难。在整个的数据处理过程中,多样性的数据转化、拷贝、加载等,占据了35%以上的时间。

因此,突破数据处理过程中数据的格式壁垒,实现数据0拷贝就地处理,就犹如打通多样性数据处理的任督二脉一般,将大幅提升HPC数据处理效率。



图片
任督二脉通,则八脉通
八脉通,则百脉通

让我们跟随“武林高手”一起来打通
HPC多样性数据处理的任督二脉



划重点
小本本快拿出来了

要点一

图片

为什么需要协议互通?
第四期要点一 为什么需要协议互通.gif


多样性数据处理成为新常态

云、大数据、AI技术正在重构传统的数据处理流程,一次数据分析会涉及文件、对象、大数据等多种格式数据

海量数据流动越来越困难

一次数据处理涉及PB级的数据量,数据拷贝、加载等流动时间占比达35%以上


要点二

图片
什么是协议互通?


协议互通.gif

一种资源模型

一个硬件资源池+一个逻辑资源池,文件、对象、大数据使用同一种资源模型

一种数据模型

一个逻辑资源池可以同时保存文件、对象、大数据格式的数据

一套锁机制

文件、对象、大数据客户端可以同时读写同一个文件,不需要协议转换


要点三

图片
协议互通有什么价值?


第四期 要点三 协议互通有什么价值.gif


简化数据管理

只需要划分一个统一的命名空间,简化存储的规划、配置、运维

加速数据流动

多样性数据就地分析,免数据拷贝,数据分析效率提升30%以上

节省存储资源

共用硬件资源池,提升存储资源利用率,同时,避免数据拷贝产生的冗余副本,端到端节省存储资源


要点四

图片
华为的协议互通有什么特点?


第四期 要点三 协议互通有什么价值.gif

易使用

不需要使用网关,维护简单

语义无损

统一的元数据和数据架构,文件、对象、大数据均提供原生的语义,无语法上的缺失和限制

性能无损

和单一协议完全一样的数据访问路径,每种协议都能发挥硬件资源的极限性能

丰富的增值特性

统一的快照、远程复制、配额、QoS、元数据检索等,提供比单协议更丰富的特性


多样性数据处理,已经成为了全球HPC发展过程中不得不面对的难题。而华为多协议互通的实现,无异于打通了HPC多样性数据处理的任督二脉。也因此,让华为OceanStor Pacific系列存储得到了国内外的广泛认可。
在刚刚过去的日本年度最大规模ICT展会——2021日本Interop (Interop Tokyo 2021)上,华为OceanStor Pacific系列存储因支持多协议无损互通,满足大数据、高性能计算等场景的核心诉求,获得“服务器和存储”类别金奖。

海量存储.jpg



Tech Now!是华为OceanStor存储打造的一档科技范、有“养料”的小栏目,旨在分享有趣味的创新技术、热点话题、趋势分析,你所关心的就是我所讲述的。

Tech Now!更懂存储科技热点~

聚雅科技二维码.webp.jpg

聚雅LOGO.png



推荐案例

Testimonial
  • AI周界2.0,ELIV轻智能全新上市

    更多新品尽在8月8日敬请期待!

    了解详情
  • AI篇 | 低照智能全彩技术

    低照智能全彩技术采用全新的传感器技术和图像算法处理技术,在夜晚也可以达到清晰高品质的图像效果,显著提升了夜间图像的识别效率。但是由夜间抓拍带来的光污染也是一个非···

    了解详情
  • AI篇 | 人机协同的趋势探讨

    本文从智能视图云平台的由来、 云存储技术实现对海量视图数据的管理、AI技术实现对视图数据的理解,以及5G技术实现广泛的大容量互联等5个维度,对智能视图云平台的趋···

    了解详情
  • 配置 | NVR800+SIU的门禁联动配置指导

    还在刷卡进出门禁?有没有更智能的识别方法?今天就给大家介绍一套识别目标自动开关的门禁系统准备好NVR800、SIU摄像机和门禁然后一起操作起来吧~摄像机与门禁系···

    了解详情
  • AI篇 | 芯片的演进和发展

    摄像机的核心组件是图像传感器和视频处理芯片,要实现良好的图像质量,除了前端镜头、传感器部分对光线的处理,影像处理部分也是摄像机中不可忽视的一环。而芯片作为核心处···

    了解详情
  • 智慧工地解决方案

    智慧工地解决方案一、行业背景         智慧工地是一种崭新的工程全生命周期管理理念。它立足于“互联网+建···

    了解详情
  • 智慧农贸解决方案

    智慧农贸整体解决方案           日新月异的现代科技每一天都在刷新着你我的认知,智慧城市,智···

    了解详情
  • 智慧监管解决方案

         行业背景看守所是对罪犯和重大犯罪嫌疑分子进行临时羁押的场所,是羁押依法被逮捕、刑事拘留的犯罪嫌疑人的机关。随着现代信息技···

    了解详情
  • 智慧园区解决方案

                园区是工作与生活的载体,是经济发展的核心抓手,是构建万物互联的智能···

    了解详情
  • 3721 20-10-16
    高空抛物监控方案设计

    2020年5月深圳某小区高空抛物砸伤一名6个月大的婴儿,致宝宝头部骨折,脑袋变形,脑内出血。高空抛物···

咨询热线

1736291224417362912244

邮箱:274713778@qq.com

QQ:395589917