全自研存储产品QingStor U10000,青云科技致力撬动“数据金矿”

文章来源:网络整理编辑:采集侠2022-07-20 11:14

导读:

[全自研存储产品QingStor U10000,青云科技致力撬动“数据金矿”

对此,青云科技存储产品总监冯相东表示,当前,数字经济时代,海量数据已体现出两个重要的特征:一是不管是产生数据的终端数量还是产生的数据量级,和十几年前比,均出现指数级增长。二是自动驾驶、物联网、AR、5G场景背后所产生的数据类型主要以非结构化数据为主,包括图片、音频、视频以及一些日志类的数据。

“海量数据持续增加,越来越多的人意识到简单地把这些海量数据存起来,其实并没有发挥这些数据的价值,或者说静止的数据是没有多少价值可言的,必须让数据流动起来,让数据完整地或者相对完整地经历生命周期的不同阶段,在不同阶段为数字化业务产生不同的价值,才能充分挖掘整个数据的价值。”冯相东强调。

在数据流动的完整链条里,从最初的采集、处理到后面的归档、再利用、销毁,都会涉及到存储与大数据技术、存储与 AI 计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。这也是青云存储这些年一直在努力研究的一个方向。

青云深耕存储领域,形成专业和自研两大特点。

关于专业,是指专业存储服务专业场景。目前青云存储经过产品的演进,QingStor产品线主要由两款核心产品构成:一是 QingStor NeonSAN,二是 QingStor U10000。QingStor NeonSAN面向的是结构化数据的高性能业务场景的需求,主要面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。QingStor U10000是面向非结构化海量数据存取和利用的业务场景的需求,主要包括各种影像数据、音视频数据、数据湖、大数据、物联网等场景。产品设计初衷就是帮助客户更好实现海量数据的价值挖掘,产品的核心特点包括:同时提供对象、文件、大数据接口,不同协议之间实现数据无损访问互通;单存储桶支持 100 多亿个对象,并且性能不会随之下降。

“两款产品有各自面向的专业场景,有各自专业的分工,我们没有用一种架构同时满足结构化和非结构化的数据场景。因为从专业技术的视角来看,存储架构是没有银弹的,没有哪一种架构能同时做到既能满足极致的性能设计要求,也能满足海量数据吞吐、计算、并发利用的需求,这样的结构是不存在的。青云希望通过专业的存储分工更好地服务专业的场景。”冯相东指出。

自研是青云存储的第二大特点。青云存储 QingStor 的两款核心产品全都是自主设计的,没有继承任何开源的架构。另外,自主研发使得技术百分百可控,不存在技术盲区。

值得一提的是,QingStor U10000这款产品是青云在多年存储技术积累基础上的一次产品全面升级。其继承了之前青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代(青云存储之前主要包括QingStor块存储 NeonSAN、QingStor对象存储、QingStor文件存储)。因此,QingStor U10000其实并不是一款全新的产品,而是青云整个存储产品线针对非结构化数据,基于对象、文件存储上的一次产品全面升级。

“QingStor U10000的定位是面向海量非结构化数据的统一存储平台,帮助客户把数据存得稳、算得快、管得好。QingStor U10000相比于之前的QingStor对象存储和文件存储,除了产品力的全面继承,在一些主要领域实现了明显的提升,例如实现数据协议的互通,功能和性能得到了增强,强化了与算力平台的对接等。”冯相东强调。

据介绍,QingStor U10000具备支撑海量数据存储的能力,同时保证提供卓越的性能。QingStor U10000在保证线性扩展和高性价比EC集群的基础上,还能为通用场景,包括海量小文件场景提供卓越的I/O性能。比如,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。在技术层面,QingStor U10000采用比较流行的技术语言——Rust语言,给予存储性能安全方面更优的保障。

在多协议无损互通方面,QingStor U10000在技术层面提供了统一的索引架构,并且基于统一的索引架构提供多种层次的能力。这就是说,基于对象接口存进来的数据,基于NFS/SMB存进来的数据,或者通过HDFS大数据专用协议存进来的数据,QingStor U10000都是基于统一的索引架构提供这些数据的元数据管理。另外还提供了多协议存储接口供选择,而协议互通也让数据分析更为高效。

在算力的无缝对接方面,得益于多年的积累,QingStor U10000具备丰富的数据处理的功能特性,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合。

最后,数据安全也不容忽视,QingStor U10000通过元数据和存储数据的分层设计、多重访问安全机制、智能预警机制、功能服务的运维监控平台等多个维度保障数据安全。

本文链接:http://www.soxunwang.com/kjrd/2022/0720/104641.html

声明:
1、此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,供读者参考。
2、搜讯网所转载的稿件都会明确标注作者和来源,如您不希望被转载请及时与我们联系删除。
3、搜讯网的原创文章,请转载时务必注明文章作者和"来源:搜讯网",不尊重原创的行为搜讯网或将追究责任。
4、本站提供的图文仅供参考,不能作为任何咨询依据,专业问题请咨询专业人士,谨防受骗。

关注搜讯网微信号

扫描加关注!

搜讯网福利发放

最新热点 更多
相关阅读 更多