基于云原生架构开发 青云QingCloud发布大数据工作台

文章来源:网络整理编辑:采集侠2022-06-10 07:57

导读:

[基于云原生架构开发 青云QingCloud发布大数据工作台

当前数字经济正在引领新经济发展,数字经济覆盖面广且渗透力强,与各行业融合发展,如大数据、云计算、互联网、人工智能等。因此,数据成为关键生产要素。同时,大数据在社会治理中,如城市交通、老年服务、城市安全等方面也发挥了重要作用。

与大数据时代同频共振,青云一直在行动

从2014年推出第一款数据产品至今,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI产品、对象存储在内的数据产品生态。

青云QingCloud大数据产品经理刘雄风告诉记者:“基于近30款产品和服务,结合优秀的合作伙伴应用,我们构建了一个完整的、可插拔的、全流程的大数据平台。从最初的数据源接入,到数据的处理,再到数据的呈现,在任何环节我们都能提供客户所需的数据产品和服务。”

刘雄风强调,多年来,在与客户的密切沟通与服务当中,青云大数据洞察到,现在客户的需求已经升级——从最初的“底层资源”问题,逐步进阶到“数据层”问题。主要体现在:

一,数据同步。目前青云可以提供数据库、数据仓库、消息队列与中间件服务,还需要数据同步服务,打通彼此之间孤立的关系。比如通过Elasticsearch进行数据检索,首先要将MySQL中的数据导入到Elasticsearch,实现数据源和Elasticsearch的实时同步。

二,实时计算。在IoT场景中,数据通过IoT采集网关,把数据统一采集到平台上后,需要大数据平台对大量的设备数据、监控数据进行分析、挖掘,最终转化为设备报告和流程优化相关的信息和知识。这种反馈实时性越高,企业降本增效的效果就越好。因此,通过IoT平台采集设备数据、业务产生的结构化数据以及日志数据,上云后需要实时计算来发挥数据价值。

三,数据开发和作业运维调度。虽然在大数据引擎方面,青云推出了QingMR开源大数据组件,解决了客户的运维和部署问题,但还无法满足数据开发和作业运维调度层面的需求。

除了上面提到的数据集成、实时计算、统一监控和调度以外,客户还存在权限控制、数据仓库、数据服务等典型场景的需求。

基于客户多种真实需求的反馈和实时数据处理的新挑战,青云推出大数据工作台,即一站式智能大数据开发与治理平台,可帮助企业实现云平台各产品之间数据的快速流转,支撑上层业务应用,消除企业“数据孤岛”,统一调度和计算,挖掘数据价值,提升数据洞察。

基于云原生架构开发 青云QingCloud发布大数据工作台

刘雄风说,不同于市面上的数据中台产品,青云大数据工作台采用云原生架构,基于容器平台,解决了数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

五层架构打通大数据全链路

大数据的价值并不是数据本身,而是数据背后所隐藏的、对业务有影响的信息和知识。目前青云大数据工作台上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,为企业数据价值挖掘提供支持。

从整个架构来看,青云大数据工作台从最底层到最上层有五层架构,应对大数据全链路场景的需求。

第一层,云原生。青云大数据工作台基于云原生架构,支持容器化部署,可以部署在开源的Kubernetes容器平台上面,对客户来讲,使用起来更加开放和包容,也不会被云厂商绑定,跨云、跨容器、跨厂商都是可以运行的。

第二层,全托管式计算引擎。青云大数据工作台提供全托管式计算引擎服务,以Flink流批一体的计算引擎为基础,同时兼容多种计算引擎为一体的计算资源服务。

第三层,全生命周期数据开发。解决完计算资源后,青云大数据工作台还提供全生命周期的数据开发服务,通过向导式的数据集成,支持可视化数据加工、调度管理、资源管理、网络管理等多种场景。

第四层,高效的数据同步服务。青云大数据工作台提供高效的数据同步服务,能够兼容结构化、非结构化、半结构化的数据,可对数据进行实时、增量和全量的同步。

第五层,应对丰富的业务场景。在完成数据同步后,青云大数据工作台便可帮助客户应对丰富的业务场景,包括BI商业智能分析、用户画像、增长分析和数据大屏等应用,为业务决策提供有效的数据支撑。

六大产品特性实现全功能、全场景覆盖

青云大数据工作台的产品特性可以概括为六点:

第一,开箱即用。几分钟即可完成环境的创建和部署,即开即用、便捷高效,一键开启数据价值洞察之旅。

第二,弹性扩容。具备云原生弹性扩容的能力,可以帮助客户合理地节省资源,提高资源的使用率。通过提供细粒度管控,最小资源使用的粒度只需要0.5 CU,支持按量、包年包月计费,可以更好地适配不同的需求,价格低廉,安全稳定。

第三,存算分离。与青云的对象存储服务无缝衔接,海量数据可以高效、低成本的存储,并支持数据计算按需扩容,极具性价比。

第四,开放兼容。拥抱开源,百分百兼容Apache Flink,支持平滑上云,通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时,客户可以将原有的大数据任务迁移到大数据工作台上,进行统一的调度和监控,节省运维和调度成本。

第五,安全可靠。按照云原生的架构模式进行设计,可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件,彼此之间相互隔离,避免相互影响。同时,所有的服务都具备高可用和高扩展能力,可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。

第六,生态整合。除了青云大数据工作台本身提供的服务外,还可以在云上与其他产品紧密整合,可以连通云平台上孤立的多种数据存储的服务,让客户在云平台上的数据流转更加便捷。“我们不仅提供青云自己的产品和服务,也可以集成合作伙伴已有的开源产品,共同给客户提供一整套的产品或方案,这样客户也可以根据自己所需,进行选择和搭配。在我们看来,整个生态是开源、开放的。”刘雄风说。

青云大数据工作台可以在精细化运营分析、实时计算、可视化开发运维、构建数仓等场景进行广泛应用。刘雄风特别指出:“我们主要聚焦新兴领域,以物联网和工业大数据为代表。”

青云所提供的方案不仅仅是大数据工作台一个产品,而是与青云的KubeSphere容器平台和IoT平台形成合力,充分发挥各自优势,组建了完善的“大数据工作台+KubeSphere+IoT”三位一体解决方案。

本文链接:http://www.soxunwang.com/kjrd/2022/0610/102419.html

声明:
1、此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,供读者参考。
2、搜讯网所转载的稿件都会明确标注作者和来源,如您不希望被转载请及时与我们联系删除。
3、搜讯网的原创文章,请转载时务必注明文章作者和"来源:搜讯网",不尊重原创的行为搜讯网或将追究责任。
4、本站提供的图文仅供参考,不能作为任何咨询依据,专业问题请咨询专业人士,谨防受骗。

关注搜讯网微信号

扫描加关注!

搜讯网福利发放

最新热点 更多
相关阅读 更多