星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

文章来源:网络整理编辑:采集侠2022-06-07 12:50

导读:

[星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

如今,随着企业业务规模的扩张、互联网应用的普及以及智能硬件的发展,可用的信息量及其规模正在呈现爆发增长的趋势。从采集到的异构数据中挖掘更深层次的信息并进行深度分析来赋予其价值对于业务发展来说至关重要。并且,这些异构数据的价值在于其时效性,通过对实时流产生的海量数据进行实时处理或进行历史数据关联分析等复杂处理可以全方位支持业务决策的制定,而这些都离不开流计算的支持。

Slipstream是星环科技自主研发的一款企业级、高性能实时流计算引擎,通过提供丰富的组件与产品功能可以帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。目前Slipstream已在金融 、交通、能源、电信、电商等多个行业数百个生产集群中部署使用。

近日,星环科技实时流计算引擎Transwarp Slipstream正式发布9.0版本,新版本新增了无窗口关联功能,在聚合计算能力上进行了深度优化,充分提升了实时报表分析能力。Slipstream9.0借助引擎新特性,打破了窗口的局限性,进一步简化了大屏展示、实时报表等业务的开发,全面保证了数据的时效性和正确性,做到和实时同步任务几乎相同时延,产品的实时性提升了一个新台阶。本文将重点介绍全新的Slipstream9.0及其可视化开发监控工具Slipboard带来的全新功能以及在性能上带来的提升。

产品优势

星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

随着流计算的不断发展,客户可以使用流计算引擎开发出越来越复杂的实时应用来实现对数据价值的挖掘。Slipstream是企业级流计算引擎,可以全方位支持用户在不同业务场景下的应用。例如在实时数仓方面,Slipstream可以很好地应对上百任务、近万Task并发的数据同步,并做到自动容灾、实时告警、数据不丢不重,这些核心特性在某港务公司和制药公司得到了很好的落地。相对于采用编程方式开发流应用,Slipstream主要核心优势包括:

SQL兼容性极高

Slipstream通过SQL的方式为用户提供开发接口,完整支持NSI SQL 2003、2016标准,提供丰富的算子、函数,满足大多数流处理场景。相比以往流处理平台的高技术门槛,用户使用Slipstream无需编码,省去项目构建发布打包等流程,仅通过SQL即可轻松上手开发部署应用,大幅度降低用户开发以及学习成本。并且,Slipstream支持丰富的存储类型,对星环各类数据库产品以及其他第三方产品提供良好支持,全方位满足用户在各类业务场景下的使用需求。通过配合Slipboard可视化流应用开发及管理工具,也可以在界面生成流应用,并实时监控任务状态,配置告警规则等。此外,采用编程方式可能对性能的影响不可控,无法将引擎性能发挥到极致。Slipstream就数据处理和访问进行了诸多优化,例如使用SQL可以无缝对接引擎内部。

高可用支持

Slipstream支持服务高可用及任务高可用。支持端到端Exactly-Once,任务自动故障恢复,多种状态存储和Checkpoint存储选择,满足各种高可用场景需求。在服务发生故障时,将业务的影响程度降到最低,高效提升故障恢复速度。随着流计算的不断发展,用户可以使用Slipstream开发出越来越复杂的实时应用来实现对数据的价值挖掘,例如金融领域的反洗钱反欺诈、交通领域的人车路管控、道路交通运行态势预警研判等。

星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

新版本优化与新增功能

星环科技实时流计算引擎Slipstream9.0发布,释放实时数据价值

Slipstream9.0在性能和功能上都实现了全面增强,接下来将为您介绍此系列版本带来的全新变化。

全新功能加持

新增规则引擎V3,助力用户灵活配置业务规则,提高开发效率

规则引擎是处理复杂规则集合的引擎。通过模拟业务决策过程,根据预设规则库中预定义的语义模块处理事件并触发相应操作得到最终的执行结果。规则引擎的核心作用在于将复杂、易变的规则与应用系统的执行逻辑分离,由灵活可变的规则来描述业务需求。其大大降低了系统的维护成本,使企业的决策能够更加快速的反应到应用系统中。规则引擎通常由三部分组成,即规则库、事实收集和推理引擎。规则是由条件和结论组成的推理语句,可以进行推演或归纳。当事实满足条件时,相应的结论被激活。此类引擎广泛应用于银行信贷、交易风控、反洗钱、业务发展等诸多领域。Slipstream在9.0新增了规则引擎V3,其充分兼容Drools语法,支持本地调试,提供异步接口,访问数据库的同时可以保证高吞吐。通过内置规则引擎,可助力用户灵活配置业务规则,分离应用开发者的技术决策和商业决策者的商业决策逻辑,有效提高复杂逻辑的代码的可维护性,提高开发效率。

异步运行UDF,提升处理性能

Slipstream为用户提供了许多的解决方案来处理复杂的业务场景,但是随着用户业务规模的增长,原生函数很难应对一些复杂情况。因此,Slipstream支持用户使用UDF(User-Defined Functions自定义函数)。但是,一些用户定义的函数在使用过程中必须等待资源,在等待时,计算线程极易被阻塞而影响性能。因此,Slipstream支持异步运行UDF,其使用多路复用线程模型,异步非阻塞的处理数据,从而提升UDF处理性能。

无窗口流流Join,避免窗口出现数据进度不一致等风险

Join是处理数据流的重要操作符之一,为了在无限的数据流上连续产生输出,通常使用窗口来限制join处理的范围。但是,在同一个窗口的两个数据流之间进行join往往存在数据乱序或者延时的情况,导致两个流的数据进度不一致,出现数据跨窗口的情况,那么数据就无法在同一个窗口内join。并且,窗口无法支持时间跨度较大的延迟。因此,为了避免上述问题的产生,Slipstream9.0支持用户无需创建窗口即可实现流流Join。

新增KeyByte存储支持,业务逻辑涉及KeyByte时可以高效开发管理

Slipstream9.0新增KeyByte存储支持,其引擎内置支持输出到KeyByte,并提供查询功能。在过往版本中,用户在进行数据查询时,需要先查询KeyByte,再去跟表进行联合查询。并且,当数据需要进行更新时,需要单独写程序。在引进KeyByte后,用户可以直接拿KeyByte的数据来做计算,并且可以直接更新KeyByte数据,无需再单独写程序来跟KeyByte做交互,可以同步进行资源管理。

新增json字段类型,充分提升产品易用性

Slipstream9.0支持SQL 2016 标准中json的创建和访问,新增json 字段、以及丰富的查询和编辑json功能,为json提供更全的支持,整体简化了json 对象的处理,极大程度地提升了Slipstream的易用性。

关键性能提升

引进无锁队列和多路复用技术,改善流控机制,提高吞吐

本文链接:http://www.soxunwang.com/kjrd/2022/0607/102220.html

声明:
1、此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,供读者参考。
2、搜讯网所转载的稿件都会明确标注作者和来源,如您不希望被转载请及时与我们联系删除。
3、搜讯网的原创文章,请转载时务必注明文章作者和"来源:搜讯网",不尊重原创的行为搜讯网或将追究责任。
4、本站提供的图文仅供参考,不能作为任何咨询依据,专业问题请咨询专业人士,谨防受骗。

关注搜讯网微信号

扫描加关注!

搜讯网福利发放

最新热点 更多
相关阅读 更多