<
>

华为云助力用户打开IoT无限可能

2018-03-27 02:44:15 来源:易采站长站 作者:王振洲

  对于IoT场景的海量时序/时空数据,华为云CloudStream作为实时流式大数据分析服务,微秒级的计算性能为企业挖掘实时数据价值提供了核心能力,具体体现有以下显著优势:

  1.双引擎

  IoT场景海量的数据实时计算必须需要有高性能的计算引擎支撑,既要满足低时延高吞吐的性能要求,又要满足数据一致性要求。另外,IoT场景多种多样的业务也要求计算引擎能够运行批量,流式,交互式,图处理,机器学习等应用。目前业界主流的流计算引擎Flink和Spark Streaming都非常适合IoT场景,两者以不同的设计思想(前者是原生流式计算,后者是微批处理计算)各领风骚,都有着活跃的开源社区支撑。

  CloudStream集成了Flink和Spark Streaming,双引擎方式很好的连接了开源生态,完全兼容开源版本Flink1.4和Spark2.2,方便业务人员平滑迁移线下业务上云。


  2.基于地理位置分析的SQL扩展

  IoT大量业务场景需要对时空数据进行实时的地理位置分析,如电子围栏、偏航检测等。CloudStream扩展了Flink SQL,提供了基于地理位置分析的一系列TimeGeoSpatial语法,方便业务人员使用SQL快速开发地理位置分析业务,其中DDL for Time GeoSpatial可以快速定义基本元素,例如点、线、多边形、圆等;SQL Geospatial Scalar Functions可以对基本元素进行基本操作,例如计算两点间距离、判断区域是否覆盖、判断点是否在区域内、移动位置计算、分析距离相交包含关系等;SQL Time Geospatial可以在窗口中对基本元素进行基本操作,例如计算多种窗口的平均速度和距离。


                图示为实时流计算服务的IoT算子轻松实现电子围栏检测

  3.CEP on SQL

  IoT大量业务场景需要实时检测无尽数据流中的复杂模式,例如车辆异常行为检测、工业设备异常运行状态检测。CloudStream扩展了Flink SQL,提供了非常高效的CEP on SQL的能力,提供了基于Match Recognize的模式匹配检测,可以帮助业务人员使用SQL实现基于复杂事件规则的异常检测业务,无需开发Flink PATTERN API自定义业务,只需要一行SQL查询语句搞定,大大降低此类业务开发难度。


  CloudTable时序/时空数据库,为IoT数据而生

  CloudTable是华为云上毫秒级的NoSQL数据库,提供了HBase、OpenTSDB、GeoMesa接口,其中OpenTSDB和GeoMesa作为时序和时空数据库为IoT行业而生,为时序和时空数据的高吞吐量的写入和查询提供了解决方案。


  高性能时序数据库

  基于对分布式架构系统的良好支持和完善的生态,CloudTable选择了OpenTSDB作为时序数据库内核,并做了软硬件的垂直性能优化,可以支持千万级别的写入吞吐量和百万数据点3秒之内的读取性能,很好的解决物联网领域海量数据写入和读取性能的问题。

  同时,时序数据库还提供了三种常用计算:插值、降精度和聚合。

  对于每秒都上报的数据,其中某一秒的数据因为某些原因丢失了,则可以通过插值进行补齐。如下图红色框内的点(图a),对绿色线条和红色线条的值进行求和聚合计算,如果没有插值,则会出现结果突变的情况,如果进行了插值则是比较好的效果(图b)

  图a无插值求和结果图b插值求和结果

  降精度有助于提升查询效率,同时可以提供更加清晰的曲线信息给在线应用。

  图a原始时序数据图b降精度之后数据

暂时禁止评论

微信扫一扫

易采站长站微信账号