基于ekuiper和kubeedge的边缘流数据分析（ppt课件）.pptx

基于 eKuiper 和 KubeEdge 的边缘流数据分析
金发华 / ******@

© 2021 EMQ Technologies Co., Ltd.
EMQ：全球领先的开源物联网基础设施软件供应商
面向 IoT 市场，商业开源软件公司
开源物联网消息服务器和流处理数据
实时数据移动、流处理与分析解决方案
服务产业数字化、实时化与智能化转型
流式分析
流式分析
对无限的数据流进行状态分析的软件或者框架
对流数据进行管理、监控和实时分析
典型运行在云端
Apache Flink & Spark 不适合边缘端流式分析
时延
数据安全
带宽成本
边缘流式分析的挑战
轻量级和高效：边缘端 CPU 和内存受限
敏捷与灵活：需要用更加敏捷的方式实现业务支持，避免复杂的编码和编译等工作
部署和管理：非集中，在弱网情况下的分布式部署
eKuiper 概述– 开源 IoT 边缘分析
二进制可安装包和 Docker 镜像
8MB 安装包; 10MB 初始内存使用
X86 AMD * 32, X86 AMD * 64; ARM * 32, ARM * 64; PPC
Linux 发行版, OpenWrt Linux, MacOS 与 Docker
性能
树莓派 3B+
TPS: 12k
CPU: sys+user 70%
内存: 20M
eKuiper – 数据 ETL
数据抽取 (extract) : sources
数据转换 (transformation): 使用 SQL 进行分析 + 转换
数据存储 (load): sinks
KubeEdge & eKuiper 集成
KubeEdge
将原生容器化应用编排功能扩展到边缘节点的开源软件
eKuiper 增强了边缘分析能力
好处 – 解决了 IoT 边缘分析的挑战
低时延，节省带宽
用户易于实现业务逻辑
从云端管理和部署 eKuiper、应用、AI 算法
数据类型的处理
从设备模型文件定义中获取类型定义
将数据转换为 eKuiper 的数据类型
创建流时，可使用 schema-less 流定义
支持的数据类型
int, string, bool, float
eKuiper 项目主要里程碑
Aug, 2021: 发布 版本
Jun, 2021: 加入 Linux Foundation Edge 基金会
May, 2021: 累计下载量突破 10万
Feb, 2021: 发布 ，支持二进制数据处理和 ML/AI 函数调用
Oct, 2020：发布 ，第一个稳定的主版本
Jul, 2020：发布 ，与 KubeEdge 集成
Apr, 2020：发布 ，与 EdgeX Foundry 集成
Oct, 2019: 开源并发布第一个版本
eKuiper 集成 KubeEdge 数据模型
保存设备模型文件
在 etc/ 中配置模型文件信息
kubeedgeVersion: 未使用，为适配将来不同版本模型文件预留
kubeedgeModelFile：模型文件路径
通过 config-map 下发配置，保存到相关目录下
模型文件样例内容
"deviceModels": [{
"name": “device1",
"properties": [{
"name": “tag1”,
"dataType": "int",
"description": "temperature in degree celsius",
"accessMode": "ReadOnly",
"defaultValue": 0,
"maximum": 100,
"unit": "degree celsius"
},
{
"name": "tag2",
"dataType": "int",
"description": "enable data collection of temperature sensor",
"accessMode": "ReadWrite",
"defaultValue": "ON"
}
]
}]
使用 eKuiper 3步骤
创建流
创建规则
提交、运行规则
create stream demo '() WITH (FORMAT="JSON", DATASOURCE="$hw/events/device/+/twin/update