人工智能物联网(AIOT)综合实验平台

人工智能物联网(AIOT)综合实验平台是一款集成人工智能、物联网、嵌入式、移动互联技术于一体的高端教学科研平台。整个教学平台包括物联网(IOT)部分和人工智能(AI)部分,两部分互相支撑、互为补充。

  人工智能物联网(AIOT)综合实验平台是一款集成人工智能、物联网、嵌入式、移动互联技术于一体的高端教学科研平台。整个教学平台包括物联网(IOT)部分和人工智能(AI)部分,两部分互相支撑、互为补充。

  人工智能部分的硬件平台基于嵌入式的Arm开发板,具备语音、视觉等传感器数据采集能力,及适用于多种场景的控制接口;物联网部分的硬件平台基于物联网教学平台,该套件基于zigbee无线传输技术实现,具有低功耗、低速率、自组网等特点,可适用于人工智能+物联网的多种学习和应用场景。

  软件平台支持人脸识别、语音识别、无线通信、传感器原理等应用的基础平台和主流开源算法。提供完整的配套教学教材,实训案例的源码、开发手册等,满足AI&IOT教学实训、应用开发等需求。

EAI610的嵌入式Arm硬件平台使用高性能Arm SoC(瑞芯微RK3399),搭载OPEN AI LAB嵌入式AI开发平台AID(包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV),为AI应用开发提供简洁、高效、统一的API接口,加速终端 AI 产品的场景化应用落地。

物联网教学平台中传感器采用模块化设计,方便扩展和替换。其中包括温度、湿度、光敏、加速度、压力、可燃气体、雨滴、酒精、红外、超声波、DA输出、继电器、LED点阵显示屏、数码管显示、玻璃破碎检测、直流电机、步进电机、可调光LED灯、振动、霍尔、火焰、等二十多种可换传感器/控制模块组件;所有涉及到的相关技术均提供教材或实验指导书,同时提供印刷版实验手册。


1.1、EAIDK-610边缘计算网关


学蠡科技 


  EAIDK-610边缘计算网关使用高性能Arm SoC(瑞芯微rk3399),搭载OPEN AI LAB嵌入式AI开发平台AID(包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV。为AI应用提供简洁、高效、统一的API接口,加速终端AI产品的场景化应用落地实现。

  Tengine是由OPEN AI LAB开发的针对于Arm嵌入式的轻量级的AI 推理计算框架,配合异构计算库HCL,支持CPUGPU, 以及DLA的异构计算。提供兼容Caffe/MXNet/TensorFlow训练模型和API,可在嵌入式Arm平台上更高效的实现人工智能(可以参考https://github.com/OAID/Tengine)。

  BladeCV是由OPEN AI LAB开发的针对于Arm嵌入式的计算机视觉优化库,支持常用的图像处理、计算机视觉、模式识别的算子/算法,能对常见格式的图像和视频文件读写、解码视频码流,同时支持图形化界面的图像/视频显示和信息叠加,可在嵌入式Arm平台上更高效的开发和调试视觉类算法。

  教学平台所提供的源代码级别的算法(包括人脸检测、人脸识别)可以让学生对计算机视觉的流程、处理方式等有更好的了解,熟悉人脸检测和人脸识别等相关算法,更好的了解实际应用场景,贴近工程化应用。

 

基本规格参数

主控SoC

Rockchip RK3399

CPU

2 x Cortex-A72 + 4 x Cortex-A53

GPU

ARM Mali-T860 4核GPU

内存

4GB LPDDR3,Flash 16GB

USB接口

2.0*2、3.0*2、TypeC(OTG)*1

有线网络

RJ45,10/100/1000M自适应

WIFI

802.11 ac/a/b/g/n,2.4G/5GHz

蓝牙

Bluetooth 4.1

板载接口

MIPI DSI:4L,最高1080p@60Hz

eDP:1.3,4 lanes,10.8Gbps

相机接口

MIPI CSI 2×4 lanes

HDMI

2.0,1*Type-A,最高4Kx2K@60Hz

电源

12V,2A

 

高清显示屏基本硬件参数

物理分辨率

1920*1080

面板类型

LED-IPS

信号接口

双HDMI  mini

屏幕比例

16:10

刷新频率

60-75HZ

电源

DC12V-2A

响应时间

小于12ms

外观尺寸

375*234mm

 

1.2、无线传感器节点及传感器模块

学蠡科技 

无线传感器节点由底板、ZigBee模块和传感器模块三部分组成,3个功能模块均可拆装,方便更换和升级。


3. 传感器组件

n标配:温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、可调LED灯光模块、振动传感器/蜂鸣器一体模块、超声波测距传感器模块、4位LED数码管显示模块、直流/步进电机一体模块、火焰传感器模块;

n选配:压力传感器模块、红外感应传感器模块、雨滴传感器模块、可燃气体传感器模块、酒精传感器模块、DA输出模块等、8*8LED点阵模块、霍尔传感器模块、玻璃破碎检测模块、红外转发模块、门磁检测模块、声控模块等。


1.3MQTT物联网私有云平台

l用户能够将物联网感知层设备(数据网关、传感器、执行器等)接入物联网云服务系统。

l系统能够接收并存储传感器和执行器的实时数据,模块在线状态,并实时显示;也能够向执行器发送控制命令;系统能够实现模块的在线监测。

l提供后台管理系统,能够设置账号类型和使用权限。支持多用户管理及权限控制,分为父用户和子用户,父用户可以创建多个子用户,并且可以为每个子用户分配增、删、改几种权限,子用户创建的资源相互隔离。

l系统提供丰富的接口,支持MQTT,CoAP或HTTP协议进行数据采集,同时也支持websocket 协议订阅数据更新,用于数据可视化或实时分析。

l平台可以分为公有云和私有云,公有云可以部署在阿里云之上,使用MongoDB服务器集群作为大数据存储,学生老师申请账号后即可使用;私有云可以为客户提供本地化部署, 客户具有完全的控制权限。私有云支持Cassandra、PostgreSQL数据库。

l提供物联网规则编辑器,无需编写代码即可编辑复杂的自动化控制策略,实现移动互联网系统的自动化控制。

l提供丰富的可视化控件库,通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。

 

 学蠡科技



 

 

1.4IPC摄像机

 

学蠡科技


 

最大分辨率 400W

最低照度 0. 002Lux(彩色模式);0.0002Lux(黑白模式);0Lux(红外灯开启)

宽动态 120dB

信噪比 56dB

白平衡 自动

强光抑制 支持

镜头焦距 2.7~13.5mm

镜头光圈 F1.6~3.13  

视频编码标准 H.265;H.264;H.264B;H.264H;MJPEG

1.5、麦克风阵列

 

学蠡科技


 

4 麦克风线性阵列子板采用业界高性能、超低功耗 DSP,支持 4 路高质量数字麦克风输入,2 路模拟音频输入,2 路模拟音频信号输出;采用 USB1.1 协议进行数据传输,可同步采集传输 6 声道数字音频信号。


 

三、教学资源介绍

1实验项目列表

1.1视觉实验案例

图像采集实验学习从硬件设备采集图像数据并熟悉图像格式(YUV,RGB)转换,理解V4L2的概念

图像处理实验:学习图像处理的基本方法,了解各种图像处理方法的功能

视频编码实验:学习视频编码的概念和方法,掌握使用硬件编码器的方法,了解H264编码标准

视频解码实验:学习视频解码的概念和方法,掌握使用硬件解码器的方法,了解H264和H265编码标准,了解RTSP协议

视频分析之背景提取实验:学习视频分析的概念,了解视频中背景提取的方法

人脸检测(传统机器学习方法)实验:学习人脸检测的概念,了解adaboost人脸检测方法

目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法

人脸特征提取(深度学习方法)实验:学习人脸特征提取的概念,了解LightCNN人脸提取方法

人脸识别系统实验:学习人脸识别系统的搭建方法,理解1:1,1:N等概念

双目立体视觉实验:学习立体视觉的概念,掌握用双目相机计算深度信息的方法

目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法

1.2、无线传感器网络实验案例

ZigBee基础实验:GPIO、定时器、中断等实验

传感器驱动实验:温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、直流/步进电机一体模块等实验

Zstack基础实验:SampleApp GenericApp SimpleApp SensorDemo SerialApp等实验

Zstack进阶实验:ZigBee 组网实验、ZigBee 传感器采集及数据传输实验、ZigBee网络综合实验

Zstack综合实验:智能家居演示

1.3语音实验案例

语音前处理实践

录音实验

播放实验

阵列麦克风实验

降噪实验

回声消除实验

语音活性检测实验

语音编码

语音变速变调

语音识别以及语音唤醒

自然语言处理

基于云端平台实现自然语言处理

自然语言处理实践

语音合成语音案例:NLP智能对话实验

1.4综合实验案例

语音智能家居实验:语音命令控制zigbee继电器实现灯光风扇控制、语音命令获取zigbee温湿度传感器数据、语音命令获取zigbee光照度感器数据等

人脸门禁系统实验:通过与门锁等设备的联动,学习和实践人脸识别在实际场景中的使用



 服务热线:0510-85386543

电话咨询
邮件咨询
在线地图
QQ客服