人工智能识别监控平台(实训工位)是基于微缩智能家居模型,为学员提供一个动手实施的环境。学员可将在实验室调试好的传感器,安装到对应的实训工位上,实现预先设置好的实验。这样能够更好地将实验与实践结合。实训工位中的受控设备通过节点有线和无线的方式连接到实验室对应的PC 和实训平台中。这样学员可以远程监控和管理实训工位中传感器和节点的工作状态和数据。
整个教学平台包括物联网(IOT)部分和人工智能(AI)部分,两部分互相支撑、互为补充。
人工智能部分的硬件平台基于嵌入式的Arm开发板,具备语音、视觉等传感器数据采集能力,及适用于多种场景的控制接口;物联网部分的硬件平台基于物联网教学平台,该套件基于zigbee无线传输技术实现,具有低功耗、低速率、自组网等特点,可适用于人工智能+物联网的多种学习和应用场景。软件平台支持人脸识别、语音识别、无线通信、传感器原理等应用的基础平台和主流开源算法。提供完整的配套教学教材,实训案例的源码、开发手册等,满足AI&IOT教学实训、应用开发等需求。
物联网部分的硬件平台将智能家居中的主要传感器进行提炼实现,包括: 门禁系统、综合照明系统、电动机控制、温湿度传感器、通信模块实验、图像采集实验、红外对射、远程抄表等,各种器件(包括传感器)能挂墙安装,可以方便地进行拆卸。其突出特点是可根据教学需求,进行定制化的智能家居安装、调测等方面的实训,进而为各类技能学习打下基础。
EAIDK-610边缘计算网关
EAIDK-610边缘计算网关使用高性能Arm SoC(瑞芯微rk3399),搭载OPEN AI LAB嵌入式AI开发平台AID(包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV)。为AI应用提供简洁、高效、统一的API接口,加速终端AI产品的场景化应用落地实现。
教学平台所提供的源代码级别的算法(包括人脸检测、人脸识别)可以让学生对计算机视觉的流程、处理方式等有更好的了解,熟悉人脸检测和人脸识别等相关算法,更好的了解实际应用场景,贴近工程化应用。
实验列表
硬件参数
基本规格参数 | |
主控SoC | Rockchip RK3399 |
CPU | 2 x Cortex-A72 + 4 x Cortex-A53 |
GPU | ARM Mali-T860 4核GPU |
内存 | 4GB LPDDR3,Flash 16GB |
USB接口 | 2.0*2、3.0*2、TypeC(OTG)*1 |
有线网络 | RJ45,10/100/1000M自适应 |
WIFI | 802.11 ac/a/b/g/n,2.4G/5GHz |
蓝牙 | Bluetooth 4.1 |
板载接口 | MIPI DSI:4L,最高1080p@60Hz eDP:1.3,4 lanes,10.8Gbps |
相机接口 | MIPI CSI 2×4 lanes |
HDMI | 2.0,1*Type-A,最高4Kx2K@60Hz |
电源 | 12V,2A |
高清显示屏基本硬件参数 | |
物理分辨率 | 1920*1080 |
面板类型 | LED-IPS |
信号接口 | 双HDMI mini |
屏幕比例 | 16:10 |
刷新频率 | 60-75HZ |
电源 | DC12V-2A |
响应时间 | 小于12ms |
外观尺寸 | 375*234mm |
1、实验项目列表:
1.1、视觉实验案例
图像采集实验:学习从硬件设备采集图像数据并熟悉图像格式(YUV,RGB)转换,理解V4L2的概念;
图像处理实验:学习图像处理的基本方法,了解各种图像处理方法的功能
视频编码实验:学习视频编码的概念和方法,掌握使用硬件编码器的方法,了解H264编码标准
视频解码实验:学习视频解码的概念和方法,掌握使用硬件解码器的方法,了解H264和H265编码标准,了解RTSP协议
视频分析之背景提取实验:学习视频分析的概念,了解视频中背景提取的方法
人脸检测(传统机器学习方法)实验:学习人脸检测的概念,了解adaboost人脸检测方法
目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法
人脸特征提取(深度学习方法)实验:学习人脸特征提取的概念,了解LightCNN人脸提取方法
人脸识别系统实验:学习人脸识别系统的搭建方法,理解1:1,1:N等概念
双目立体视觉实验:学习立体视觉的概念,掌握用双目相机计算深度信息的方法
目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法
1.2、无线传感器网络实验案例
ZigBee基础实验:GPIO、定时器、中断等实验
传感器驱动实验:温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、直流/步进电机一体模块等实验
Zstack基础实验:SampleApp GenericApp SimpleApp SensorDemo SerialApp等实验
Zstack进阶实验:ZigBee 组网实验、ZigBee 传感器采集及数据传输实验、ZigBee网络综合实验
Zstack综合实验:智能家居演示
1.3、语音实验案例
语音前处理实践
录音实验
播放实验
阵列麦克风实验
降噪实验
回声消除实验
语音活性检测实验
语音编码
语音变速变调
语音识别以及语音唤醒
自然语言处理
基于云端平台实现自然语言处理
自然语言处理实践
语音合成语音案例:NLP智能对话实验
1.4、综合实验案例
语音智能家居实验:语音命令控制zigbee继电器实现灯光风扇控制、语音命令获取zigbee温湿度传感器数据、语音命令获取zigbee光照度感器数据等
人脸门禁系统实验:通过与门锁等设备的联动,学习和实践人脸识别在实际场景中的使用