本项目通过对数字手写笔的应用现状和市场进行调研,总结出目前数字手写笔的应用缺陷,并针对这些缺陷进行需求分析,并对各项需求提出对应解决方案,最终设计一种基于人工智能的穿戴式多维感知交互设备。 该设备兼容传统手写笔的基础功能,具备智能物联、无接触式手写、语音识别和VR娱乐等新功能,并通过蓝牙实现传感器件与电脑等接收设备的无线通信,搭载语音识别模块,具备远程操纵和语音控制功能。
涂鸦WiFi模组
嵌入式主控模块
语音识别
整体架构
多维交互式传感设备主要由STM32嵌入式平台和上位机平台构成,嵌入式平台通过检测语音模块和硬件按钮的变化,经WiFi模块发送状态到PC端的上位机平台,同时将状态上传至涂鸦云平台,可在手机上查看命令状态。
上位机平台为Matlab
嵌入式平台开发
1.登录涂鸦平台
2.创建产品
2.1 选择自定义产品类型
2.2 填写产品信息
2.3 添加自定义功能
2.4下载开发文件
3.嵌入式程序开发
3.1 WiFi模块初始化
WiFi_RST_Init();
LED0 = 0;
LED1 = 1;
Wifi_RST = 0;
delay_ms(100);
Wifi_RST = 1;
wifi_protocol_init();
3.2 主函数
while(1)
{
wifi_uart_service();
trans_by_wifi();//转发主函数
}
3.3 接受中断函数
void USART2_IRQHandler(void)
{
u8 Res;
if((__HAL_UART_GET_FLAG(&UART2_Handler,UART_FLAG_RXNE)!=RESET))
{
HAL_UART_Receive(&UART2_Handler,&Res,1,1000);
uart_receive_input(Res);
}
HAL_UART_IRQHandler(&UART2_Handler);
}
3.4 语音模块功能设置
switch(dat)
{
case CODE_4: /*命令“黑色”*/
SRD2 = 0;
PrintCom("4");
break;
case CODE_5: /*命令“红色”*/
SRD3 = 1;
PrintCom("5");
break;
case CODE_6: /*命令“加粗”*/
SRD3 = 0;
PrintCom("6");
break;
}
上位机软件开发
上位机软件主要基于Matlab软件开发 主程序为sd_5lanya2.m
clear
close all
clc
aaa = instrhwinfo('Bluetooth');
disp('蓝牙准备(0/2)');
bbb = instrhwinfo('Bluetooth','BT04-A');
disp('蓝牙准备(1/2)');
b = Bluetooth('BT04-A',1);
fopen(b);
mark = 0;
disp('蓝牙准备(2/2)');
Bluetooth_Read = 1;
while (mark==0)
disp('我在听,请说话');
Bluetooth_Read = str2double(fgets(b));
if (isnan(Bluetooth_Read)~=1)
disp(Bluetooth_Read)
if (logical(Bluetooth_Read)~=0)
if (Bluetooth_Read==4)
disp('我画图了');
zsd_1_xunhuan;
end
end
if (logical(Bluetooth_Read)~=0)
if (Bluetooth_Read==5)
disp('我画图了');
zsd_2_hongse;
end
end
if (logical(Bluetooth_Read)~=0)
if (Bluetooth_Read==6)
disp('我画图了');
biancu;
end
end
if (logical(Bluetooth_Read)~=0)
if (isinf(Bluetooth_Read)==1)
mark = 1;
disp('end');
end
end
end
end
根据语音识别模块得到的语音输入可以得到三种不同的信息:“黑色”、“红色”、“加粗”分别对应不同的子函数: zsd_1_xunhuan;zsd_2_hongse; biancu。 zsd_2_hongse函数将以红色轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:
zsd_1_xunhuan函数将以黑白轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:
biancu函数将以加粗红色轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:
通过上述的方式可以实现不同环境下的多维人机感知交互,从而可以实现空中绘画、虚拟游戏、VR指示等功能。
本团队提出了一种基于人工智能的穿戴式多维感知交互设备。该设备可直接穿戴在手臂上,通过蓝牙实现传感器件与电脑等接收设备的无线通信;搭载语音识别模块,具备远程操纵和语音控制功能。后续的进一步开发,可以使得此外该设备与VR产品、VR娱乐以及教学相结合,具有较高的经济价值。