基于人工智能的穿戴式多维感知交互设备

整体架构

多维交互式传感设备主要由STM32嵌入式平台和上位机平台构成，嵌入式平台通过检测语音模块和硬件按钮的变化，经WiFi模块发送状态到PC端的上位机平台，同时将状态上传至涂鸦云平台，可在手机上查看命令状态。

上位机平台为Matlab

嵌入式平台开发

1.登录涂鸦平台

2.创建产品

2.1 选择自定义产品类型

2.2 填写产品信息

2.3 添加自定义功能

2.4下载开发文件

3.嵌入式程序开发

3.1 WiFi模块初始化

WiFi_RST_Init();
LED0 = 0;
LED1 = 1;
Wifi_RST = 0;
delay_ms(100);
Wifi_RST = 1;
wifi_protocol_init();

3.2 主函数

while(1)
{	
	wifi_uart_service();		
	trans_by_wifi();//转发主函数
} 

3.3 接受中断函数

void USART2_IRQHandler(void)                	
{ 
u8 Res;
if((__HAL_UART_GET_FLAG(&UART2_Handler,UART_FLAG_RXNE)!=RESET))
{
    HAL_UART_Receive(&UART2_Handler,&Res,1,1000); 
	uart_receive_input(Res);
}
HAL_UART_IRQHandler(&UART2_Handler);	
} 

3.4 语音模块功能设置

switch(dat)
{

case CODE_4:		/*命令“黑色”*/
	SRD2 = 0;
	PrintCom("4");
	break;
case CODE_5:		/*命令“红色”*/
	SRD3 = 1;
	PrintCom("5");
	break;
case CODE_6:		/*命令“加粗”*/
	SRD3 = 0;
	PrintCom("6");
	break;
}

上位机软件开发

上位机软件主要基于Matlab软件开发 主程序为sd_5lanya2.m

clear
close all
clc
aaa = instrhwinfo('Bluetooth');
disp('蓝牙准备（0/2）');
bbb = instrhwinfo('Bluetooth','BT04-A');
disp('蓝牙准备（1/2）');
b = Bluetooth('BT04-A',1);
fopen(b);
mark = 0;
disp('蓝牙准备（2/2）');
Bluetooth_Read = 1;
while (mark==0)
disp('我在听，请说话');
Bluetooth_Read = str2double(fgets(b));
if (isnan(Bluetooth_Read)~=1)
    disp(Bluetooth_Read)
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==4)
          disp('我画图了');
         zsd_1_xunhuan;
    end
end
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==5)
          disp('我画图了');
         zsd_2_hongse;
    end
end
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==6)
          disp('我画图了');
         biancu;
    end
end
if (logical(Bluetooth_Read)~=0)
     if (isinf(Bluetooth_Read)==1)
            mark = 1;
           disp('end');
    end 
end
end
end

根据语音识别模块得到的语音输入可以得到三种不同的信息：“黑色”、“红色”、“加粗”分别对应不同的子函数： zsd_1_xunhuan;zsd_2_hongse; biancu。 zsd_2_hongse函数将以红色轨迹的形式绘画出当前操作者的指示图像，如下所示，操作者画出了一个爱心的图像：

zsd_1_xunhuan函数将以黑白轨迹的形式绘画出当前操作者的指示图像，如下所示，操作者画出了一个爱心的图像：

biancu函数将以加粗红色轨迹的形式绘画出当前操作者的指示图像，如下所示，操作者画出了一个爱心的图像：

通过上述的方式可以实现不同环境下的多维人机感知交互，从而可以实现空中绘画、虚拟游戏、VR指示等功能。