基于人工智能的穿戴式多维感知交互设备

更新时间Invalid dateWL20210269

概况

本项目通过对数字手写笔的应用现状和市场进行调研,总结出目前数字手写笔的应用缺陷,并针对这些缺陷进行需求分析,并对各项需求提出对应解决方案,最终设计一种基于人工智能的穿戴式多维感知交互设备。 该设备兼容传统手写笔的基础功能,具备智能物联、无接触式手写、语音识别和VR娱乐等新功能,并通过蓝牙实现传感器件与电脑等接收设备的无线通信,搭载语音识别模块,具备远程操纵和语音控制功能。

作品视频展示: https://www.bilibili.com/video/BV1vm4y1Z7W4?share_source=copy_web

物料清单

硬件 (3)软件 (1)
  • CBU Wi-Fi & Bluetooth 模组

    数量:1

    涂鸦WiFi模组

  • STM32F103C8T6最小系统板

    数量:1

    嵌入式主控模块

  • 语音识别模块

    数量:1

    语音识别

步骤

整体架构

多维交互式传感设备主要由STM32嵌入式平台和上位机平台构成,嵌入式平台通过检测语音模块和硬件按钮的变化,经WiFi模块发送状态到PC端的上位机平台,同时将状态上传至涂鸦云平台,可在手机上查看命令状态。

上位机平台为Matlab

嵌入式平台开发

1.登录涂鸦平台

2.创建产品

2.1 选择自定义产品类型

2.2 填写产品信息

2.3 添加自定义功能

2.4下载开发文件

3.嵌入式程序开发

3.1 WiFi模块初始化

WiFi_RST_Init();
LED0 = 0;
LED1 = 1;
Wifi_RST = 0;
delay_ms(100);
Wifi_RST = 1;
wifi_protocol_init();

3.2 主函数

while(1)
{	
	wifi_uart_service();		
	trans_by_wifi();//转发主函数
} 

3.3 接受中断函数

void USART2_IRQHandler(void)                	
{ 
u8 Res;
if((__HAL_UART_GET_FLAG(&UART2_Handler,UART_FLAG_RXNE)!=RESET))
{
    HAL_UART_Receive(&UART2_Handler,&Res,1,1000); 
	uart_receive_input(Res);
}
HAL_UART_IRQHandler(&UART2_Handler);	
} 

3.4 语音模块功能设置

switch(dat)
{

case CODE_4:		/*命令“黑色”*/
	SRD2 = 0;
	PrintCom("4");
	break;
case CODE_5:		/*命令“红色”*/
	SRD3 = 1;
	PrintCom("5");
	break;
case CODE_6:		/*命令“加粗”*/
	SRD3 = 0;
	PrintCom("6");
	break;
}

上位机软件开发

上位机软件主要基于Matlab软件开发 主程序为sd_5lanya2.m

clear
close all
clc
aaa = instrhwinfo('Bluetooth');
disp('蓝牙准备(0/2)');
bbb = instrhwinfo('Bluetooth','BT04-A');
disp('蓝牙准备(1/2)');
b = Bluetooth('BT04-A',1);
fopen(b);
mark = 0;
disp('蓝牙准备(2/2)');
Bluetooth_Read = 1;
while (mark==0)
disp('我在听,请说话');
Bluetooth_Read = str2double(fgets(b));
if (isnan(Bluetooth_Read)~=1)
    disp(Bluetooth_Read)
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==4)
          disp('我画图了');
         zsd_1_xunhuan;
    end
end
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==5)
          disp('我画图了');
         zsd_2_hongse;
    end
end
if (logical(Bluetooth_Read)~=0)
    if (Bluetooth_Read==6)
          disp('我画图了');
         biancu;
    end
end
if (logical(Bluetooth_Read)~=0)
     if (isinf(Bluetooth_Read)==1)
            mark = 1;
           disp('end');
    end 
end
end
end

根据语音识别模块得到的语音输入可以得到三种不同的信息:“黑色”、“红色”、“加粗”分别对应不同的子函数: zsd_1_xunhuan;zsd_2_hongse; biancu。 zsd_2_hongse函数将以红色轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:

zsd_1_xunhuan函数将以黑白轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:

biancu函数将以加粗红色轨迹的形式绘画出当前操作者的指示图像,如下所示,操作者画出了一个爱心的图像:

通过上述的方式可以实现不同环境下的多维人机感知交互,从而可以实现空中绘画、虚拟游戏、VR指示等功能。

小结

本团队提出了一种基于人工智能的穿戴式多维感知交互设备。该设备可直接穿戴在手臂上,通过蓝牙实现传感器件与电脑等接收设备的无线通信;搭载语音识别模块,具备远程操纵和语音控制功能。后续的进一步开发,可以使得此外该设备与VR产品、VR娱乐以及教学相结合,具有较高的经济价值。

您正在浏览的内容为涂鸦开发者平台注册用户自主发布,版权归原作者所有,涂鸦开发者平台不拥有其著作权,亦不承担相应法律责任,涂鸦开发者平台不对该等内容作出不违反、不侵权的陈述与保证。您应知晓并了解您对于该等内容的复制、改编、转发传播等任何其他使用行为应当符合法律法规并应取得相关权利人的许可,您的该等行为所造成的全部相应后果(包括但不限于侵权、违约、受损、与第三方的纠纷等)均应由您个人承担。内容知识产权相关条款可查看涂鸦开发者平台用户协议。如果您发现有涉嫌侵权的内容,请立即通过平台上的联系方式联系平台进行举报并发送有关证据,一经查实,平台将立刻删除涉嫌侵权内容。

喜欢举报