×

Accio:使用语音搜索事物

消耗积分:0 | 格式:zip | 大小:0.00 MB | 2023-07-11

王利祥

分享资料个

描述

pYYBAGOrq6eAWi66AAvWLIYdZvs445.jpg
Accio 的标记硬件,由 ESP-8266、蜂鸣器和 LED 组成
 

 

“Accio”发生了,主要是因为它对我日常工作的顺利进行至关重要。每天早上,在准备上班时,找到我的自行车钥匙和钱包都会很困难。是的,如果我能决定一直把我的钥匙放在同一个地方,一切都可以解决,但那有什么好玩的……

因此,我开始寻找可以用来解决我的问题的技术。第一组想法涉及 BLE 标记和标签,但感觉有点矫枉过正。GPS 从来都不是一个可行的选择,因为我确信无论如何我都会把我的自行车钥匙带回家;这个问题本质上绝对是局部的。理想的解决方案似乎是基于 Wi-Fi 的,因为它可以满足我的本地化要求。功耗将是一个问题,但我决定接受它,看看它会如何解决。所以我为 Accio 选择了ESP-8266 ,因为我对NodeMCU略微熟悉,它基于 ESP-8266 使用的相同 Espressif 芯片,但板载 FTDI 芯片,以便直接作为 COM 端口与计算机通信。ESP-8266 模块可以节省空间,但需要一个额外的FTDI USB 转串口转换器模块来编程或发送和接收数据。

现在,由于所有这些部分都已处理完毕,最大的问题是如何触发 ESP-8266 模块。按钮是一种选择;按此按钮定位标记 A,按该按钮定位标记 B。简单有效。但我对声音很着迷。呼叫标记 A,标记 A 响应;这是最好的解决办法。声音会有一种很好的自然感觉。因此,我决定尝试Snips.ai ,所有处理都可以在边缘本地完成(因此始终需要互联网),并且也可以在 Raspberry Pi 上运行。

然而,我从来没有意识到开始使用Snips.ai是多么容易安装非常顺利和简单,所有必要的部分都有足够的文档。我决定使用一个基站(这是一个 Raspberry Pi 3B+,运行所有 NLU 和热词算法)和一个卫星套件(Raspberry Pi W,它装有音频捕捉麦克风,将音频数据发送到基站解码)。一个基站可以有多个卫星站,所有卫星站都相互链接。

 

 
poYBAGOrq8uAJMEZAAeiIGXbGT8837.jpg
Snips.ai 的卫星套件,带有一个 2 麦克风扬声器阵列对接到 R-Pi W
 

我基本上想要实现的是,在对系统说“Accio keys”时,名为“keys”的标记应该会引起我的注意,让我知道我最后把它放在哪里。这需要两个独立的部分:

  • 硬件,包括 ESP-8266、蜂鸣器和其他我必须整合到 PCB 中的相关电子设备,以及
  • 软件部分,包括Snips.ai代码、MQTT 通道和通信协议的设置,以及 ESP-8266 的微控制器程序。

为了粗略地概述系统从头到尾发生的事情,

  • 在说出“热词”(例如 Jarvis)时,系统必须醒来,意识到我正要要求它跟踪一个标记。
  • 当我说“ Accio keys ”时,系统明白我在要求我的“ keys ”,因此它通过 MQTT 通道 ping 连接到该特定标记的 ESP-8266 模块。
  • 标识为“ keys ”的 ESP-8266 知道它正在被调用,因此它会点亮 LED 并打开蜂鸣器让我知道在哪里可以找到它

 

 

 

 

 
pYYBAGOrrDOAPP0IABYT_mSGyWM208.jpg
我设计的标记板
 

已附上所有相关代码和 CAD 文件(我为此制作的 PCB)。

有关使用 ESP-8266 的更多详细信息,请访问此链接

我建议仅使用 Raspberry Pi 3B+ 来使用 Snips,即仅使用基站,它将运行整个 Snips 助手。但是,如果您决定使用 Satellite 配置(就像我在这个项目中所做的那样),这里有一个很好的 Satellites 设置说明


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !

'+ '

'+ '

'+ ''+ '
'+ ''+ ''+ '
'+ ''+ '' ); $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code ==5){ $(pop_this).attr('href',"/login/index.html"); return false } if(data.code == 2){ //跳转到VIP升级页面 window.location.href="//m.obk20.com/vip/index?aid=" + webid return false } //是会员 if (data.code > 0) { $('body').append(htmlSetNormalDownload); var getWidth=$("#poplayer").width(); $("#poplayer").css("margin-left","-"+getWidth/2+"px"); $('#tips').html(data.msg) $('.download_confirm').click(function(){ $('#dialog').remove(); }) } else { var down_url = $('#vipdownload').attr('data-url'); isBindAnalysisForm(pop_this, down_url, 1) } }); }); //是否开通VIP $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code == 2 || data.code ==5){ //跳转到VIP升级页面 $('#vipdownload>span').text("开通VIP 免费下载") return false }else{ // 待续费 if(data.code == 3) { vipExpiredInfo.ifVipExpired = true vipExpiredInfo.vipExpiredDate = data.data.endoftime } $('#vipdownload .icon-vip-tips').remove() $('#vipdownload>span').text("VIP免积分下载") } }); }).on("click",".download_cancel",function(){ $('#dialog').remove(); }) var setWeixinShare={};//定义默认的微信分享信息,页面如果要自定义分享,直接更改此变量即可 if(window.navigator.userAgent.toLowerCase().match(/MicroMessenger/i) == 'micromessenger'){ var d={ title:'Accio:使用语音搜索事物',//标题 desc:$('[name=description]').attr("content"), //描述 imgUrl:'https://'+location.host+'/static/images/ele-logo.png',// 分享图标,默认是logo link:'',//链接 type:'',// 分享类型,music、video或link,不填默认为link dataUrl:'',//如果type是music或video,则要提供数据链接,默认为空 success:'', // 用户确认分享后执行的回调函数 cancel:''// 用户取消分享后执行的回调函数 } setWeixinShare=$.extend(d,setWeixinShare); $.ajax({ url:"//www.obk20.com/app/wechat/index.php?s=Home/ShareConfig/index", data:"share_url="+encodeURIComponent(location.href)+"&format=jsonp&domain=m", type:'get', dataType:'jsonp', success:function(res){ if(res.status!="successed"){ return false; } $.getScript('https://res.wx.qq.com/open/js/jweixin-1.0.0.js',function(result,status){ if(status!="success"){ return false; } var getWxCfg=res.data; wx.config({ //debug: true, // 开启调试模式,调用的所有api的返回值会在客户端alert出来,若要查看传入的参数,可以在pc端打开,参数信息会通过log打出,仅在pc端时才会打印。 appId:getWxCfg.appId, // 必填,公众号的唯一标识 timestamp:getWxCfg.timestamp, // 必填,生成签名的时间戳 nonceStr:getWxCfg.nonceStr, // 必填,生成签名的随机串 signature:getWxCfg.signature,// 必填,签名,见附录1 jsApiList:['onMenuShareTimeline','onMenuShareAppMessage','onMenuShareQQ','onMenuShareWeibo','onMenuShareQZone'] // 必填,需要使用的JS接口列表,所有JS接口列表见附录2 }); wx.ready(function(){ //获取“分享到朋友圈”按钮点击状态及自定义分享内容接口 wx.onMenuShareTimeline({ title: setWeixinShare.title, // 分享标题 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享给朋友”按钮点击状态及自定义分享内容接口 wx.onMenuShareAppMessage({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 type: setWeixinShare.type, // 分享类型,music、video或link,不填默认为link dataUrl: setWeixinShare.dataUrl, // 如果type是music或video,则要提供数据链接,默认为空 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ”按钮点击状态及自定义分享内容接口 wx.onMenuShareQQ({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到腾讯微博”按钮点击状态及自定义分享内容接口 wx.onMenuShareWeibo({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ空间”按钮点击状态及自定义分享内容接口 wx.onMenuShareQZone({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); }); }); } }); } function openX_ad(posterid, htmlid, width, height) { if ($(htmlid).length > 0) { var randomnumber = Math.random(); var now_url = encodeURIComponent(window.location.href); var ga = document.createElement('iframe'); ga.src = 'https://www1.elecfans.com/www/delivery/myafr.php?target=_blank&cb=' + randomnumber + '&zoneid=' + posterid+'&prefer='+now_url; ga.width = width; ga.height = height; ga.frameBorder = 0; ga.scrolling = 'no'; var s = $(htmlid).append(ga); } } openX_ad(828, '#berry-300', 300, 250);