×

低功耗AIoT智能相机开源分享

消耗积分:0 | 格式:zip | 大小:0.00 MB | 2023-06-15

kmno4

分享资料个

描述

基于 Raspberry Pi Zero W 和 Google Coral EdgeTPU 的低功耗（'ish）AIoT 智能相机（3D 打印）

https://github.com/ricardodeazambuja/Maple-Syrup-Pi-Camera

曾几何时，我开始了一个项目，我们想了解游客在参观景点时的行为。传统上，研究人员会去那些地方并手动记笔记，以了解访问者最喜欢什么，他们在哪里度过的时间等。但是，我是一名电气工程师，所以我觉得有必要将任务自动化。起初，我考虑使用“哑”传感器，这些传感器只能计数，或者在最好的情况下，只能告诉人们移动的方向，但这会限制我们可以回答的问题类型。

我真正想要的是一个工具，它可以做与研究人员手动注释事物相同的工作。研究人员将使用她/他的眼睛和人体中最复杂的器官：全能的大脑来完成这项任务！我们仍然没有人类大脑（甚至是苍蝇大脑......），但至少我们有深度学习！

很明显，这个项目需要一个能够使用视觉来理解世界的传感器。这可以通过摄像头和基于深度学习的算法来解决（对于通常意味着深度卷积神经网络的图像）) 就像一个物体检测器。尽管如此，就在不久前，过去的做法是保存图像（或发送到某个地方）并使用强大、耗电的 GPU 处理它们。但是，保存（或传输）图像会引发一些与隐私相关的严重问题。避免这种情况的一种方法是“在边缘”处理所有内容，以使结果不包含任何个人信息。对于普通人来说，带有网络摄像头的游戏笔记本电脑就足以证明概念，但我已经在思考，因为我记得我以前使用笔记本电脑运行演示的经历，周围有很多人，被电缆绊倒，设备掉到地面，电池变平的速度比预期的快，等等。

已经有相当多的智能相机允许您在边缘运行深度神经模型（例如JeVois 、OpenMV 、OpenCV OAK等），但是将我自己的系统放在一起会给我更多的自由和灵活性。因此，我决定使用Raspberry Pi Zero W 、Raspberry Camera V2和Google Coral USB 加速器. 我不会躺在这里，我选择这套特殊工具的原因之一是很平凡的：我有使用它们的经验，当我们处于另一次封锁期间时，我把它们放在家里。但是这种设置的杀手锏是它的功耗非常低且体积小，让我可以用普通的移动电源为它供电一整天，并且由于体积小，它可以轻松部署在任何地方。

人们问我为什么选择在这个项目中使用 Raspberry Pi Zero，因为它不是一个强大的单板计算机。正如我所提到的，我本可以尝试现成的智能相机，但 Raspberry Pi 是有史以来最畅销的通用计算机之一（击败了 Commodore 64，4 年前的数字！），因此它拥有一个庞大的社区。当您需要寻找驱动程序或如何解决问题时，这让生活变得更加轻松。除此之外，去年我发布了关于灵活、抗碰撞、四轴飞行器的工作，它的大脑...... Raspberry Pi Zero W！因此，我对使用 Zero 非常熟悉，我希望Raspberry Pi 基金会很快会进行升级（也许在 RPI Zero PCB 中添加一个 RP2040？）。

如何建立自己的

硬件

软件

简单的方法

这个 repo 中可用的图像预先安装了许多有趣的东西，它的默认用户是pi和密码maplesyrup（是的，我喜欢 maplesyrup）。另一个有趣的东西是 Jupyter Notebook Server。它在测试事物时有很大帮助。您可以通过运行来启动它/home/pi/launch_jupyter.sh（它有时很慢，但非常有用）并且再次输入密码maplesyrup（您的浏览器会抱怨说它不是安全连接，因为服务器使用的是自签名证书）。

艰难的路（为什么你不能走简单的路？！？！哈哈）

额外说明

使用示例

速度

RPI 零 W 具有 USB 2.0 连接，理论速度为 480Mbit/s (50MB/s)，但它永远不会接近这个速度，因为 RPI0 有一个单核 ARMv6 CPU（没有免费的午餐！）。因此，Google Coral USB 加速器经常受到 USB 带宽或 RPI0 与其交换数据的能力的限制。不过，这一事实在保持低平均功耗方面发挥了作用。需要后处理或使用自定义 OP（EdgeTPU 编译器在主机中运行这些操作）的模型也会受到 USB 带宽小和 ARMv6 单核薄弱的影响。

能量消耗：

RPI Zero W 在其 5V 输入端没有保护威廉希尔官方网站 ，因此它将 USB 电源直接连接到电源。这意味着 Coral USB 加速器将直接连接到电源，使其能够在 microUSB + PCB 走线的电源和阻抗允许的范围内消耗尽可能多的电流。根据Google Coral USB 加速器数据表，仅加速器就可以消耗高达 900mA（峰值）的电流。RPI 零 W 的典型功耗为 150mA 。在我的实验中，Maple-Syrup-Pi-Camera 在空闲时（800mW）在 5V 时消耗大约 160mA。

功耗示例：

使用爱好级 USB 功率计（以及声明它可以在 5V 下提供高达 2A 电流的移动电源）：

致谢：


下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !

'+ '

'+ '

'+ ''+ '
'+ ''+ ''+ '
'+ ''+ '' ); $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code ==5){ $(pop_this).attr('href',"/login/index.html"); return false } if(data.code == 2){ //跳转到VIP升级页面 window.location.href="//m.obk20.com/vip/index?aid=" + webid return false } //是会员 if (data.code > 0) { $('body').append(htmlSetNormalDownload); var getWidth=$("#poplayer").width(); $("#poplayer").css("margin-left","-"+getWidth/2+"px"); $('#tips').html(data.msg) $('.download_confirm').click(function(){ $('#dialog').remove(); }) } else { var down_url = $('#vipdownload').attr('data-url'); isBindAnalysisForm(pop_this, down_url, 1) } }); }); //是否开通VIP $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code == 2 || data.code ==5){ //跳转到VIP升级页面 $('#vipdownload>span').text("开通VIP 免费下载") return false }else{ // 待续费 if(data.code == 3) { vipExpiredInfo.ifVipExpired = true vipExpiredInfo.vipExpiredDate = data.data.endoftime } $('#vipdownload .icon-vip-tips').remove() $('#vipdownload>span').text("VIP免积分下载") } }); }).on("click",".download_cancel",function(){ $('#dialog').remove(); }) var setWeixinShare={};//定义默认的微信分享信息，页面如果要自定义分享，直接更改此变量即可 if(window.navigator.userAgent.toLowerCase().match(/MicroMessenger/i) == 'micromessenger'){ var d={ title:'低功耗AIoT智能相机开源分享',//标题 desc:$('[name=description]').attr("content"), //描述 imgUrl:'https://'+location.host+'/static/images/ele-logo.png',// 分享图标,默认是logo link:'',//链接 type:'',// 分享类型,music、video或link，不填默认为link dataUrl:'',//如果type是music或video，则要提供数据链接，默认为空 success:'', // 用户确认分享后执行的回调函数 cancel:''// 用户取消分享后执行的回调函数 } setWeixinShare=$.extend(d,setWeixinShare); $.ajax({ url:"//www.obk20.com/app/wechat/index.php?s=Home/ShareConfig/index", data:"share_url="+encodeURIComponent(location.href)+"&format=jsonp&domain=m", type:'get', dataType:'jsonp', success:function(res){ if(res.status!="successed"){ return false; } $.getScript('https://res.wx.qq.com/open/js/jweixin-1.0.0.js',function(result,status){ if(status!="success"){ return false; } var getWxCfg=res.data; wx.config({ //debug: true, // 开启调试模式,调用的所有api的返回值会在客户端alert出来，若要查看传入的参数，可以在pc端打开，参数信息会通过log打出，仅在pc端时才会打印。 appId:getWxCfg.appId, // 必填，公众号的唯一标识 timestamp:getWxCfg.timestamp, // 必填，生成签名的时间戳 nonceStr:getWxCfg.nonceStr, // 必填，生成签名的随机串 signature:getWxCfg.signature,// 必填，签名，见附录1 jsApiList:['onMenuShareTimeline','onMenuShareAppMessage','onMenuShareQQ','onMenuShareWeibo','onMenuShareQZone'] // 必填，需要使用的JS接口列表，所有JS接口列表见附录2 }); wx.ready(function(){ //获取“分享到朋友圈”按钮点击状态及自定义分享内容接口 wx.onMenuShareTimeline({ title: setWeixinShare.title, // 分享标题 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享给朋友”按钮点击状态及自定义分享内容接口 wx.onMenuShareAppMessage({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 type: setWeixinShare.type, // 分享类型,music、video或link，不填默认为link dataUrl: setWeixinShare.dataUrl, // 如果type是music或video，则要提供数据链接，默认为空 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ”按钮点击状态及自定义分享内容接口 wx.onMenuShareQQ({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到腾讯微博”按钮点击状态及自定义分享内容接口 wx.onMenuShareWeibo({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ空间”按钮点击状态及自定义分享内容接口 wx.onMenuShareQZone({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); }); }); } }); } function openX_ad(posterid, htmlid, width, height) { if ($(htmlid).length > 0) { var randomnumber = Math.random(); var now_url = encodeURIComponent(window.location.href); var ga = document.createElement('iframe'); ga.src = 'https://www1.elecfans.com/www/delivery/myafr.php?target=_blank&cb=' + randomnumber + '&zoneid=' + posterid+'&prefer='+now_url; ga.width = width; ga.height = height; ga.frameBorder = 0; ga.scrolling = 'no'; var s = $(htmlid).append(ga); } } openX_ad(828, '#berry-300', 300, 250);