用腾讯优图 AI 视觉模组在树莓派上玩吃火锅体感游戏

Microsoft Word - 吃火锅.docx                                                                                                                                那么如何获取模组的摄像头数据呢?
datalink = vs.YtDataLink( serial.Serial("/dev/ttyACM0",115200,timeout=0.5) )
通过 python 中的 pyserial 模块连接串行口，再建立连接后，就可以通过 getResult 方法
                                        获得人脸识别、人脸姿态、人脸关键点定位等信息。
                               
                       
                                                                                                                                                检测到的人脸数：                                                                       
                                                                        faces = result.getResult([YtVisionSeedModel.FACE_DETECTION])
人脸框坐标：rect = result.getResult([YtVisionSeedModel.FACE_DETECTION, 0])0 表示检测到的第一个人脸，1 表示第二个，以此类推...

人脸关键点定位：

shape = result.getResult([YtVisionSeedModel.FACE_DETECTION, 0,YtVisionSeedModel.FACE_LANDMARK])
                               
                       
                                                                                                                                                                                                                                                通过 rect = result.getResult([YtVisionSeedModel.FACE_DETECTION, 0]) 就可以获取到当前检测到的人脸框，rect.x,rect.y,rect.w,rect.h 分别代表了人脸框的左上角横坐标、左上角纵坐标、宽度、高度。
                                        通过 shape = result.getResult([YtVisionSeedModel.FACE_DETECTION, 0,YtVisionSeedModel.FACE_LANDMARK]) 可以获取到人脸的 90 个配准点，下图就展示了嘴巴上的配准点

Microsoft Word - 吃火锅.docx                                                                                                                                然后通过计算嘴巴的姿态去判断张闭嘴:
let l1 = faceShape.mouth[0].distence(faceShape.mouth[6])let l2 = faceShape.mouth[3].distence(faceShape.mouth[9])
output = l2 / (l1 + 0.01)

                                        Microsoft Word - 吃火锅.docx                                                                                                                                上图的曲线所描绘的就是当我的嘴巴张开时，出现峰值;当我的嘴巴闭合时，出现谷值。纵坐标值 output 所表现的就是嘴巴的开闭程度。                               
                       
               
       
                                                                                                                                                                        游戏设计                                        我们将用 python 语言来设计这个游戏，其中涉及了几个重要的第三方库:cv2、cocos、visionseed。
1. cv2:通过 cap = cv2.VideoCapture(0)读取模组的摄像头
2. cocos:是用于构建游戏的框架。这个引擎就跟拍电影一样，有导演(Director)，有大                                        背景(Scene)，还有背景上的小修饰物(Layer)，还有人物(Sprite)。
3. visionseed:通过导入 visionseed 库，通过库中的一些方法获取人脸的信息。                                       
类的设计                                        正如之前所展示的游戏视频，此游戏主要分为三个场景:游戏开始、游戏进行中、游戏结束。三个场景形成一个闭环。

                                        Microsoft Word - 吃火锅.docx                                                                                                                                其次，我们要定义一个类 VisionSeedLayer，继承自 cocos.layer.Layer，实现下面这些方法:                                       

•                                                         on_enter( )实现场景的进入
•                                                         on_exit( )实现场景的离开
•                                                         on_frame( )显示每一帧的画面
•                                                         addSprite( )在图层上添加精灵
•                                                         posFaceToScreen( )将人脸坐标映射到屏幕坐标上
•                                                         recvMsg( )通过 result,msg = datalink.recvRunOnce()接收 result 数据帧
•                                                         recvFrame( )通过 ret, frame = cap.read( )接收 frame 视频帧                                                        如下图所示
  

                               
                       
               
       

                                                                                                                                                                        如下图，展示了实现 GameBegin( )中的三个主事件的核心代码:

                                        Microsoft Word - 吃火锅.docx                                                                                                                                如下图，展示了实现 GameMain( )中的四个主事件的核心代码:                               
                       
               
       

                                                                                                                                                                        最后我们就能实现一个简单又真实的体感游戏啦!                                       
后记                                        其实 VisionSeed 不仅仅是个集成了摄像头+AI 芯片的模块，AI 算法才是效果的保证，他内置了腾讯优图的算法，效果过硬，一直处于业界领先地位，以前一般在腾讯内部产品中应用，比如微信刷脸支付。现在通过 VisionSeed 人工智能视觉模块，开放给外界，你我也能接触到世界一流的腾讯人工智能算法，甚至能应用在自己的产品中，实在是非常开心。相信腾讯的开放，会惠及更多创业者和爱好者们。                                        另外，模块内还包括了人脸识别功能，通过附带工具软件管理数据库，能够实时离线识别库中的身份，非常强大，能做出很多有意思的东西，等你一起来探索!                               
                       
               
        Microsoft Word - 吃火锅.docx                               
                       
               
        Microsoft Word - 吃火锅.docx                               
                       
               
        Microsoft Word - 吃火锅.docx                               
                       
               
       

                               
                       
               
       
                               
                       
               
        Microsoft Word - 吃火锅.docx                               
                       
               
        Microsoft Word - 吃火锅.docx                               
                       
               
        Microsoft Word - 吃火锅.docx`

0