【KV260视觉入门套件试用体验】3.PL端视频采集与AI识别测试测试

KV260-PL端视频采集与识别

大信 ALSET (QQ:8125036)

      感谢安富利科技和烧友烧网给予的XilinxKria KV260视觉AI套件视觉入门套件试用机会。XilinxKriaTM KV260开发板全称是KriaKV260 Vision AI Starter Kit。该开发套件主要应用之一是面向多媒体与视觉领域的开发。开发板硬件使用FPGA的灵活性，提供了多种的AI开发固件，可以让开发者测试使用FPGA支持的多媒体能力，并且开发板提供了基于FPGA的开发SDK，使得在该开发平台上快速开发AI应用。

其硬件本身也提供了VPU，DPU等音视频的处理与数据处理的IP，可以让音视频的采集，视频编解码，图形图像处理直接通过这些IP进行预处理，并且在结合FPGA的开发进一步对视频进行AI识别等应用，因此它具备很强的灵活性，适用可重新部署的应用场景，在产品验证和动态开发商具备很好的支持。

     KriaTM KV260的应用处理端(PS)包含了 ARM® Cortex®-A53 cores 四核处理器，以及带有硬编码的视频处理器VPU，可以从USB摄像头，文件，网络以及PL端的MIPI端获取视频的能力。并且可以通过VPU以及DSP处理器对视频图像进行处理，再输出到HDMI，DP接口上显示或者文件、网络流输出上。

本次测试的主要目标是测试该开发板PL端以及PL端视频采集以及视频识别的功能。以学习和验证该开发板的多媒体与AI工作过程。

      硬件连接如下，分别连接HDMI显示器用于图像或视频在板上的显示。连接有线网络用于视频流在以太网络上的传输。连接开发板带的mipi摄像头到 J7 口上，连接microUSB 线到j4口上。

连接完成后，如下图所示：

        按第一章的方法，烧录好SD卡之后，也插上SD卡，连接键盘鼠标，上电启动Ubuntu。启动系统。然后就可以为开发板的UbuntuLTS设置一下赛灵思的开发环境，用这里的几个命令就可以了。

1.安装系统配置脚本

首先需要对系统初始化，安装系统管理所需要的xlnx-fonfigsnap，在开发板上执行命令：

sudo snap install xlnx-config--classic --channel=2.x

snap和apt安装的区别

1).软件包不同：Snap主要包含高级、独立和最新版本的软件。而apt则包含更多的软件包，包括一些稳定但版本较老的软件。

2).依赖问题：Snap是通过将应用程序及其依赖项捆绑到一个独立的Snap软件包中来解决依赖问题。而apt需要处理软件之间的依赖关系，并确保它们都可用。

3).更新方法不同：Snap提供了自动更新机制，应用程序的更新会自动下载和部署，但可以选择要更新的版本。而在apt中，用户需要手动执行apt-getupdate 同步软件源信息，和apt-get upgrade 来更新软件包。

4).安全性：Snap是在沙箱中运行的，如果某个应用程序发生故障，只会影响该应用程序，不会影响其他程序或系统。而通过apt安装的软件包可能会对整个操作系统造成影响。

2.系统初始化执行

对Kria指定特定的PPA，将自动更新系统的软件包。

命令sudoxlnx-config.sysinit

安装过程会提出几次确认，一路yes过来，

大约25分钟安装并设置完成完成开发板所需要的ubuntu运行环境支持软件。

3.搜索kv260测试的固件软件包

开发板提供了kv260系列测试固件包，固件包是针对FPGA开发打包好的bit流文件，通过对FPGA处理器装载不同的固件，实现不同的硬件功能定义。通过以下指令可以搜索到现在库里提供的所有适用于KV260的固件包：

索找kv260-smartcam的驱动包，输入指令：

sudo apt search xlnx-firmware-kv260

4.安装

在安装固件的二进制文件执行命令：

sudo apt installxlnx-firmware-kv260-smartcam

这时需要等待一段时间，安装完成即可。

sudo snap install docker

sudo apt install docker.io

sudo apt install podman-docker

sudo chown root:docker/var/run/docker.sock

Docker 拉取 smartcam 的测试镜像包：

拉取镜像完毕

1.检查摄像头设备

media-ctl –p –d /dev/media0

2.禁用ubuntu 默认桌面图形系统

因为测试程序需要占用屏幕设备输出，因此需要先关闭现有的ubuntu的桌面显示，执行命令 sudo xmutildesktop_disable

同样需要恢复默认的桌面输出时，执行 sudo xmutil desktop_enable即可。

3.切换FPGA内的固件

开发板启动时，PL端所带的是一个默认的固件，通过命令sudo xmutil listapps 可以列出系统现有的固件，在Accelerator列显示为0的即为当前所加载的固件。此时可以使用 sudoxmutil unloadapp 卸载当前固件，卸载后开发板风扇明显转速加快，噪音增大。再加载我们需要测试的固件smartcam, 执行命令sudo xmutil loadappkv260-smartcam 即可加载上。加载完使用list app指令可以查看，固件已经替换。

4.启动测试应用的Docker环境

docker run \

--env="DISPLAY"\

-h"xlnx-docker" \

--env="XDG_SESSION_TYPE"\

--net=host\         

--privileged \

--volume="$HOME/.Xauthority:/root/.Xauthority:rw"\

-v /tmp:/tmp \

-v /dev:/dev \

-v /sys:/sys \

-v/etc/vart.conf:/etc/vart.conf \

-v/lib/firmware/xilinx:/lib/firmware/xilinx \

-v /run:/run \

-v/home/ubuntu/workspace:/root/workspace \

-w /root \

-it xilinx/smartcam:2022.1bash

5.在docker中启动视频采集测试应用：

执行这个命令，将采集mipi 摄像头的视频，并保存文件到 out.h265文件里

smartcam–mipi –W 1920 –H 1080 –target file

6．检查测试程序的输出

程序执行完毕，在当前目录下生成了out.h264 即采集到视频并进行压缩编码后的数据。

将采集到的out.h264 文件，使用ffmpeg 转成mp4文件

把mp4文件复制到windows系统上，使用播放器播放，就可以看到视频内容了：

7.更多的测试

       smartcam--mipi -W 1920 -H 1080 --target dp

smartcam --mipi -W 1920 -H 1080 --target rtsp

测试采用mipi采集其它分辨率摄像头视频，出现提示，MIPI仅支持HD和4K视频。

     本次通过连接MIPI摄像头，顺利完成测试PL侧的视频采并且使用开发板内自带的编码器测试视频编码，以及对视频进行人脸识别，测试总体顺利，能够非常快速的建立开发板上PL端的视频采集与AI人脸处理。

从测试视频编效果干，MIPI视频缺少ISA图像色差纠偏，图像色彩明显失真，MIPI视频对真人人脸识别效率大与图片中人脸识别的准确度，通过也给出一个简单的使用smartcam应用构建人脸识别与物体分类的AI识别的方法。