[经验]

开发者手机 AI - 目标识别 demo

jf_51331055

2024-4-11 16:14:55

1273 OpenHarmony AI

功能简介

该应用是在Openharmony 4.0系统上开发的一个目标识别的AI应用，旨在从上到下打通Openharmony AI子系统，展示Openharmony系统的AI能力，并为开发者提供AI应用的demo。

应用程序通过相机进行预览，对预览画面中的物体进行目标识别，目前该应用程序支持识别100种物体。

系统架构

下图为demo应用以及Openharmony AI子系统的架构图。

目标识别demo:

JS实现UI界面的功能；
Native接口及实现主要为JS提供接口进行AI推理。通过Native方式完成推理的前处理、推理以及后处理，这里通过调用opencv、MindSpore Lite的API接口实现主要功能；
Mindspore Lite为Openharmony AI推理框架，为上层应用提供统一的AI推理接口，可以完成在手机等端侧设备中的模型推理过程；
Neural Network Runtime 神经网络运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。提供统一AI芯片驱动接口，使AI芯片驱动能够接入OpenHarmony系统。
NNRt host 实现了NNRt HDI接口功能，通过对接底层AI芯片接口为上层应用提供NPU硬件推理的能力。

功能实现

JS从相机数据流获取一张图片，调用Native的接口进行目标识别的处理。Native接口完成目标识别后将结果返回给JS，在预览中标识识别的物体。
Native提供了4个接口：

static napi_value Init(napi_env env, napi_value exports) {
    napi_property_descriptor desc[] = {
        {"setconf", nullptr, setconf, nullptr, nullptr, nullptr, napi_default, nullptr},
        {"Init", nullptr, ObjectDectionInit, nullptr, nullptr, nullptr, napi_default, nullptr},
        {"Process", nullptr, ObjectDectionProcess, nullptr, nullptr, nullptr, napi_default, nullptr},
        {"DeInit", nullptr, ObjectDectionDeInit, nullptr, nullptr, nullptr, napi_default, nullptr}};
    napi_define_properties(env, exports, sizeof(desc) / sizeof(desc[0]), desc);
    return exports;
}