TinyMaix是国内sipeed团队开发一个轻量级AI推理框架,官方介绍如下:
TinyMaix 是面向单片机的超轻量级的神经网络推理库,即 TinyML 推理库,可以让你在任意单片机上运行轻量级深度学习模型。
根据官方介绍,在仅有2K RAM的 Arduino UNO(ATmega328, 32KB Flash, 2KB RAM ) 上,都可以基于 TinyMaix 进行手写数字识别。对,你没有看错,2KB RAM 32KB Flash的设备上,都可以使用TinyMaix进行手写数字识别!TinyMaix官网提供了详细介绍,可以在本文末尾的参考链接中找到。
所以,在我们这次试用的主角RA-Eco-RA4M2-100PIN开发板上运行TinyMaix完全是没有任何压力的( 512KB Flash 128KB SRAM )。接下来,我将介绍如何在RA-Eco-RA4M2-100PIN开发板上运行TinyMaix进行手写数字识别。
GitHub代码仓:https://github.com/sipeed/tinymaix
接下来,克隆TinyMaix源码到到当前项目中:
git clone https://github.com/sipeed/TinyMaix.git
TinyMaix是一个轻量级AI推理框架,他的核心功能就是支持AI模型的各种算子,可以简单理解为一个矩阵和向量计算库。对于计算库的移植,我们通常只需要解决编译问题即可,不涉及外设和周边元件。
类似上一篇文章的CoreMark移植,按照如下步骤创建RASC项目:
接下来,将TinyMaix的部分源码文件添加到当前项目中,具体为:
完成这些步骤后,TinyMaix核心计算库就可以正常编译通过了。
TinyMaix编译后,还需要添加测试代码才能看到效果。TinyMaix已经项目本身已有一些测试可同时用了,无需我们手动编写,例如手写数字识别。
TinyMaix本身纯CPU计算不依赖于任何外设功能,但TinyMaix基准测试依赖于:
下面分别介绍如何在RA-Eco-RA4M2-100PIN开发板上实现这两个基础功能。
SysTick是ARM-Cortex内核自带的外设,CMSIS软件包对它进行了封装,使用起来非常方便。一般来说,我们在项目代码中使用SysTick只需要在代码中:
上篇CoreMark移植的文章中,我们已经实现了基于SysTick的计时,可以直接复制到当前项目的src目录中:
其中,hal_systick.c文件内容如下:
#include <stdio.h>
#include "hal_data.h"
#include "hal_systick.h" // #define TICKS_PER_SECONDS 1000
volatile uint32_t g_tick_count = 0;
void hal_systick_init()
{
SysTick_Config(SystemCoreClock / TICKS_PER_SECOND);
printf("SystemCoreClock=%d\n", SystemCoreClock);
}
void SysTick_Handler(void)
{
g_tick_count += 1;
}
uint32_t hal_systick_get()
{
return g_tick_count;
}
上篇CoreMark移植的文章中,我们已经实现了pinrtf打印到UART9,可以直接复制到当前项目的src目录中:
其中,hal_uart9.c文件需要略加修改,修改后内容如下:
#include <stdio.h>
#include <stdbool.h>
#include "r_sci_uart.h"
#include "hal_data.h"
volatile bool uart_tx_done = false;
void hal_uart9_init()
{
R_SCI_UART_Open(&g_uart9_ctrl, &g_uart9_cfg);
}
int fputc(int ch, FILE* f)
{
(void) f;
uart_tx_done = false;
R_SCI_UART_Write(&g_uart9_ctrl, (uint8_t *)&ch, 1);
while (uart_tx_done == false);
return ch;
}
void uart9_callback(uart_callback_args_t* p_args)
{
switch (p_args->event)
{
case UART_EVENT_RX_CHAR:
break;
case UART_EVENT_TX_COMPLETE:
uart_tx_done = true;
break;
default:
break;
}
}
其中,debug_uart9_callback函数重命名为uart9_callback了。
接下来修改TinyMaix/include中的tm_port.h文件,具体为其中的几个宏:
#include "hal_systick.h"
#define TM_DBGT_INIT() uint32_t _start,_finish; uint32_t _time; _start = hal_systick_get();
#define TM_DBGT_START() _start = hal_systick_get();
#define TM_DBGT(x) {_finish = hal_systick_get(); \
_time = _finish - _start; \
TM_PRINTF("===%s use %lu ms\n", (x), _time); \
_start = hal_systick_get();}
TinyMaix运行时需要使用malloc申请堆内存,默认创建的RASC堆内存配置为0,会导致运行失败,因此需要增大堆内存空间。
增大堆内存空间的操作步骤如下:
接下来添加手写数字示例源码到当前项目,具体步骤为:
完成以上修改后,就可以在RA-Eco-RA4M2-100PIN开发板上运行手写数字识别示例了,具体输出如下图所示:
可以看到,成功识别了数字2,耗时3毫秒。
我们取消堆tm_stat调用的注释,重新编译、烧录后,运行时将会看到模型结构输出:
可以看到输入大小为28x28x1,经过6个中间操作之后,得到输出结果。输出是一个1x1x10(对应10个数字的置信度);
原始模型位于TinyMaix代码仓的,tools/tflie子目录下,mnist_valid_q.tflite文件,可以使用Netron查看模型结构:
mnist_main.c文件中,开始的几行用于根据tm_port.h中定义的数据使用对应的模型:
#if TM_MDL_TYPE == TM_MDL_INT8
#include "../../tools/tmdl/mnist_valid_q.h"
//#include "../../tools/tmdl/mnist_resnet_q.h"
#elif TM_MDL_TYPE == TM_MDL_FP32
#include "../../tools/tmdl/mnist_valid_f.h"
//#include "../../tools/tmdl/mnist_resnet_f.h"
#elif TM_MDL_TYPE == TM_MDL_FP16
#include "../../tools/tmdl/mnist_valid_fp16.h"
#elif TM_MDL_TYPE == TM_MDL_FP8_143
#include "../../tools/tmdl/mnist_fp8_143.h"
#elif TM_MDL_TYPE == TM_MDL_FP8_152
#include "../../tools/tmdl/mnist_fp8_152.h"
#endif
这些.h文件是由tflite2tmdl.py脚本生成的TinyMaix模型,mnist_valid_f模型的转换命令为:
python3 tflite2tmdl.py tflite/mnist_valid_f.tflite tmdl/mbnet_fp8.tmdl fp8_152 1 28,28,1 10
接下来定义了一个数组,uint8_t mnist_pic[28*28],保存一张测试图片,数组每个元素对应一个像素的灰度值。
uint8_t mnist_pic[28*28]={
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0,116,125,171,255,255,150, 93, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0,169,253,253,253,253,253,253,218, 30, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0,169,253,253,253,213,142,176,253,253,122, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 52,250,253,210, 32, 12, 0, 6,206,253,140, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 77,251,210, 25, 0, 0, 0,122,248,253, 65, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 31, 18, 0, 0, 0, 0,209,253,253, 65, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,117,247,253,198, 10, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 76,247,253,231, 63, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,128,253,253,144, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,176,246,253,159, 12, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 25,234,253,233, 35, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0,198,253,253,141, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 78,248,253,189, 12, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 19,200,253,253,141, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0,134,253,253,173, 12, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0,248,253,253, 25, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0,248,253,253, 43, 20, 20, 20, 20, 5, 0, 5, 20, 20, 37,150,150,150,147, 10, 0,
0, 0, 0, 0, 0, 0, 0, 0,248,253,253,253,253,253,253,253,168,143,166,253,253,253,253,253,253,253,123, 0,
0, 0, 0, 0, 0, 0, 0, 0,174,253,253,253,253,253,253,253,253,253,253,253,249,247,247,169,117,117, 57, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0,118,123,123,123,166,253,253,253,155,123,123, 41, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
};
接下来,mnist_main中使用模型,主要使用了一下几个TinyMaix的API:
使用起来还是非常简单的,跟读细节可以参考TinyMaix介绍页。
本篇内容就到这里了,感谢阅读。
本文完整项目代码仓(感兴趣的同学可以下载下来自行实验):https://gitee.com/swxu/ra4m2-tiny-maix
printf
的说明:https://developer.arm.com/documentation/dui0475/c/the-arm-c-and-c---libraries/redefining-low-level-library-functions-to-enable-direct-use-of-high-level-library-functions更多回帖