有趣的mathAI项目，手写拍照自动能解高数题还不快试试？

让我们不妨先来盘点下从 2016 年起过去三年间 Google  I/O 开发者大会亮相的重磅 AI 产品：

深度好玩！文章开始红色石头先在草稿纸上写一道高数微积分题目给大家看看如何求解：

怎么算呢？趁着高数知识还没忘完，赶紧拿起纸演算起来。大部分人是这么做的。但是如果现在跟你说，可以用 AI 来做，你信吗？

现在就有这样一个 AI 程序，你只要轻松上传上面这张手写算术题，程序就能帮你自动分析，写出解题步骤和答案！你信吗？就像下面一样：

Amazing！有没有！今天就给大家介绍这个有趣的 mathAI 项目。它是一个拍照做题程序。输入一张包含数学计算题的图片，就会自动输出识别出的数学计算式以及计算结果。

项目介绍

该项目名为：mathAI，是一个自动计算手写公式的程序。作者是一名中山大学的学霸硕士小哥 Roujack，他的研究方向就是计算机视觉。

整个程序使用 Python 实现，具体处理流程包括了图像预处理、字符识别、数学公式识别、数学公式语义理解、结果输出。

整个系统流程图如下：

1. 预处理

首先，需要对手写图片进行预处理。图片预处理以 OpenCV 作为主要工具。预处理的主要目的是把图片中的字符切割出来，同时避免无关变量对字符识别的影响。

预处理主要包括：灰度化、二值化、高斯滤波、字符切割与细化。

对图片预处理的效果如下图所示：

2. 字符识别

预处理之后，下一步就是对字符进行识别。选择的模型是卷积神经网络 LeNet5，因为不需要提取字符特征值，而且图像识别精确度高。

训练网络选用的数据集是国际数学公式识别比赛数据集（CROHME）。CROHME 数据集具有海量字符集图片，而且图片类型与实际输入非常相似。每种字符有 400 张图片，其中 60% 的图片用于训练，40% 的图片用于测试。

接下来就是结构分析和语义分析。

总的来说，对于数学公式的识别，主要是将识别出的独立的字符组织成计算机能够理解的数学公式（这里的数学公式就是纯字符的可求解的数学计算题）。大概的方法是使用编译原理的算符优先法和递归下降法进行实现。 然后根据属性文法的值传递思想，将数学公式的值计算出来。最后使用 Python 的 Matplotlib 库把计算过程和答案打印出来。

实验结果

模型训练完成之后，作者验证了字符识别的准确率：

然后，作者对 160 道测试题进行测试，系统做对 127 道题目，正确率为 79.38%。可以说相当不错了！

项目开源

真正令人激动是作者已将这个项目的源码发布在了 GitHub 上，供大家查看。开源地址为：

https://github.com/Roujack/mathAI

GitHub 上公开了系统代码。

其实，这是一个半开源的项目，目前上传的版本只能处理较简单的一维算术表达式（如果想要识别更加复杂的表达式，可以参考数学公式识别的论文）。可以参考的代码是前面字符识别部分以及整个算法处理框架。

例如图像预处理代码：

例如字符识别代码：

运行程序

要运行这个系统分为两种，一种是网页模式，一种是接口模式。

1. 网页模式

在项目的网页上，输入图片，即可获得处理结果。

2. 接口模式

项目有一个 solver 的 Python package。里面的 solve 方法封装了整个系统。其功能是输入一张图片路径，将输出计算题识别过程和计算结果。

作者还专门录制了一个视频，讲解如何在网页模式上运行程序并验证正确率。

优点与缺点

优点：这是一整套拍照做题的算法框架，同时能够处理多种多样的计算题，目前市面上还没有看到实现。OCR 技术如此成熟的今天字符识别已经不算有挑战的东西了。

缺点：字符空间关系判断只用了人类启发式规则，图像预处理不够鲁棒，数学公式的结构识别算法不够完美（可以考虑使用二维文法来做）。系统还有很大的提升空间。

总的来说，这个程序相对比较简单，能够实现一般的手写图片微积分高数题，较复杂的还不能实现。但是该项目确实是一个有意思的尝试，相信作者也会不断优化。有兴趣的可以看一下，试一试你手写的算术题，看看准确率如何。