![]()
![]()
嵌入式 编程语言 人工智能 大数据
回帖（1）
2021-12-24 15:19:39
先搞清楚什么是嵌入式
我们已经习惯了使用强大的计算能力来处理机器学习，那么嵌入式是这样的吗？我们先和机器学习比一比。
AlexNet 需要727MFlops的运算能力（Flops=浮点运算）以及235Mb的内存才能处理小小的一张227 x 227像素的图像。例如，Google Nexus S上的 ARM Cortex-A8的处理能力为每秒 66MFlops。因此，你必须等待大约 11 秒才能进行推断。这也太慢了！
大学里我上了几门与机器学习相关的课程。我们做了很多有趣的作业。但是当时即便是4GB GTX1050也不足以训练所有模型。
一般的机器学习工程师很少考虑计算资源。而且他们也很少关心内存的使用情况。为什么？因为这些硬件都很便宜，甚至是你的手机都拥有相当不错的CPU和大量内存。
你已经很久没有过聚会拍照时发现自己手机上的存储不够的情况了吧？想象一下，你使用的是只有256KB闪存的TrueTouch感应控制器。没错，只有 256KB。而且由于固件占用了一部分， 因此你不能完全使用这点存储。算下来，你能使用的也就是大约100KB。回头再看看你的上一个模型的大小。可能比这个大多了。
有意思吧？我们来继续看。
当听到“嵌入式设备”时你会想起什么？记住脑海中出现的第一印象。
1. 嵌入式设备可以是任何电动机械，甚至是微波炉和洗衣机
没错，你答对了！
如今，几乎所有的电气设备都是嵌入式的。这些设备内部可能拥有一个或多个控制器来负责每个功能：触摸感应、发动机状态监控等。
2. Arduino 和树莓派
恭喜你，再次答对了！
二者是 DIY 项目中最受欢迎和使用最广泛的工具包之一。它们也是嵌入式设备。
3. Jetson Nano 及类似的产品
再次回答正确。
这是一种特殊的开发套件，简称迷你计算机，专门为运行机器学习模型而开发。它非常强大，而且非常酷。
但似乎有些不对。
我有很多朋友都在做一些很棒的硬件业余项目。通常他们会使用Arduino或 STM32。
我认识几个AI工程师对Jetson Nano和类似设备超有兴趣。他们认为这些设备是嵌入式AI的未来。
那么，接下来请考虑这样一个问题：“这些设备有多少用在了生产级别的产品中？”
答案：微乎其微
想一想你家中有多少电气设备，然后再想想汽车中包含的大量控制器，以及工作上用到的安保系统，等等。
每个设备都有一个控制器。通常，这些控制器都是微型，且超级便宜。它们根本无法企及 Jetson 或树莓派的资源和功能。
假设你有一个微控制器。它的主要任务是处理手指触摸屏幕。它拥有ARM Cortex-M0处理器，256KB内存（其中只有80–120KG可用）。这是一个实时系统，因此你只需很少的时间来推断模型，例如100微秒。你的目标是改善算法或替换算法。
祝你好运，欢迎来到“嵌入式AI”的世界。
重点：真正的嵌入式世界，由资源极其有限的 1-2 美元芯片组成。而生产级别的产品使用的就是这种芯片。
2020年软硬件有什么值得学习的新技术
编程语言
当我们谈及编写围绕硬件层运行的代码时，最常提起的就是C语言。25年前，当我们从汇编语言过渡到C语言时，整个过程非常缓慢，且需求很高。如果你想进入嵌入式编程领域，那么2020年C以及C++仍然是你应该重点学习的编程语言。
如果你想尝试嵌入式编程，那么可以从下面几个方面着手：
Learn-c.org 是 Ron Reiter 的私人项目。虽然这个项目与嵌入式或硬件的关系不大，但作为C语言入门还是很不错的。
就我个人而言，实际操作才是最佳的学习途径。所以，你也可以买一个微处理器，实际接触硬件，亲眼看到实际结果才是你最应该做的事情。你可以购买 Arduino 等流行的处理器，然后从一个小项目开始，真正了解硬件的工作原理。
阅读书籍和文档是最关键的学习方式。你可以根据自己选择的方向（嵌入式系统、固件开发、驱动程序开发等），选择相应的书籍。
除了C/C++之外，该领域没有真正占据实际市场份额的编程语言，但是下面的新起之秀值得关注。
Rust
今年我一定要把学习 Rust 提上日程。有传言说 Rust 是从C发展而来的，Rust 将在很多应用领域广泛取代C。Rust 在嵌入式领域的发展非常迅速。如果我们比较 StackOverflow 网站上有关C、Rust 和 Assembly 的提问，就可以看到2019年有关 Rust 的问题数超过了 Assembly，而C在过去几年中略有下降。
相对于C，Rust 有几大优势，最大的优势之一就在于内存的安全性。Medium 网站上有很多关于 Rust 的文章，你可以通过阅读了解 Rust 的所有优势。此外，Rust 可以在许多微控制器上运行，这个 GitHub 代码库中汇总了大量信息。
如果你想学习 Rust，那么我强烈建议你访问 Rust 主页。这个网站提供了大量的入门文档和教程。还有这本书《The Rust Programming Language》也是很好的起点。Rust 网站专门提供了有关嵌入式的说明，可以帮助你了解嵌入式设备上的 Rust 编程。
Golang
Golang？Golang！Golang 这种编程语言的潜力也超过了你的想象。目前，它主要运行在用户空间，可以替代 Ruby 等后端语言，或用作用户空间的应用程序，因为它拥有良好的多处理器支持。
不过，我相信 Golang 会慢慢进入底层的编程。目前，它已应用在固件开发中，用于开发引导程序。随着嵌入式设备上的 RAM、ROM 和 Flash 的容量不断增大，将来也有可能在嵌入式设备上运行 Golang。 对于每位嵌入式系统程序员来说，Golang 绝对值得一试，而希望参与固件开发的人则必须学习 Golang。
硬件
除了编程语言之外，硬件设计方面也有一些有趣的趋势。我想提及的第一件事情是：RISC-V。
RISC-V
RISC-V 是一种开源硬件指令集体系结构。它基于精简指令集计算机原理，即所谓的 RISC。与 Arm 相比，制造商不需要支付许可费用即可使用 RISC-V。
面向服务器和消费者的硬件大多采用了x86硬件。我认为 RISC-V 不会很快在这部分市场中赢得份额，但是它有可能应用于其他几个市场。路由器和交换机等嵌入式设备以及智能手机制造商或物联网设备都可能切换到 RISC-V 架构。
现在市场已有 RISC-V 的威廉希尔官方网站
板，虽然价格仍然偏高，但值得关注。例如，眼前我的办公桌上的这块就是 SiFive HiFive Board。
big.LITTLE
最后我想谈谈 big.LITTLE 架构。最初它是由 ARM 发明的。原理是将低功耗的处理器（LITTLE）与功能强大、高功耗的（big）处理器相结合。同一时间内， LITTLE 或 big 只有一侧处于活动状态。这种架构应该能够更好地适应当今的动态计算需求。
这并不是一个新想法，ARM 于2011年就提出了此项建议。但是似乎其他制造商也对 big.LITTLE 跃跃欲试。英特尔于2019年预览的英特尔 Lakefield 异构处理器就采用了 big.LITTLE 架构。
除了这些还要学什么？
1、打好嵌入式编程的基础
这一阶段重点打好嵌入式软件编程的基础，包括学习Linux系统的基本应用，Linux的常用命令、C语言编程基础、常用的数据结构。
特别是C语言中对指针的理解和应用。这一阶段的主要目的是学习编程语言、开发环境、和培养自己的编程思维，为进一步学习嵌入式开发打下良好的基础。
这一阶段推荐的嵌入式学习书籍如下：《C程序设计语言》，《C语言核心技术》，《数据结构与算法分析－－C语言描述》，《C和指针》，《C陷阱与缺陷》，《C＋＋ Primer》
当然，现在讲求的是软硬结合的时代，除了C语言最好还会这些东西：
- 看懂威廉希尔官方网站
图
- 看懂芯片手册
- 有编写，移植驱动的能力
- 懂内核的实现机制
- 懂C语言，C++, JAVA等
2、学习ARM体系结构编程
这一阶段才是真正的嵌入式编程，首先我们要选择一款嵌入式CPU和一款嵌入式开发平台，目前ARM 嵌入式CPU应用最广泛，这一阶段重点是学习嵌入式CPU的裸机编程，熟悉中断、定时器、串口、NAND FLASH、网络控制器、LCD屏、触摸屏等常用嵌入式外围设备的硬件工作原理，以及如何使用C语言来编程、控制这些硬件。这一阶段除了要学习对硬件编程之外，还需要学习嵌入式硬件的知识，但是对于嵌入式软件工程师来讲，重点是学习硬件的工作原理，在掌握硬件工作原理的基础上，对硬件进行编程控制。这和硬件工程师学习的侧重点有所不同。这一阶段对应的学校的课程主要包括模拟威廉希尔官方网站
、数字威廉希尔官方网站
、微机原理和单片机。这一阶段重点是要看CPU的芯片手册，大部分的参考书也是对芯片手册的翻译。
推荐的参考书籍如下：
- 《微机原理》，可以理解一个计算机的组成原理
- 《数字威廉希尔官方网站
》，掌握一些逻辑运算，理解各种门威廉希尔官方网站
的原理
- 《ARM体系结构与编程》，对ARM的运行原理解释的很到位
3、学习嵌入式系统的构建
这一阶段主要学习带有操作系统的嵌入式系统的构建，包括系统的启动流程、Bootloader的工作流程、UBOOT的编译、裁剪与移植、嵌入式Linux内核的裁剪、移植与编译，嵌入式根文件系统的定制、BootLoader、内核和根文件系统的烧写。这一阶段的主要目的是掌握带有操作系统的嵌入式系统的构建和烧写过程，以及对嵌入式系统软件的总体构成有个整体认识，为我们接下来学习嵌入式应用和驱动开发打下坚实的基础。
这一阶段推荐的书籍如下：《构建嵌入式Linux核心软件系统实战》
本课程会涉及到以下知识点：
- Linux总线，设备，驱动模型的探究
- Linux设备树的深入理解
- Linux的启动流程
- Linux设备和驱动的相遇
- 动手定制一个开发板
4、学习嵌入式Linux应用程序开发
这一阶段主要学习上层的嵌入式Linux应用程序开发，包括基于Linux多进程、多线程、网络、文件与目录和QT编程。掌握嵌入式Linux环境下应用程序开发技术。
这一阶段推荐的书籍有： 《UNIX环境高级编程》， 《Unix网络编程》，《Qt Creatｏｒ快速入门》， 《精通Qt4编程》
5、学习嵌入式Linux驱动程序开发
这一阶段主要学习底层嵌入式Linux设备驱动程序开发设计，包括常用的字符设备驱动、块设备驱动、LCD设备驱动、触摸屏设备驱动以及驱动程序开发中的核心技术。
这一阶段推荐的参考书籍有：《Linux设备驱动程序》，《Linux设备驱动开发详解》
关于驱动的内容暂定如下：
- LCD驱动程序
- 触摸屏驱动程序
- USB驱动程序
- NAND FLASH驱动程序
- NOR FLASH驱动程序
- 网卡驱动程序
- 声卡驱动程序
6、根文件系统
在开发应用程序时，也需要搭建文件系统，把各种库、配置文件放进去；在发布产品时，你还需要修改配置文件，使得产品可以自动运行程序；甚至你想实现插上U盘后自动启动某个程序，这也要要修改配置文件；这一切，都需要你理解根文件系统的构成，理解内核启动后是根据什么配置文件来启动哪些应用程序。根文件系统相对比较简单，可以根据以下路线学习：
- Linux根文件系统目录结构
- 移植Busybox
- init进程介绍及用户程序启动过程
- 使用glibc库
- 制作/使用文件系统映象文件
7、完成一个综合项目
嵌入式技术关键在于理论和实践的结合，要能够学以致用，完成了以上的所有阶段的知识点学习后，到底有没有学会，会不会用，能不能应用所学知识来解决实际开发中的问题，我们需要来完成一个综合的嵌入式实训项目，例如：基于嵌入式Linux平台实现的飞行器、 基于嵌入式Linux平台实现的智能机器人等，这些项目都综合应用了嵌入式开发当中的应用，驱动和QT开发技术。
先搞清楚什么是嵌入式
我们已经习惯了使用强大的计算能力来处理机器学习，那么嵌入式是这样的吗？我们先和机器学习比一比。
AlexNet 需要727MFlops的运算能力（Flops=浮点运算）以及235Mb的内存才能处理小小的一张227 x 227像素的图像。例如，Google Nexus S上的 ARM Cortex-A8的处理能力为每秒 66MFlops。因此，你必须等待大约 11 秒才能进行推断。这也太慢了！
大学里我上了几门与机器学习相关的课程。我们做了很多有趣的作业。但是当时即便是4GB GTX1050也不足以训练所有模型。
一般的机器学习工程师很少考虑计算资源。而且他们也很少关心内存的使用情况。为什么？因为这些硬件都很便宜，甚至是你的手机都拥有相当不错的CPU和大量内存。
你已经很久没有过聚会拍照时发现自己手机上的存储不够的情况了吧？想象一下，你使用的是只有256KB闪存的TrueTouch感应控制器。没错，只有 256KB。而且由于固件占用了一部分， 因此你不能完全使用这点存储。算下来，你能使用的也就是大约100KB。回头再看看你的上一个模型的大小。可能比这个大多了。
有意思吧？我们来继续看。
当听到“嵌入式设备”时你会想起什么？记住脑海中出现的第一印象。
1. 嵌入式设备可以是任何电动机械，甚至是微波炉和洗衣机
没错，你答对了！
如今，几乎所有的电气设备都是嵌入式的。这些设备内部可能拥有一个或多个控制器来负责每个功能：触摸感应、发动机状态监控等。
2. Arduino 和树莓派
恭喜你，再次答对了！
二者是 DIY 项目中最受欢迎和使用最广泛的工具包之一。它们也是嵌入式设备。
3. Jetson Nano 及类似的产品
再次回答正确。
这是一种特殊的开发套件，简称迷你计算机，专门为运行机器学习模型而开发。它非常强大，而且非常酷。
但似乎有些不对。
我有很多朋友都在做一些很棒的硬件业余项目。通常他们会使用Arduino或 STM32。
我认识几个AI工程师对Jetson Nano和类似设备超有兴趣。他们认为这些设备是嵌入式AI的未来。
那么，接下来请考虑这样一个问题：“这些设备有多少用在了生产级别的产品中？”
答案：微乎其微
想一想你家中有多少电气设备，然后再想想汽车中包含的大量控制器，以及工作上用到的安保系统，等等。
每个设备都有一个控制器。通常，这些控制器都是微型，且超级便宜。它们根本无法企及 Jetson 或树莓派的资源和功能。
假设你有一个微控制器。它的主要任务是处理手指触摸屏幕。它拥有ARM Cortex-M0处理器，256KB内存（其中只有80–120KG可用）。这是一个实时系统，因此你只需很少的时间来推断模型，例如100微秒。你的目标是改善算法或替换算法。
祝你好运，欢迎来到“嵌入式AI”的世界。
重点：真正的嵌入式世界，由资源极其有限的 1-2 美元芯片组成。而生产级别的产品使用的就是这种芯片。
2020年软硬件有什么值得学习的新技术
编程语言
当我们谈及编写围绕硬件层运行的代码时，最常提起的就是C语言。25年前，当我们从汇编语言过渡到C语言时，整个过程非常缓慢，且需求很高。如果你想进入嵌入式编程领域，那么2020年C以及C++仍然是你应该重点学习的编程语言。
如果你想尝试嵌入式编程，那么可以从下面几个方面着手：
Learn-c.org 是 Ron Reiter 的私人项目。虽然这个项目与嵌入式或硬件的关系不大，但作为C语言入门还是很不错的。
就我个人而言，实际操作才是最佳的学习途径。所以，你也可以买一个微处理器，实际接触硬件，亲眼看到实际结果才是你最应该做的事情。你可以购买 Arduino 等流行的处理器，然后从一个小项目开始，真正了解硬件的工作原理。
阅读书籍和文档是最关键的学习方式。你可以根据自己选择的方向（嵌入式系统、固件开发、驱动程序开发等），选择相应的书籍。
除了C/C++之外，该领域没有真正占据实际市场份额的编程语言，但是下面的新起之秀值得关注。
Rust
今年我一定要把学习 Rust 提上日程。有传言说 Rust 是从C发展而来的，Rust 将在很多应用领域广泛取代C。Rust 在嵌入式领域的发展非常迅速。如果我们比较 StackOverflow 网站上有关C、Rust 和 Assembly 的提问，就可以看到2019年有关 Rust 的问题数超过了 Assembly，而C在过去几年中略有下降。
相对于C，Rust 有几大优势，最大的优势之一就在于内存的安全性。Medium 网站上有很多关于 Rust 的文章，你可以通过阅读了解 Rust 的所有优势。此外，Rust 可以在许多微控制器上运行，这个 GitHub 代码库中汇总了大量信息。
如果你想学习 Rust，那么我强烈建议你访问 Rust 主页。这个网站提供了大量的入门文档和教程。还有这本书《The Rust Programming Language》也是很好的起点。Rust 网站专门提供了有关嵌入式的说明，可以帮助你了解嵌入式设备上的 Rust 编程。
Golang
Golang？Golang！Golang 这种编程语言的潜力也超过了你的想象。目前，它主要运行在用户空间，可以替代 Ruby 等后端语言，或用作用户空间的应用程序，因为它拥有良好的多处理器支持。
不过，我相信 Golang 会慢慢进入底层的编程。目前，它已应用在固件开发中，用于开发引导程序。随着嵌入式设备上的 RAM、ROM 和 Flash 的容量不断增大，将来也有可能在嵌入式设备上运行 Golang。 对于每位嵌入式系统程序员来说，Golang 绝对值得一试，而希望参与固件开发的人则必须学习 Golang。
硬件
除了编程语言之外，硬件设计方面也有一些有趣的趋势。我想提及的第一件事情是：RISC-V。
RISC-V
RISC-V 是一种开源硬件指令集体系结构。它基于精简指令集计算机原理，即所谓的 RISC。与 Arm 相比，制造商不需要支付许可费用即可使用 RISC-V。
面向服务器和消费者的硬件大多采用了x86硬件。我认为 RISC-V 不会很快在这部分市场中赢得份额，但是它有可能应用于其他几个市场。路由器和交换机等嵌入式设备以及智能手机制造商或物联网设备都可能切换到 RISC-V 架构。
现在市场已有 RISC-V 的威廉希尔官方网站
板，虽然价格仍然偏高，但值得关注。例如，眼前我的办公桌上的这块就是 SiFive HiFive Board。
big.LITTLE
最后我想谈谈 big.LITTLE 架构。最初它是由 ARM 发明的。原理是将低功耗的处理器（LITTLE）与功能强大、高功耗的（big）处理器相结合。同一时间内， LITTLE 或 big 只有一侧处于活动状态。这种架构应该能够更好地适应当今的动态计算需求。
这并不是一个新想法，ARM 于2011年就提出了此项建议。但是似乎其他制造商也对 big.LITTLE 跃跃欲试。英特尔于2019年预览的英特尔 Lakefield 异构处理器就采用了 big.LITTLE 架构。
除了这些还要学什么？
1、打好嵌入式编程的基础
这一阶段重点打好嵌入式软件编程的基础，包括学习Linux系统的基本应用，Linux的常用命令、C语言编程基础、常用的数据结构。
特别是C语言中对指针的理解和应用。这一阶段的主要目的是学习编程语言、开发环境、和培养自己的编程思维，为进一步学习嵌入式开发打下良好的基础。
这一阶段推荐的嵌入式学习书籍如下：《C程序设计语言》，《C语言核心技术》，《数据结构与算法分析－－C语言描述》，《C和指针》，《C陷阱与缺陷》，《C＋＋ Primer》
当然，现在讲求的是软硬结合的时代，除了C语言最好还会这些东西：
- 看懂威廉希尔官方网站
图
- 看懂芯片手册
- 有编写，移植驱动的能力
- 懂内核的实现机制
- 懂C语言，C++, JAVA等
2、学习ARM体系结构编程
这一阶段才是真正的嵌入式编程，首先我们要选择一款嵌入式CPU和一款嵌入式开发平台，目前ARM 嵌入式CPU应用最广泛，这一阶段重点是学习嵌入式CPU的裸机编程，熟悉中断、定时器、串口、NAND FLASH、网络控制器、LCD屏、触摸屏等常用嵌入式外围设备的硬件工作原理，以及如何使用C语言来编程、控制这些硬件。这一阶段除了要学习对硬件编程之外，还需要学习嵌入式硬件的知识，但是对于嵌入式软件工程师来讲，重点是学习硬件的工作原理，在掌握硬件工作原理的基础上，对硬件进行编程控制。这和硬件工程师学习的侧重点有所不同。这一阶段对应的学校的课程主要包括模拟威廉希尔官方网站
、数字威廉希尔官方网站
、微机原理和单片机。这一阶段重点是要看CPU的芯片手册，大部分的参考书也是对芯片手册的翻译。
推荐的参考书籍如下：
- 《微机原理》，可以理解一个计算机的组成原理
- 《数字威廉希尔官方网站
》，掌握一些逻辑运算，理解各种门威廉希尔官方网站
的原理
- 《ARM体系结构与编程》，对ARM的运行原理解释的很到位
3、学习嵌入式系统的构建
这一阶段主要学习带有操作系统的嵌入式系统的构建，包括系统的启动流程、Bootloader的工作流程、UBOOT的编译、裁剪与移植、嵌入式Linux内核的裁剪、移植与编译，嵌入式根文件系统的定制、BootLoader、内核和根文件系统的烧写。这一阶段的主要目的是掌握带有操作系统的嵌入式系统的构建和烧写过程，以及对嵌入式系统软件的总体构成有个整体认识，为我们接下来学习嵌入式应用和驱动开发打下坚实的基础。
这一阶段推荐的书籍如下：《构建嵌入式Linux核心软件系统实战》
本课程会涉及到以下知识点：
- Linux总线，设备，驱动模型的探究
- Linux设备树的深入理解
- Linux的启动流程
- Linux设备和驱动的相遇
- 动手定制一个开发板
4、学习嵌入式Linux应用程序开发
这一阶段主要学习上层的嵌入式Linux应用程序开发，包括基于Linux多进程、多线程、网络、文件与目录和QT编程。掌握嵌入式Linux环境下应用程序开发技术。
这一阶段推荐的书籍有： 《UNIX环境高级编程》， 《Unix网络编程》，《Qt Creatｏｒ快速入门》， 《精通Qt4编程》
5、学习嵌入式Linux驱动程序开发
这一阶段主要学习底层嵌入式Linux设备驱动程序开发设计，包括常用的字符设备驱动、块设备驱动、LCD设备驱动、触摸屏设备驱动以及驱动程序开发中的核心技术。
这一阶段推荐的参考书籍有：《Linux设备驱动程序》，《Linux设备驱动开发详解》
关于驱动的内容暂定如下：
- LCD驱动程序
- 触摸屏驱动程序
- USB驱动程序
- NAND FLASH驱动程序
- NOR FLASH驱动程序
- 网卡驱动程序
- 声卡驱动程序
6、根文件系统
在开发应用程序时，也需要搭建文件系统，把各种库、配置文件放进去；在发布产品时，你还需要修改配置文件，使得产品可以自动运行程序；甚至你想实现插上U盘后自动启动某个程序，这也要要修改配置文件；这一切，都需要你理解根文件系统的构成，理解内核启动后是根据什么配置文件来启动哪些应用程序。根文件系统相对比较简单，可以根据以下路线学习：
- Linux根文件系统目录结构
- 移植Busybox
- init进程介绍及用户程序启动过程
- 使用glibc库
- 制作/使用文件系统映象文件
7、完成一个综合项目
嵌入式技术关键在于理论和实践的结合，要能够学以致用，完成了以上的所有阶段的知识点学习后，到底有没有学会，会不会用，能不能应用所学知识来解决实际开发中的问题，我们需要来完成一个综合的嵌入式实训项目，例如：基于嵌入式Linux平台实现的飞行器、 基于嵌入式Linux平台实现的智能机器人等，这些项目都综合应用了嵌入式开发当中的应用，驱动和QT开发技术。
举报
更多回帖
举报
