英创信息技术Linux工控主板的高速大容量存储方案简介

英创公司针对目前销售的工控主板，都推出了一些扩展存储的方案，比如所有型号的板卡都可以通过usb外接存储器件（U盘、移动硬盘等），还有大部分的主板都可以支持TF卡，所以也可以根据实际需求使用相应大小的TF卡。同时i.MX6系列的主板ESM6800H、ESM6800V、ESM6802以及即将推出i.MX7系列主板都已经板载了4GB大小的EMMC，根据实际测试，板载的EMMC存储读盘速度最高可达78MB/s，写盘速度最高为29MB/s，而常用的TF卡（SDHC格式，最大32GB）读盘速度最高约10M/s，写盘速度最高为4.3MB/s，尽管这些存储方式已可以满足大部分常规的应用需求，但对一些对存储容量、存储速度有特殊要求的应用，就显得不够了。

本文将介绍一种基于英创主板的PCIe接口的高速大容量存储方案。经过实际的评估和测试，本方案可完全满足客户对于存储大小和速度有特殊要求的应用。目前能够支持PCIe接口的主板包括Cortex-A9双核的ESM6802G（V2.2以上版本）和基于Cortex-A7双核的ESM7100（基于i.MX7D）。主板如下图所示：

ESM7100                                                                           ESM6802G

本方案使用的是符合NVMe规范的M.2接口固态硬盘。M.2接口前身为Next Generation Form Factor (NGFF)，是一种计算机内部扩展卡及相关连接器规范，M.2有两种接口定义：Socket 2和Socket 3。Socket 2支持SATA、PCI-EX2通道的SSD，Socket 3专为高性能存储设计，支持PCI-EX4，而主板支持的是Socket3类型。NVMe（NVM express）为易失性内存主机控制器接口规范，该规范依托于PCIe总线，比起SATA3的AHCI规范性能有着较大的提升，所以使用主板的PCIe总线配合Socket3类型的M.2接口就能够和符合NVMe规范的固态硬盘链接。

为了方便客户评估，ESMARC通用评估底板（V9.0及以上版本）上将增加支持NVME协议的M.2接口，用户可以将固态硬盘直接连上方便的进行测试。固态硬盘的尺寸比较常见的有两种，宽度都为统一的22mm，长度一种是42mm规格称为2242，另一种为80mm规格称为2280，在这次的测试中就选择了一款三星2280的固态硬盘进行测试。另外，在选择固态硬盘的时候需要注意，主板支持的M.2的Socket3接口类型都是M-key，有一些固态硬盘是B-key类型的接口，这种类型是不能在英创的板卡上使用的，可以参考下图：

M key和B key的区别

ESM6802G主板上的PCIe总线为1.0版本，理论最高传输速度为250 MB/s，ESM7100主板的PCIe总线为2.0标准，理论最高速度为500MB/s。本次测试选择ESM6802G作为平台，而固态硬盘选用了一款128GB大小的SSD，硬件连接非常简单，如下图：

固定好后即可进行上电，一旦PCIe总线识别到M.2存储设备，系统会自动加载驱动模块，如果没有自动加载输入命令modprobe nvme即可。进入系统后可以使用lspci命令查看PCIe总线下的设备，这时在终端应该能看到有固态硬盘的设备信息，同时驱动加载后在/dev目录下应该会生成相应的设备节点，因为是使用的nvme驱动，所以设备节点会以nvme开头：

SSD设备信息

如果是新的硬盘没有分区，只会看到nvme0和nvme0n1两个设备节点，可以使用fdisk或者sfdisk命令操作nvme0n1设备节点进行分区操作，具体的分区操作可以查询这两个命令的详细使用方法。如果只有一个分区，就会和上图一样，多出现一个nvme0n1p1节点，多个分区的话就会有多个设备节点，即nvme0n1pn1～nvme0n1pn。对于存储容量较大的设备，建议客户使用ext4格式的文件系统，ext4为日志型的文件系统，在每次文件系统操作的时候都会生成相应的日志，一旦出现实际内容和日志不匹配，就会通过日志内容进行恢复，安全性很高，是目前Linux系统中使用最广泛的文件系统。格式化ext4文件系统可以使用mkfs.ext4命令，参数为对应的分区设备节点，比如要把上图中的分区格式化为ext4，输入命令mkfs.ext4 /dev/ nvme0n1p1即可：

制作ext4分区

文件系统格式制作好之后，可以通过mount命令挂载到需要的目录下，这样就能通过访问这个目录来访问主板连接的固态硬盘了，mount会自动识别ext4格式，所以不需要修改文件系统格式，只需要对应的设备节点和挂载目录即可，以这次的测试为例，把固态硬盘挂载到/mnt/nvme这个目录下，使用命令mount /dev/nvme0n1p1 /mnt/nvme，挂载好之后，可以使用df –h命令查看空间大小：

挂载SSD

可以看到硬盘总的大小为118GB，这个时候在/mnt/nvme这个目录中读取或者写入文件，就相当于在固态硬盘中读取和写入文件了。接下来测试ESM6802G上连接固态硬盘的读写速度，使用的测试工具为fio，这是一款专业测试固态硬盘的工具，因为fio的使用较为灵活需要设置的参数较多，这里就不一一介绍了，有兴趣的客户可以查询fio命令的详细资料来了解。首先测试读取速度，设置读取块大小为64K，队列深度为32，测试大小为5GB，采用顺序读取的方式，并且绕过系统缓存，测试结果如下：

测试顺序读

可以看到顺序读的速度为160MB/s，这应该是可达到的最高读取速度，接下来测试随机读取的速度，其他的参数都不改变：

测试随机读取

根据上图的结果，随机读取的速度大约为140MB/s，对于随机读写还有个指标iops是比较重要的，这个参数代表了每秒的读取次数，但是这个参数仅仅是用来衡量硬盘本身的性能，所以在这里就不做参考了。然后是测试写盘速度，采用顺序写的方式，其他参数不变：

顺序写盘测试

根据上图结果，顺序写盘的速度大约为165MB/s，这也应该是可达到的最高写盘速度，最后测试随机写的性能，同样其他参数不变：

随机写盘测试

根据上图结果，随机写盘的速度大约为158MB/s。

最后总结一下测试结果，ESM6802G外接NVMe规范的M.2接口固态硬盘读写速度如下表：

测试平台	读写操作	测试文件	读写方式	测试结果
ESM6802G	读盘	5GB	顺序	160MB/s
ESM6802G	读盘	5GB	随机	140MB/s
ESM6802G	写盘	5GB	顺序	165MB/s
ESM6802G	写盘	5GB	随机	158MB/s
ESM7100	读盘	5GB	顺序	262MB/s
ESM7100	读盘	5GB	随机	262MB/s
ESM7100	写盘	5GB	顺序	284MB/s
ESM7100	写盘	5GB	随机	307MB/s

 

这个结果应该能够满足对读写速度要求很高的客户了，并且对于存储空间也没有太大的限制，从128GB到1TB的存储空间都有很多硬盘模块可以选择。在体积上采用NVMe规范的硬盘比SATA接口的硬盘要小很多，可以通过固定孔方便的固定在底板上，非常适合作为嵌入式设备，目前我们也已经测试过了一些硬盘，下图是测试通过的硬盘，供客户在购买硬盘的时候参考：

有兴趣的客户可以和英创公司的工程师联系，了解更详细的情况。