H.264/AVC是ITU-T视频编码专家组和ISO/IEC运动图象专家组联合提出的新一代视频编码标准。在相同的条件下，与MPEG-1、MPEG-2、H.263、MPEG-4等标准相比，H.264/AVC能够减少50%的码流。但是，H.264的高编码效率是以高运算量和高复杂度为代价的。
本文采用具有较高运算速度和较强数据处理能力的DM642 EVM作为H.264视频编码器实现和优化的DSP硬件平台，实现了 H.264视频编码算法，并对算法程序进行了综合优化。实验结果表明，经过优化的 H.264视频编码器能保持较高的图象质量和压缩效率，并具有较好的实时性能。
2 H.264视频编码技术及DM642 EVM开发平台
2.1 H264视频编码技术
H.264压缩算法采用与H.263和MPEG-4类似的基于块的混和编码方法，采用帧内（Intra）和帧间（Inter）两种编码模式。为了提高编码效率、压缩比和图象质量，H.264采用了许多新的编码技术，这些技术主要有：
⑴ H.264标准压缩系统由视频编码层（VCL，Video Coding Layer）和网络抽象层（NAL，Network AbstracTIon Layer）两部分组成。
⑵ H.264采用帧内预测，昀大程度地减少图象的空间冗余信息。
⑶ H.264的帧间预测采用多帧参考帧（参考的个数为1～5）、高精度的内插算法（包括1/4和 1/8精度）、多种变形搜索块等新的方法，在很大程度上提高运动估计与补偿的效率。
⑷ 1/4、1/8象素精度的亚象素运动估计：对于QCIF视频格式使用1/4象素精度预测方式，对于CIF视频格式使用1/8象素精度预测方法。
⑸ 残差图象的4x4整数DCT变换技术，逆变换过程中没有匹配错误问题。
⑹ 新的环路滤波技术及熵编码技术等。
2.2 DM642 EVM开发平台DM642
EVM是TI推出的一款专门面向多媒体应用的开发平台，板上资源包括：DM642 CPU芯片、4M&TImes;64bit同步动态存储器（SDRAM）、4M&TImes;8bit FLASH存储器和一路视频编码和两路视频解码等，其结构如图1所示。DM642基于C64X内核，主频高达600MHz，采用超长指令字（VLIW）结构，每个指令周期可并行处理8条32位的指令，处理能力达4800MIPS；片上内存采用二级缓存Cache结构，L1由16KB的数据Cache L1D和16KB的程序Cache L1P组成，256KB的L2可配置成SRAM或Cache，大幅度提高了程序的运行性能；片内64位的EMIF（External MemoryInterface）接口可以与SDRAM、Flash等存储器件无缝连接，极大地方便了大量数据的搬移；DM642包括了3个专用的视频端口（VP0～VP2），用于接收、处理视频数据，提高了整个系统的性能；DM642自带的EMAC口以及从EMIF口扩展出来的ATA口，还为处理完成后产生的海量数据提供了存储通道。因此，实现H.264的视频算法，高性能的DM642 EVM是一个理想的硬件平台。
3 H.264视频编码器的实现与优化
3.1 编码器的实现
H.264视频编码器的实现有多种方法，不过大部分都是进行移植、优化的操作。H.264代码要在DSP的软件平台CCS环境下运行，需要注意几个问题：如配置文件、库文件的改动、数据类型的调整、汇编程序的处理、内存终结模式的调整等。
H.264编码采用变换和预测的混合编码方法，其原理如图2所示。输入帧或者场Fn以宏块为单位被编码器处理，即将图象分成子图象块，以子图象块作为编码单元。当采用帧内预测编码时，预测值P是由当前片中已编码的参考图象经过运动补偿（MC）后得出的，其中参考图象用F1n-1表示；为了提高预测精度，从而提高压缩比，实际的参考图象可在过去或未来已编码解码重建和滤波的帧中选择。预测值P和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变化系数X，再经过熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流，经过NAL供传输和存储用。
3.2 内存分配及Cache优化
与PC机相比，DSP的程序数据存储空间非常有限。因此，对于视频编码这种需要处理大量数据的程序而言，必须合理安排数据和程序的存储方式，实现对存储器的优化。实验表明，合理利用两级缓存并配合低工作频率外部存储器，系统的效率能达到全部使用高工作频率内部存储器的80％～90％。
本文将占据较大空间的数据或使用频率不高的程序放在片外存储器中，启用L2 Cache，调用C6000的芯片支持库CSL中的CACHE-setL2Mode函数，将L2设置为198KB的SRAM和64KB的Cache模式。并根据H.264算法本身的结构，采取以下方法对存储器进行优化：利用CCS的分析工具Profile分析C代码，将反复调用的程序段（例如DCT变换和IDCT变换）放在片内程序存储区中，把频繁用到的数据段（如编码表）放在片内数据存储器中，把运用次数较少的程序和数据段放在片外存储器中，避免对程序或数据进行不必要的反复搬移。
在H.264编码器运行过程中，由于一帧图象的数据量很大，因此将参考帧和当前帧数据放到片外存储器中，需要用到时，再将它们从外部存储器搬到片内存储器中，以提高程序的运行效率。
3.3 代码优化
进行代码优化，先要找出程序的瓶颈，即占用CPU时间较多的代码，然后对其进行有针对性的优化。使用CCS提供的代码剖析工具Profile可以统计显示出程序中各个重要段和函数的运行时间，找出运算量较大的程序段，优化这些程序段，对于提高算法的性能有巨大影响。
⑴ 联合使用-pm和-03编译选项，对代码进行项目级的优化：CCS提供了强大功能的编译选项，从-O0到-O3共四级优化。-O3编译选项使能软件流水和其他优化方法，-pm选项从程序代码角度，把整个项目的所有源程序联合起来，作为一个模块来处理。-pm和-03两个选项联合使用，能进行一系列的优化，并且代码尺寸变小很多。
⑵ 使用const、restrict 关键字修饰指针：const指示编译器其修饰的指针所指向的内容不能修改；restrict指示编译器其修饰的指针与其他指针指向的内容不会覆盖，这些信息使两个指针不会访问同一存储器地址，可以消除存储器之间的相关性，这样可以并行执行多个数据的读取和运算，使代码运行达到昀大效率。
⑶ 对短字长数据使用宽长度的存储器访问（数据打包处理）：即当CPU执行一连串短型数据（如16bit数据）操作时，可将数据类型设置为32bit长度的int型，这样可以一次性访问2个短型数据，然后使用C6000指令，同时进行两个数据的操作，减少了对内存的访问，这比采用16bit长度short型节约一半的时间。
⑷ 循环展开，把C语言中的循环打开，把多循环变为少循环，减少循环嵌套，使得可能并行的指令增加，从而改进软件流水编排，改善代码性能。
⑸ 减少C函数的调用，尽量使用系统提供的内联函数（intrinsics函数）代替C函数，C6000编译器提供了许多intrinsics，是直接与C6000汇编指令映射的在线函数，可以快速优化C代码，这样减少许多不必要的操作，提高代码运算速度。
⑹ 使用软件流水技术，软件流水是一种对循环中的指令进行调度优化的技术，利用软件流水可生成非常紧凑的循环代码。当编译时采用-O2或-O3级别的优化选项时，编译器将对程序中的循环进行软件流水。通过软件流水的优化，可以大大提高循环代码的效率，极大地实现指令的并行性。
3.4 汇编程序级优化
通过 profile clock工具找出效率很低的部分，使用线形汇编继续优化。线性汇编语言是 C6000系列 DSP独有的一种编程语言，介于高级语言和低级语言之间。和标准的汇编语言不同的是，在编写线性汇编程序时可不必考虑指令的延时、指令的并行、寄存器的使用和功能单元的分配等，汇编优化器将根据代码的情况自动确定这些信息。汇编程序优化可通过对自动编译生成的汇编文件进行修改而进行。汇编优化其实就是根据以上各个方面的特点，采取针对性的方法，以获得尽可能高的程序效率。常用的汇编伪指令如下：
⑴ 定义一个可被汇编优化器优化且可被 C/C++当做函数调用的线性汇编代码段的伪指令：
label .cproc ［ var1，［var2，…］ ］
.endproc
⑵ 定义一个可被汇编优化器优化的线性汇编代码段的伪指令：
label .proc ［ reg1，［reg2，…］ ］
.endproc ［ reg1，［reg2，…］ ］
线性汇编优化时还需要考虑以下几个方面：① 平均分配使用功能单元，提高代码的并
行度。② 使流水线核心循环的时钟周期数昀小。
4 实验结果
经过以上各种算法优化后，基于DSP硬件平台DM642 EVM的H.264编码算法的性能得到了极大提高。实验中采用Foreman、Container、News三个H.264标准测试序列，分别代表高、中、低运动格式，采用IPP编码模式，对优化前后的算法进行了测试。
表3给出了优化前后对各种标准测试序列进行编码后的测试结果，算法优化在保证图象质量的前提下，极大提高了编码速度，视频图象较好地实现了实时性编码要求。
本文重点探讨了H.264视频编码算法在DM642 EVM硬件平台上的实现和优化，经过优化后算法具有较好的实现性和实时性。在此基础上，还可以在调整代码结构方面进行优化，使其更加适合DSP的指令系统。此外还可以更合理的利用TMS320DM642芯片的结构和丰富的外部接口，更高效的实现编解码器算法。
H.264/AVC是ITU-T视频编码专家组和ISO/IEC运动图象专家组联合提出的新一代视频编码标准。在相同的条件下，与MPEG-1、MPEG-2、H.263、MPEG-4等标准相比，H.264/AVC能够减少50%的码流。但是，H.264的高编码效率是以高运算量和高复杂度为代价的。
本文采用具有较高运算速度和较强数据处理能力的DM642 EVM作为H.264视频编码器实现和优化的DSP硬件平台，实现了 H.264视频编码算法，并对算法程序进行了综合优化。实验结果表明，经过优化的 H.264视频编码器能保持较高的图象质量和压缩效率，并具有较好的实时性能。
2 H.264视频编码技术及DM642 EVM开发平台
2.1 H264视频编码技术
H.264压缩算法采用与H.263和MPEG-4类似的基于块的混和编码方法，采用帧内（Intra）和帧间（Inter）两种编码模式。为了提高编码效率、压缩比和图象质量，H.264采用了许多新的编码技术，这些技术主要有：
⑴ H.264标准压缩系统由视频编码层（VCL，Video Coding Layer）和网络抽象层（NAL，Network AbstracTIon Layer）两部分组成。
⑵ H.264采用帧内预测，昀大程度地减少图象的空间冗余信息。
⑶ H.264的帧间预测采用多帧参考帧（参考的个数为1～5）、高精度的内插算法（包括1/4和 1/8精度）、多种变形搜索块等新的方法，在很大程度上提高运动估计与补偿的效率。
⑷ 1/4、1/8象素精度的亚象素运动估计：对于QCIF视频格式使用1/4象素精度预测方式，对于CIF视频格式使用1/8象素精度预测方法。
⑸ 残差图象的4x4整数DCT变换技术，逆变换过程中没有匹配错误问题。
⑹ 新的环路滤波技术及熵编码技术等。
2.2 DM642 EVM开发平台DM642
EVM是TI推出的一款专门面向多媒体应用的开发平台，板上资源包括：DM642 CPU芯片、4M&TImes;64bit同步动态存储器（SDRAM）、4M&TImes;8bit FLASH存储器和一路视频编码和两路视频解码等，其结构如图1所示。DM642基于C64X内核，主频高达600MHz，采用超长指令字（VLIW）结构，每个指令周期可并行处理8条32位的指令，处理能力达4800MIPS；片上内存采用二级缓存Cache结构，L1由16KB的数据Cache L1D和16KB的程序Cache L1P组成，256KB的L2可配置成SRAM或Cache，大幅度提高了程序的运行性能；片内64位的EMIF（External MemoryInterface）接口可以与SDRAM、Flash等存储器件无缝连接，极大地方便了大量数据的搬移；DM642包括了3个专用的视频端口（VP0～VP2），用于接收、处理视频数据，提高了整个系统的性能；DM642自带的EMAC口以及从EMIF口扩展出来的ATA口，还为处理完成后产生的海量数据提供了存储通道。因此，实现H.264的视频算法，高性能的DM642 EVM是一个理想的硬件平台。
3 H.264视频编码器的实现与优化
3.1 编码器的实现
H.264视频编码器的实现有多种方法，不过大部分都是进行移植、优化的操作。H.264代码要在DSP的软件平台CCS环境下运行，需要注意几个问题：如配置文件、库文件的改动、数据类型的调整、汇编程序的处理、内存终结模式的调整等。
H.264编码采用变换和预测的混合编码方法，其原理如图2所示。输入帧或者场Fn以宏块为单位被编码器处理，即将图象分成子图象块，以子图象块作为编码单元。当采用帧内预测编码时，预测值P是由当前片中已编码的参考图象经过运动补偿（MC）后得出的，其中参考图象用F1n-1表示；为了提高预测精度，从而提高压缩比，实际的参考图象可在过去或未来已编码解码重建和滤波的帧中选择。预测值P和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变化系数X，再经过熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流，经过NAL供传输和存储用。
3.2 内存分配及Cache优化
与PC机相比，DSP的程序数据存储空间非常有限。因此，对于视频编码这种需要处理大量数据的程序而言，必须合理安排数据和程序的存储方式，实现对存储器的优化。实验表明，合理利用两级缓存并配合低工作频率外部存储器，系统的效率能达到全部使用高工作频率内部存储器的80％～90％。
本文将占据较大空间的数据或使用频率不高的程序放在片外存储器中，启用L2 Cache，调用C6000的芯片支持库CSL中的CACHE-setL2Mode函数，将L2设置为198KB的SRAM和64KB的Cache模式。并根据H.264算法本身的结构，采取以下方法对存储器进行优化：利用CCS的分析工具Profile分析C代码，将反复调用的程序段（例如DCT变换和IDCT变换）放在片内程序存储区中，把频繁用到的数据段（如编码表）放在片内数据存储器中，把运用次数较少的程序和数据段放在片外存储器中，避免对程序或数据进行不必要的反复搬移。
在H.264编码器运行过程中，由于一帧图象的数据量很大，因此将参考帧和当前帧数据放到片外存储器中，需要用到时，再将它们从外部存储器搬到片内存储器中，以提高程序的运行效率。
3.3 代码优化
进行代码优化，先要找出程序的瓶颈，即占用CPU时间较多的代码，然后对其进行有针对性的优化。使用CCS提供的代码剖析工具Profile可以统计显示出程序中各个重要段和函数的运行时间，找出运算量较大的程序段，优化这些程序段，对于提高算法的性能有巨大影响。
⑴ 联合使用-pm和-03编译选项，对代码进行项目级的优化：CCS提供了强大功能的编译选项，从-O0到-O3共四级优化。-O3编译选项使能软件流水和其他优化方法，-pm选项从程序代码角度，把整个项目的所有源程序联合起来，作为一个模块来处理。-pm和-03两个选项联合使用，能进行一系列的优化，并且代码尺寸变小很多。
⑵ 使用const、restrict 关键字修饰指针：const指示编译器其修饰的指针所指向的内容不能修改；restrict指示编译器其修饰的指针与其他指针指向的内容不会覆盖，这些信息使两个指针不会访问同一存储器地址，可以消除存储器之间的相关性，这样可以并行执行多个数据的读取和运算，使代码运行达到昀大效率。
⑶ 对短字长数据使用宽长度的存储器访问（数据打包处理）：即当CPU执行一连串短型数据（如16bit数据）操作时，可将数据类型设置为32bit长度的int型，这样可以一次性访问2个短型数据，然后使用C6000指令，同时进行两个数据的操作，减少了对内存的访问，这比采用16bit长度short型节约一半的时间。
⑷ 循环展开，把C语言中的循环打开，把多循环变为少循环，减少循环嵌套，使得可能并行的指令增加，从而改进软件流水编排，改善代码性能。
⑸ 减少C函数的调用，尽量使用系统提供的内联函数（intrinsics函数）代替C函数，C6000编译器提供了许多intrinsics，是直接与C6000汇编指令映射的在线函数，可以快速优化C代码，这样减少许多不必要的操作，提高代码运算速度。
⑹ 使用软件流水技术，软件流水是一种对循环中的指令进行调度优化的技术，利用软件流水可生成非常紧凑的循环代码。当编译时采用-O2或-O3级别的优化选项时，编译器将对程序中的循环进行软件流水。通过软件流水的优化，可以大大提高循环代码的效率，极大地实现指令的并行性。
3.4 汇编程序级优化
通过 profile clock工具找出效率很低的部分，使用线形汇编继续优化。线性汇编语言是 C6000系列 DSP独有的一种编程语言，介于高级语言和低级语言之间。和标准的汇编语言不同的是，在编写线性汇编程序时可不必考虑指令的延时、指令的并行、寄存器的使用和功能单元的分配等，汇编优化器将根据代码的情况自动确定这些信息。汇编程序优化可通过对自动编译生成的汇编文件进行修改而进行。汇编优化其实就是根据以上各个方面的特点，采取针对性的方法，以获得尽可能高的程序效率。常用的汇编伪指令如下：
⑴ 定义一个可被汇编优化器优化且可被 C/C++当做函数调用的线性汇编代码段的伪指令：
label .cproc ［ var1，［var2，…］ ］
.endproc
⑵ 定义一个可被汇编优化器优化的线性汇编代码段的伪指令：
label .proc ［ reg1，［reg2，…］ ］
.endproc ［ reg1，［reg2，…］ ］
线性汇编优化时还需要考虑以下几个方面：① 平均分配使用功能单元，提高代码的并
行度。② 使流水线核心循环的时钟周期数昀小。
4 实验结果
经过以上各种算法优化后，基于DSP硬件平台DM642 EVM的H.264编码算法的性能得到了极大提高。实验中采用Foreman、Container、News三个H.264标准测试序列，分别代表高、中、低运动格式，采用IPP编码模式，对优化前后的算法进行了测试。
表3给出了优化前后对各种标准测试序列进行编码后的测试结果，算法优化在保证图象质量的前提下，极大提高了编码速度，视频图象较好地实现了实时性编码要求。
本文重点探讨了H.264视频编码算法在DM642 EVM硬件平台上的实现和优化，经过优化后算法具有较好的实现性和实时性。在此基础上，还可以在调整代码结构方面进行优化，使其更加适合DSP的指令系统。此外还可以更合理的利用TMS320DM642芯片的结构和丰富的外部接口，更高效的实现编解码器算法。
举报
