随着高性能计算和科学计算应用的发展,高性能计算集群系统传输、存储和处理的教据规模呈现爆炸式増长。对大规模數据进行高效的压缩,减少数据存储所需空间和传输所需的通信带宽,是提升髙性能计算集群系统性能的关键之一。无损压缩算法中,LZMA算法具有较高的压缩率,但串行版本的LZMA算法压缩速率很慢。采用多核架枃的处理器对无损压缩算法进行并行化,是提升压縮速率的一个研究方向。设计并实现了面向申威26010异构众核处理器并行化LZMA算法。结合申威异构众核处理器的特点,对LZMA算法存储空间需求、访存特性、热点函数等进行分析,基于 Athread接口实现LZMA算法从核多线程并行,并对LDM地址空间进行细粒度的布局与优化以获得更妤的缓存性能,实现DMA双缓冲的循环湑动窗口算法。测试结果表明,相较主核串行版本算法,并行LZMA算法在 Silesia语料库基准测试集和大规模数据集中分别获得了4.1倍和5.3倍的最大加速比,获得了较好的加速效果。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !