资料下载
在Storm环境下如何进行拓扑结构的任务调度策略
分享资料个
针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题，提出基于拓扑结构的任务调度策略（ TS2）。首先，选取CPU资源充足且可用的工作节点并各分配一个进程，消除节点内进程间通信开销，优化进程部署；然后，分析拓扑结构，找出拓扑中度最大的组件，优先分配该组件的线程；最后，在满足节点可承载最大线程数的条件下，尽可能将关联任务部署到同一个节点来减少节点间通信开销，改善集群负载均衡，优化线程部署。实验结果表明：在系统延迟方面，与Storm默认调度策略和离线调度策略相比，TS的平均优化率分别为16. 91%和5. 69%，有效提高了系统的实时性；在节点间通信开销方面，TS相比于Storm默认调度策略平均降低了15. 75%；在平均吞吐量方面，TS相比于Storm默认调度策略平均提升了14. 21%。
随着互联网+时代来临，全球数据量急剧增长。国际数据公司（ International Data Corporation，IDC）发布的白皮书《数据时代2025》中提出，预计到2025年全球数据量将达到163ZB，其中超过25%的数据将成为实时数据，而物联网实时数据将占到95%［1］，面对如此庞大的实时数据量，需要时效性高、可扩展性和稳定性强的流式计算框架。与批量计算不同，流式计算不再对数据的中间结果进行存储，数据直接在各个工作节点的内存中进行计算。在这种应用场景下，以Twitter公司的Storm系统为代表的几种实时计算框架应运而生，也将流式计算的应用范围逐渐扩展到物联网、金融、社交媒体以及实时交通等实时性要求高的领域‘纠。其中在Storm环境下，针对套牌车识别具有时效性约束的问题，相关学者提出了一种基于实时车牌识别的流式并行检测方法，并且该方法的准确率达到了98.7%_3］，实时获取车辆的动态信息已经成为可能。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
