MAS多媒体的整个存储架构是怎样的?

存储技术

609人已加入

描述

多媒体存储的范畴很广,包括网站媒体、VOD应用、医疗PACS等在内的各种涉及图形、图像应用的存储领域,其中视频监控存储是多媒体存储的一种重要形态。本文重点聚焦监控领域的多媒体存储,文中说到的监控存储,都指监控领域的多媒体存储。近年来,动漫制作行业在国内大量兴起,如何让数据安全、大容量存储、灵活方便使用、维护简单一直困扰动漫工作者。顺应动漫存储趋势的发展,推动企业动漫存储安全规划,让工作者更加安心的创作?

在海量的数据面前,单靠人进行多媒体数据的检索、挖掘明显力不从心--效率低、成本高。随着智能视频技术的逐渐发展和成熟,视频监控系统中也开始出现智能化的需求。然而目前智能系统和多媒体监控系统大多为相互独立的两个系统,数据没有进行整合。成为数据共享以及效率提升的障碍。整合多媒体视频生产系统和智能视频技术,对视频监控的存储系统也提出了很高的要求,要求智能信息和视频监控系统生产的音视频信息要进行有效整合。这种情况下,MAS应运而生。

多智能体系统(MAS, Multi-Agent System)是多个智能体组成的集合,它的目标是将大而复杂的系统建设成小的、彼此互相通信和协调的,易于管理的系统。MAS是分布式人工智能(DAI,Distributed Artificial Intelligence)的一个重要分支,是20世纪末至21世纪初国际上人工智能的前沿学科。研究的目的在于解决大型、复杂的现实问题,而解决这类问题已超出了单个智能体的能力。它的研究涉及智能体的知识、目标、技能、规划以及如何使智能体采取协调行动解决问题等。研究者主要研究智能体之间的交互通信、协调合作、冲突消解等方面,强调多个智能体之间的紧密群体合作,而非个体能力的自治和发挥,主要说明如何分析、设计和集成多个智能体构成相互协作的系统。

一、 MAS设计思想

MAS的基本设计出发点是“针对视频监控的专业多媒体存储系统”,它以H3C在监控领域成熟应用的块存储技术为基础,并对原有块存储技术进行革新,吸取文件系统中的空间共享可动态调整等特点。吸取文件系统和块存储的优点,又规避了其缺点,并实施针对性视频监控应用的多种可靠性保证设计。

多智能体系统在表达实际系统时, 通过各智能体间的通讯、合作、互解、协调、调度、管理及控制来表达系统的结构、功能及行为特性。多智能体系统具有自主性、分布性、协调性, 并具有自组织能力、学习能力和推理能力。采用多智能体系统解决实际应用问题,具有很强的鲁棒性和可靠性, 并具有较高的问题求解效率。多智能体系统是智能体技术应用及研究上的一个质的飞跃。通过不同行业的专家学者对之进行深入的研究,我们可知多智能体系统用于解决实际问题有很多的优势特点。

1. 存储资源全局访问 -- IP可达即存储可达

MAS具备存储资源的本地和网络化访问方式,对存储资源的生产者和使用者提供了统一的访问接口。生产者和使用者无需了解存储资源的位置,组网中存储资源可全局访问,所有的存储资源都由MAS接管,并提供全局的存储服务。这种归一化的访问方式可减小后续应用的开发工作量。

对于小型组网中常见的DVR/DVS等方式,MAS可安装在DVR/DVS内提供本地存储服务。

大型组网中分散的数据难以管理,又有信息安全的风险,势必带来数据集中的要求。存储空间的网络化访问是必然的方式,MAS使用的iSCSI协议基于TCP/IP之上,当前IP网络的普及和成熟性为MAS的部署提供了基础保障。通过iSCSI协议无论是媒体数据的生产者还是媒体数据的访问者(如:VODServer、第三方系统)都可以方便快捷的写入或获取数据,真正可做到IP可达即存储可达。

图1 MAS网络化访问模型

2. 多重可靠性设计 -- “稳定压倒一切”

MAS的设计目标是提供7×24小时服务,因此稳定和健壮是关键指标,MAS在多个层次采用多种手段提升系统的稳定和健壮:

底层使用Raid冗余技术

底层使用Raid5技术,保证存储空间的冗余保护。在发生单个磁盘损坏时可利用Raid5技术对数据进行恢复,避免MAS的元数据和多媒体数据遭到损坏。

数据区和元数据区操作分离

在视频监控摄像头产生的海量数据面前,普通的桌面级文件系统无论在稳定性还是性能上都将面临极大的问题,频繁、异径且大量并发的文件系统元数据区的访问将会导致其难以承受。MAS系统对多媒体数据的访问和元数据的访问作出了严格的控制,元数据只能由MAS的管理者--MASManagerServer操作,多媒体数据的生产者和使用者被严格禁止操作元数据。多媒体数据和元数据区的操作分离可以保证MASManager Server万一发生故障或宕机,不会影响多媒体数据的正常访问,媒体数据的生产者还可以继续存入数据,媒体数据的访问者还可以继续读取数据。

对元数据区进行冗余保护

MAS同时对元数据区进行了冗余设计,当发生不可预料的异常时,系统可根据MAS元数据区的冗余信息找到正确的元数据。例如,由于某种原因MASManagerServer发生了掉电,其对元数据区的操作可能只是部分完成,此时元数据区中的数据出现了错误,MASManager Server重新上电后会自动根据冗余信息找出正确的状态,保证MAS系统的正常运行。

3. 共享块存储 -- 扬长避短

MAS对H3C原有块存储技术进行了扩展设计,使得一个MAS卷可同时为多个媒体资源的生产者使用,空间共享并可按需要扩展或缩小。为了减少对元数据的访问,MAS将基本存储块扩展到适合视频数据的256MBytes(文件系统通常为几十K~几M),256M的基本存储块可进一步细分为适合图片数据的16MBytes.媒体数据的生产者和使用者在数据操作时无需访问元数据区,只在存储空间需要扩大或缩小的时候通过MASManager Server访问元数据区,极大的降低了对元数据区的访问。

4. 数据关系矩阵 -- 智能应用整合

数据关系矩阵解决的核心问题是多媒体数据本身与其他系统产生的针对多媒体数据的表述信息建立对映关系。比如基于IMOS的监控系统所产生的关于车流的视频和车牌识别系统识别的车牌号。MAS系统中这种对映关系可精确到帧组级别,后续可根据表述信息快速定位到多媒体数据的具体位置,也可以根据多媒体数据快速获取相应的表述信

图2 MAS应用整合模型

应用举例1 -- 视频标签:

城市重要道路的视频监控中,对于重要路口通常会有民警实时查看,民警可以通过实时监控界面随时为视频添加标签,例如:民警可以描述此路口的交通实时拥堵情况,红绿灯放行情况。事后民警可根据标签信息调取相应视频进行分析,优化车道设置、红绿灯放行时间设置以达到优化交通的目的。

应用举例2 -- 智能整合应用:

目前视频智能分析工具虽然很多,但是这些工具基本都是针对某种场景,通过MAS可以将多种智能分析工具整合起来。比如:智能分析工具A为车牌识别系统,智能分析工具B为周界检测系统,如果要在一段视频中找出红色小汽车进入某个周界的视频,目前的智能分析工具是相互独立的,对此无能为力。

二、 MAS架构

MAS设计秉承IMOS的抽象、开放、分层的设计原则。

抽象:MAS抽象出各种物理存储资源(如:磁盘、CF卡)的共性特征,并将其封装为统一的读、写、查接口。例如:资源的使用者(如:编码器)无需感知物理存储资源,也无需感知是本地还是远程物理存储设备,使用统一的接口即能访问所有类型的物理存储资源。

开放:MAS无论对系统内网元还是系统外网元都提供标准的访问方式,对内为读、写、查接口,对外为标准的RTSP/RTP等访问接口。可以很容易的通过开放接口开发IMOS应用以及和外系统联动扩展。

分层:MAS内部架构的分层设计降低了内部模块之间耦合度,提升了MAS系统的稳定性,以及可移植性。基于这些分层的设计可以便捷的开发基于MAS的应用,以及扩展MAS内部的功能。

MAS架构如下图所示:

图3 MAS架构

流媒体应用层

实现标准流媒体协议,如:RTSP/RTP等,对外展现为标准流媒体接口。提供标准流媒体服务,外部系统可通过标准流媒体方式访问MAS系统内的多媒体数据。

生命周期管理

MAS统一管理系统中的所有多媒体数据,可根据用户灵活配置的策略进行生命周期管理,如:留存期管理、抽帧备份、归档等。通过对多媒体数据的生命周期管理,最大限度的利用存储空间以及保留重要信息,为用户有效降低对存储空间的投资。

媒体数据直接访问接口层

MAS系统提供多媒体数据的直接访问接口,主要是在多媒体系统中其他网元访问存储资源时使用,多媒体数据对应的特征数据都在此接口进行封装。接口对存储资源的使用者抽象成读、写、查三类接口,简单易用。使用者无需关心存储资源的类型、访问差异及数据组织方式。

数据组织层

数据组织层负责多媒体存储格式、维护多媒体数据和智能特征数据之间的关系。关系组织结构如下图所示:

图4 数据组织关系模型

为适应图4所示的数据关系矩阵,MAS对多媒体数据的存储格式进行了针对性设计,多媒体数据区可动态建立扩展索引关系,利用扩展索引可关联到相应的多媒体特征或相关表述信息。MAS中设计的扩展索引非常灵活,通过扩展索引可以关联到数据表格、数据库、URL、文件系统中的文件、甚至是物理地址。

存储资源屏蔽层

存储资源屏蔽层的作用是抽象存储资源的访问,屏蔽存储资源的差异。无论真正的存储资源是本地磁盘、CF卡、IPSAN、还是FCSAN存储资源的使用者都不需关心。通过“媒体数据直接访问接口层”为用户提供统一的访问接口。

物理资源层

真正的物理资源,如磁盘、CF卡、IPSAN等物理存储资源。

MAS管理

整个MAS系统的管理者,也是系统中的存储资源和多媒体数据的管理者,负责元数据区的维护。为存储资源的管理员提供各种管理手段,如:动态扩展、缩小存储资源,存储资源的上下线等。

三、 结束语

对于视频监控系统而言,存储非常关键。随着视频监控的网络化不断深入,规模不断扩大,智能应用的逐渐实施,传统的普适性文件系统将会越来越力不从心。针对视频监控特点开发专业存储系统是视频监控大联网时代的必然趋势。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分