行业解决方案
影音视频高速存储解决方案
“平安中国”存储解决方案

技术解决方案
IP存储解决方案
VTL解决方案
高性能IO存储解决方案

 
 

blank


“平安中国”存储解决方案

 

一、背景描述
 

  党的十六大报告在阐述全面建设小康社会的宏伟目标时把社会更加和谐作为一个重要目标明确提出。十六届四中全会更进一步提出了构建社会主义和谐社会的任务,要求全党适应我国社会的深刻变化,把和谐社会建设摆在重要的位置。五中全会在提出国民经济和社会发展“十一五”规划建议中,又对和谐社会建设作出全面、具体安排。
  为配合国家整体规划,把构建和谐社会,构建平安城市、平安中国落到实处,公安部全力开展城市报警与监控系统建设,提升公安机关的战斗力。2005年10月12日,公安部科技局在浙江省杭州市组织“全国城市报警与监控系统建设现场会”,确定从2005年10月开始到2008年,公安部将在全国开展城市报警与监控系统建设“3111”试点工程,即在省、市、县三级,每个省确定一个市,有条件的地市确定一个县,有条件的县确定一个社区或街区为试点,开展城市报警与监控系统建设试点工程。
  随着“平安中国”项目的启动,城市数字监控被越来越多的厂商、政府部门、企业及普通百姓所关注。由于实施了数字监控,大量的监控信息及图像要存储,这对存储厂商来说无疑是一个巨大的商机。
  如何为监控系统建设最适宜的存储架构,如何选择最适宜的存储产品,我们将在下面和大家一起探讨,并将陆续和大家一起针对不同应用领域的监控系统存储解决方案? 

 

二、监控系统存储解决方案探讨
 

1、需求分析
  
从数字监控的出现到现在一直都是硬盘录像机占据着监控系统的绝大多数的存储市场,硬盘录像机本身不是专业的存储设备,但由于硬盘录像机可以安装最多十几块硬盘,再加上现在硬盘容量比较大,所以能够提供较大的存储空间,但是随着国家政策的调整,越来越多的监控系统要求更加清晰的图像、要求图像保存时间更长、要求存储设备更加安全稳定,所以硬盘录像机的方式越来越难满足高端客户的需求。特别是“平安中国”项目的启动,随随便便上百个T的存储需求,必须要采用专业的存储系统才能解决客户的需求。
“平安中国”项目中存储需求特点:
(一)数据流量非常大,基本上以写入数据为主,读取数据的时候很少,需求存储空间非常大。所以需要采用廉价的存储方案;
(二)对存储的容量需求弹性比较大,存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。所以需要综合考虑现有的存储还要考虑将来扩容的需求;
(三)对存储的性能要求不高,但是需要长时间的连续数据读写,大部分客户要求7*24小时不间断。所以需要非常稳定的存储设备。
(四)不同领域要求保存数据的周期不一样,随着国家政策的调整而改变。所以需要综合考虑扩容、改造的可行性及成本。
(五)项目的实施和维护部门的存储技术水平相对较低,部分设计方案中的存储设备分散在不同的机房。所以需要考虑存储系统的简单易用性、后期维护的方便性以及整个存储系统的实施、后期维护成本。

2、存储技术和方案讨论
  在很多“平安中国”的项目中,不同的厂家都在为着各自的利益争论,有说IP存储比传统存储好,IP存储将取代传统的存储;或者有说传统存储比IP存储好,传统存储更加专业等等,由于监控领域绝大多数客户都是第一接触专业的存储系统,对存储系统了解得还不够深入、透彻,弄得客户也不知道该如何选择。
  我个人认为,IP存储和传统的存储之间没有什么这个比那个更好之说,更没有什么所谓的取代之说,只是不同的应用适合采取不同的方案,方案的选择与系统的成本、扩容性、稳定性相关,很多方案最后都是综合考虑各种因素选择了一个综合性的存储方案。从存储产业发展历史来看当NAS和IP-SAN方案陆续出现时,也出现过围绕哪个要取代哪个展开讨论,吵了两年后用户对新技术了解了,大家都认为NAS、IP-SAN是传统FC-SAN的一种补充。
  “平安中国”在不同的城市中需要根据自身的实际情况选择不同的存储方案,首先需要根据该城市通讯线路发展建设的情况和公安系统的资金投入情况,以及该项目的运营管理部门和电信之间的合作状态和整个监控系统的行政管理因素,决定是采取集中式存储还是采取分布式存储。其次,需要在前面选择的基础上,根据整体存储容量的大小、投入资金大小、将来改造、升级的成本、实施和维护的成本决定是采用传统的存储系统、IP存储系统、还是先上传统存储后逐步升级为综合性的存储系统、或者直接上一个综合性的存储系统;
  在讨论各种系统的优缺点之前,我们先用通俗的说法探讨一下什么是IP存储以及IP存储的实现方式,IP存储简单一点说,就是不用通过服务器或IP存储交换机直接把存储系统如磁盘阵列、SAN(存储区域网)或者其他存储系统联入IP网络。目前市面上的IP存储主要是通过以下几种方式实现,不同的实现方式,使整个系统的稳定性、性能相差很大,而且成本也相差较大,希望大家在选择的时候一定要分清楚:
(一)NAS或NAS引擎+磁盘阵列
(二)IP存储交换机+磁盘阵列;
(三)iSCSI网关或机头+磁盘阵列;
(四)iSCSI磁盘阵列;
(五)iSCSI软件+类似服务器构架的磁盘柜(使用RAID卡);
  每种方案都有各自的特点,第一种IP存储方式适合文件级数据存储,第二种方式是作为SAN的一种补充,解决SAN所不能解决的超远距离存储、备份的问题,解决多主机廉价存储问题;第三种方案和第二种方案类似,差别在第二种方案比第三种方案性能要好,但要贵一些,不过有些厂商可以根据用户情况在iSCSI机头上添加一些应用软件,使用户的整个系统成本更低,更加灵活;第四种方式适合4台以上数据流量都不大的服务器共用,iSCSI磁盘阵列不但适合存储数据库数据,还具有NAS的用户管理功能。第五种方式从实现的功能上来说和第四种方式是一样,差别在于第四种方式属于专业磁盘阵列,它把SCSI协议和IP协议之间的转换以及用户管理功能做在专业的控制器上,存储设备更加安全,稳定,而第五种方式属于类似服务器构架的方式,它相对来说技术含量要底一些,成本也更低一些,产品的稳定性也相对较差一些。
3、监控系统存储方案的设计分析
1)集中式存储解决方案分析
  一般来说是否选择集中式存储与存储技术本身没有多大关系,在此我们不再作讨论。为了便于讨论,我们假设A城市需要布控5000点,其监控系统存储需求分析如下:
A城市共需要布置5000个摄像头;前端视频服务器把摄像头传来的监控信号以每路300Kbps/CIF/25fps的速度上传到IP网络上的存储管理服务器,一般来说一台配置较好的双CPU存储管理服务器可以管理200个并发流,5000个流共需要25台存储管理服务器。抛去各种因素,每个流可以按照150MB/h数据量来计算,每小时每台存储服务器需要存储的数据为30G,如果按照7*24小时的需求来计算,需要的实际容量为5.04T,所以实际可使用空间必须大于5.5T。另外整个系统除了存储管理服务器外还需要有WEB服务器、流媒体服务器、数据库服务器、电视墙管理服务器、移动信息服务器等以满足不同应用的需要,整个大系统都是架构的IP网络上的。
  从以上情况可以看出用户的存储需求还是比较简单,主要是服务器较多,存储的容量较大,需要考虑扩容升级等因素。针对以上情况可以采取的解决方案有很多种,可以采取DAS、SAN、IP存储都行,但是考虑到“平安中国”是刚刚开始的项目,监控中心的服务器比较集中,所以建议采取的是SAN构架存储方式,SAN的存储方式无论从系统稳定性、专业性、可扩充性还是从传输速度、存储空间利用率等角度来说,是任何一种其他的存储系统都无可比拟的,而且随着SAN的平民化,SAN的成本变得非常低。SAN的解决方案只是与一些零散分散的远端服务器相连比较麻烦,而且连接的成本也相对比IP存储的成本要高。由于篇幅的关系,我们不单独讨论FC-SAN和IP存储解决方案,利用它们各自的优点,探讨一下FC-SAN和IP存储相结合的综合性的解决方案。
  还是针对以上A城市的需求,我们假设原来已经存在一些小的监控系统在分局,或者将来会有可能会因为某些特殊应用的要求,需要在远程布置一些存储管理服务器,但数据存储在现在的中心。


  上图中选择的 IP 存储是 IP 存储交换机或者 iSCSI 网关方式,用户也可以选择其他的 IP 存储方式,但是不同厂商的产品性能有一些差别,建议用户选用稳定性较好的产品。

2)分布式存储解决方案分析
  一般来说,监控系统的规模越大、需要布控的点越广越有可能选择分布式存储,对于此类的需求,建议客户采用多种存储方式相结合的方案即DAS+SAN+IP存储。
  例如在某城市A区域布控的点较多,需要放置超过3、4台以上的存储管理服务器在电信运行商的A机房,可以考虑选择SAN构架,这样系统整体的稳定性、升级和扩容、存储空间利用率、传输速度都非常好。
  B区域布控的点不是太多,在B机房放置1-3台存储服务器能满足使用,此时可以考虑采用DAS的连接方式,一台大容量的SATA磁盘阵列可以给2台服务器使用,同时又可以采用级联的技术把多台阵列给一台服务器使用(采用SAS构架的磁盘阵列直接添加扩展柜即可,扩容成本更低),连接方式非常灵活,轻松解决扩容问题,如果在很短时间内存储管理服务器数量急速增加,可以考虑把整个系统进行升级,升级为SAN构架的系统,此时升级的成本非常低,只要购买一台光纤交换机就可以了,其他设备都维持不变。
  在C区,由于接入的用户数比较少,可以考虑使用远端的IP存储,利用iSCSI技术把远端的IP系统中的空间划给C机房的存储管理服务器,将来C区的用户数增加到一定量的时候,再放置一台磁盘阵列在C机房给服务器用,把IP系统的空间划给其他客户使用。
  整个监控系统的集控中心可以考虑放在某一A类的机房,如下图A机房,其他同类机房中只需建一个简单的SAN构架的存储系统即可。

三、根据存储方案选择存储设备
  在确定是采取集中式存储或分布式存储之后,便需要仔细分析、选择适合的存储产品,产品的选择比存储方案更为重要,一个好的产品有时能弥补方案的不足,一个不成熟的产品会给你在使用、升级扩容、售后服务等各个方面带来无穷的烦恼。
1、充分考虑设备本身的大容量存储、升级扩容问题;
  一台存储管理服务器接受200个流,按照一天24小时不间断保存7天,所需要的存储空间是5.5T左右,如果以后部分客户把存储的时间调整为半个月,需要的空间大概为11T,这样有可能一台16盘位的SATA磁盘阵列难以满足需求(0.5*(16-2)=7T),所以需要考虑:1)选择该设备最便宜的升级方式是什么,成本是多少;2)该公司在研发方面是否有连续性,是否真的有研发实力,在存储领域有多少年的服务经验,因为这些涉及售后服务的水平和质量,涉及产品将来升级的可行性及升级成本;3)你选择的产品在市场上销售了多少年,建议选择销售行为在3年以上的产品(包括上一代被替代的产品),因为在全球有很多企业在存储业务刚开始时市场投入很大,但由于产品完善的速度没有跟上,管理水平没有跟上,导致整个公司的存储运营了两年后停止了,这样的案例太多,希望大家在选择时要慎重,一旦所选择的公司停止了存储业务,那你今后付出的代价会很大。
2、多考虑一些TCO成本
  TCO对于大家来说都不陌生,但是真正在进行选择的时候,由于对存储业务不熟悉不知如何把TCO一步一步细化到实处,下面我结合我们在全球销售的经验,和大家一起来探讨:
1)选择简单易用的产品
  一直以来存储技术在很多人眼里是十分深奥的,需要通过串口安装调试,需要专业技术人员进行安装调试,再加上设备上存储的是数据,所以大家都不敢动,无论出现什么问题都希望厂商派人来弄。厂商提供上门服务的成本是比较高的,无论上门服务的成本是算在一次采购成本中还是算在日后的服务过程中,总之都需要客户来支付,属于整个项目的成本之一,所以建议用户尽可能买一些简单易用的产品,其实存储没有那么复杂。最好的产品是客户经过简单培训后,设备的安装调试自己就能进行,将来简单的维护也能自己去做。

2)具备强大的设备监控、报警和管理功能
  大家都知道,在紧急处理时选择的解决方案其代价是最大的,属于不得已而为之,所以所选择的存储设备是否具备重要部件监控功能和报警功能,客户是否可以根据自己的实际情况对监控和报警功能进行设置和调整。这样可以防范于未然,降低损失,减少维护成本。例如对于存储设备,监测的重要部件如控制器上CPU的温度、转速,内存使用状态,风扇的运转,硬盘的温度、坏道检测等状态,当他们超出设定阀值时系统就会报警,此时你可以及时分析问题出现的原因,并解决问题。另外,设备还应有多种报警功能,除了设备本身的声音警报,还应支持邮件、传真报警,因为你的设备有可能零散分布在电信运营商的各个机房,你不可能一直待在他们的机房。

3)选择模块化设计的产品
  模块化设计的产品,售后服务成本最低,因为各种部件都是独立的,一旦某一部件出现问题,可以只把这一部件拿去维修,不用把整个设备拿走,节约了维修成本,并且如果是冗余部件出现问题,设备还可以继续使用。

4)选择WEB管理功能强大的设备
  一般来说大部分设备都有以太网端口,支持WEB管理,但是很多只支持简单的维护和监控功能,不支持基于WEB的RAID管理。但是如果设备具备基于WEB的RAID管理,那么今后售后服务成本将大大降低,例如在外地某机房,需要给存储系统扩容,那么只要让机房的管理者帮忙把新添加的硬盘插入设备,然后所有的一切都可以通过远程技术中心来执行,如果是新添加的存储设备或服务器,也只要机房的管理者帮忙把设备连上,其他的都可以在远程来操作。既提高了工作效率,同时又节约了费用。

3、设备的安全稳定问题
  设备本身的稳定性是选择设备的最重要一个重要因素,特别对选择分布式存储方案的客户来说尤为重要,在分散在各区域的各个节点如果产品不稳定经常发生一些小的问题,那么维护的成本将会非常高。如何判断设备的质量呢?建议从以下几个角度进行比较:
1)是否属于无线缆设计(Cabless Design)
  一般来说专业的存储硬件厂商都采取Cabless Design,原因是无线缆设计信号稳定,采用高频专用连接器,在高频电路设计中,有许多因素需要考虑,其中阻抗匹配最为重要,我们可以从电路的基本元件R(电阻),L(电感),C(电容)来讨论,比较容易了解。阻抗Z = R+ jWL + 1/(jWC),其中W=2πf,f代表的是频率,当频率为SATA 3Gb或FC 4Gb時,L 及C的效应就增加。无线缆设计(Cabless Design)中,只要控制好PCB及高频专用连接器,则阻抗匹配就能够控制得很好,所以系统就会非常稳定。
但是有线缆设计(Cable Design),从高频的理论,SATA Cable 是足以让3Gb的信号很顺利的从Raid card 这端,送到SATA 背板,但问题点就在两端的接头,它的每个SATA channel 比无线缆设计,多了一个公母接头,這是对高频信号不利之处,因每经过一个接头,则会造成信号的衰减,系统当然就不稳定,服务器一端经常出现找不到卷了,但是重起又找到了卷的现状。
  一般磁盘阵列使用Raid 5或6,可允许 1~2 硬盘损坏或与硬盘相连的内部连接链路出现故障,如果以一个 16 bays有线缆设计的磁盘阵列为例,总共有32个公母接头,介于硬盘与Raid card 中间,只要其中两个接头出问题,则系统的数据就有可能丢了。如果是无线缆设计的磁盘阵列,由一个专用的高频连接器将所有16个SATA 硬盘的信号,从Raid控制器端与SATA 背板很牢靠的连接在一起,当然稳定多了!

2)容易损耗的部件是否具备冗余设计
  在存储设备上,最易损坏的是风扇和电源,所以选型的时候一定要注意电源和散热模组中的风扇是否是冗余的,而且还要注意是否是热插拔设计,更换是否方便等。

3)是否经过热流设计
  经过热流分析的机构设计,能够有效的将系统内的热在短时间内排出,使硬盘和控制器都能够在正常的温度下工作,所以MTBF(Mean Time between failure) 就会提高。散热设计除了要有很好的设计外还要通过大量的试验来检验并进行完善,这样散热效果才会比较理想。一般这种试验环境搭建比较昂贵,需要几百万美金到几千万美金,普通的小厂商和软件厂商都不会去搭建。

4)是否有精细的生产工艺
  存储产品的稳定性和生产工艺有着非常大的关系,生产工艺可以从电路板的印刷整齐情况、各个部件之间衔接的空间误差大小情况等看出工艺的好坏。例如,硬盘托架和插槽之间衔接松紧程度和硬盘的使用寿命有非常大的关系,因为硬盘中的磁碟在高速转动,如果衔接不紧就容易使硬盘产生振动,从而大大降低硬盘的使用寿命。所以质量好的存储产品,装好硬盘的托架和插槽之间卡得非常紧,但是又不影响正常的插拔,这种高精确度对生产的机器要求特别高。

四、总结
  从我们多年从事存储领域的经验来看,建议用户不要去追求华而不实的功能和性能,一定要选择一个成熟稳定可靠的解决方案和产品,因为存储系统中存储的都是数据,一旦设备出现问题,就意味着整个系统瘫痪,而这种瘫痪不像网络交换机或者服务器,换一台设备或者重装一下系统就能解决问题,很可能问题的出现会导致部分数据的丢失,而且不成熟的产品经常会出现一些莫名其妙的问题,弄得各个层面使用者意见非常大。所以一定要使用相对成熟稳定的产品。