统一存储
存储系统
统一存储(有时也称网络统一存储或者NUS)是一个能在单一设备上运行和管理文件和应用程序存储系统。为此,统一存储系统在一个单一存储平台上整合基于文件和基于块的访问,支持基于光纤通道的SAN、基于IP的SAN(iSCSI)和NAS(网络附加存储)。
定义
统一存储,实质上是一个可以支持基于文件的网络附加存储(NAS)以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储,因此也被称为多协议存储。
工作方式
既然是一个集中化的磁盘阵列,那么就支持主机系统通过IP网络进行文件级别的数据访问,或通过光纤协议在SAN网络进行块级别的数据访问。同样,iSCSI亦是一种非常通用的IP协议,只是其提供块级别的数据访问。这种磁盘阵列配置多端口的存储控制器和一个管理接口,允许存储管理员按需创建存储池或空间,并将其提供给不同访问类型的主机系统。最通常的协议一般都包括了NAS和FC,或iSCSI和FC。当然,也可以同时支持上述三种协议的,不过一般的存储管理员都会选FC或iSCSI中的一种,它们都提供块级别的访问方式,和文件级别的访问方式(NAS方式)组成统一存储。
优势
规划整体存储容量的能力——通过部署一个统一存储系统可以省去对文件存储容量以及数据块存储容量分别进行规划。
利用率可以得到提升,容量本身并没有标准限制——统一存储可以避免与分别对数据块及文件存储支持相关的容量利用率方面的问题,用户不必担心买多了支持其中一种协议的存储而少买了支持另外一种协议。
存储资源池的灵活性——用户可以在无需知道应用是否需要数据块或者文件数据访问的情况下,而自由分配存储来满足应用环境的需要。
积极支持服务器虚拟化——在很多时候,用户在部署他们的服务器虚拟化环境的时候都会因为性能方面的要求而对基于数据块的裸设备映射(RDM)提出要求。统一存储为用户如何存储他们的虚拟机提供了选择,而无需像之前那样分别购买存储区域网络(SAN)和网络附件存储(NAS)设备。
挑战
一般来说,SAN和NAS管理在不同的组里,通常SAN是由数据存储管理员管理,而NAS则是由系统或者网络管理员管理。容量划分也通常分开执行,因为他们对共享资源感到恐惧并且害怕如果一切划分容量可能会导致性能问题。此外,他们在对管理文件共享资源和磁盘容量之间的细微差距上也存在问题。并且需要知道的是,加固共享平台对降低需要被管理的文件共享没有太多帮助,这本身也是一个挑战、。
共享的数据存储能够被所有的应用程序访问。
共享访问模式中,每个数据位都将会被各种格式来同时访问:作为CIFS或者NFS文件,一个RESTful格式的对象文件,Hadoop对象或者其他任何类型。
支持所有设备接入——平板电脑、智能手机、笔记本电脑、桌面或平板手机——支持今天的移动办公。
还有一些其他的内容都是必须的,例如随着数据量的增加而进行架构的横向扩展;某些形式的数据分层,从而过期数据能够迁移到性能较低,成本低廉的介质上;高可用性,当存储组件失效时各种应用程序不会崩溃;还有就是纠删码,压缩和重复数据删除等提高效率的特性。
统一存储系统
统一存储系统:前端主机接口可支持FC 8Gb、iSCSI 1Gb和iSCSI 10Gb,后端具备SAS 6Gb硬盘扩展接口,可支持SAS、SATA硬盘及SSD固态硬盘具备极佳的扩展能力。实现FC SAN与IP SAN、各类存储介质的完美融合,有效整合用户现有存储网络架构,实现高性能SAN网络的统一部署和集中管理,以适应业务和应用变化的动态需求。主机接口及硬盘接口均采用模块化设计,更换主机接口或硬盘扩展接口,无须更换固件,可大大简化升级维护的难度和工作量。
设备类型
根据支持协议的不同,统一存储设备可分为四种类型:
FC+iSCSI+CIFS/NFS
即支持FC与iSCSI两种块读写协议,以及CIFSNFS两种最普遍的文件传输协议。显然的,这种类型的存储设备能支持的范围最广,无论是SAN、NAS等形式的应用,还是光纤通道、以太网络等不同类型的传输通道都能支持。企业可以单一系统同时满足各类读写要求,无论是管理或是建设都相当方便。
这类系统可分为从NAS为基础出发,进而延伸到SAN,如NetApp的产品即为由NAS延伸到SAN的典型;某些产品是以相反的路线延伸,即以FC SAN的磁盘阵列为基础,通过在控制器增加支持不同传输端口的板卡,来支持iSCSI与NAS的读写。
FC+iSCSI
这类产品只能支持SAN的块读写环境,但能支持光纤通道与以太网络两种传输方式,因此企业可让前端执行在线数据库或ERP等关键任务的服务器,通过光纤通道来读写SAN,以取得较佳的性能。至于像数据库测试开发等不需特别讲求性能的应用,就可改由iSCSI来读写SAN,因此这种组合能兼顾性能与成本。
FC+CIFS/NFS
这种组合就是FC SAN加上NAS网关的一种衍生发展,是在FC存储设备的控制器中,增加可支持CIFS/NFS文件读写的卡板
iSCSI+CIFS/NFS
由于同样都是使用以太网络作为传输介质,因此iSCSI加NAS是很理所当然的组合,如果不特别讲求性能,任何能连接IP网络的服务器都能轻易的当作NAS使用。有许多现成的iSCSI Target软件可用,可轻易把服务器当成iSCSI的设备,因此iSCSI+CIFS/NFS这种组合已日渐普遍。
基本标准
多协议支持
多协议支持可谓是统一存储率先受到人们关注的要素,一直以来专家都认为对多协议的支持能够给用户带来非常的价值,在统一存储环境之中,存储资源变成一个共享资源池来存储数据块或者文件数据,根据应用需求来配置存储资源,从而提升用户自身的存储效率。
虽 然之前用户可以通过NAS网关的方式,将SAN磁盘阵列的空间分隔出来,供文件读写之用,从而实现多协议的支持,但这种方式并不经济,用户需要承担NAS 网关的额外建设与管理费用。因此,对于用户而言,最方面的仍然是在单一存储设备上同时支持多种协议,这也成为当前主流统一存储系统所标配功能。
当前统一存储系统需要支持FC、iSCSI、FCoE等块协议,还需要支持CIFS、NFS两种最普通的文件协议。除此之外,已经有越来越多统一存储在协议支持方面越来越广,甚至已经有一些厂商在统一存储中增加了对对象存储数据的支持。
当 然,统一存储对于多协议的支持最终还需要在管理软件上得到体现,如果在管理软件上不能实现统一,即是在硬件层面上能够支持多种协议或多个接口也并不能算真 正意义上的统一。环顾业内各大厂商的存储系统,有些厂商的统一存储产品仍然在进行管理软件的整合与统一(有些产品在一个统一界面下,仍然有两个管理软件, 通过Link的方式来切换转移到相应的管理软件),不过管理软件的统一必然是未来的大势所趋,也已经成为统一存储必备标准之一。
图二:HDS统一存储产品HUS的统一管理平台Hitachi Command Suite,通过统一管理平台能够管理不同类型的数据存储。
自动精简配置
自动精简配置是一种利用虚拟化技术来减少物理存储部署的技术,目的是为了最大限度提升存储空间利用率。其原理非常好理 解,用户为确保应用的存储容量够用,在部署应用时往往会多于当时实际需求的物理空间,然而在应用实际运行期间,所部署的存储容量未必能够得到充分利用,自 动精简配置技术正是根据用户这种实际使用情况而诞生。
图三:自动精简配置模式与传统存储容量配置模式对比。
事实上,自动精简配置技术过去一直属于高端存储系统的“专利”,然而随着高端存储功能越来越多的下移,自动精简配置技术也逐渐出现在中端存储系统之中,统一存储作为之前中端存储系统的替代品,自然也就集成了该项技术。
图四:自动精简配置技术已经成为统一存储的标准配置技术。
之 所以说自动精简配置技术成为统一存储的标准配置技术,是因为服务器虚拟化已经逐渐普及促进了自动精简配置技术在之前的中端存储、现在的统一存储上面的应 用。在服务器虚拟化环境下,每个虚拟机都有自己的启动卷和数据卷,启动卷的容量由操作系统和启动软件决定,利用自动精简配置技术,则能够大幅精简虚拟机的 各种数据,从而为用户节省了大量存储空间。除此之外,固态硬盘在存储系统中的逐渐普及也在推动自动精简配置的发展,固态硬盘并不存在磁盘碎片影响的问题, 使得自动精简配置技术更加容易在固态硬盘上运行。
图五:惠普3PAR的自动精简配置技术是自动精简配置技术的典型代表。
除 了基于块级的自动精简配置技术外,基于文件系统的自动精简配置技术也同样获得了广泛关注,自动2002年推出了基于文件系统的自动精简配置技术,大部分 NAS厂商都提供了这一功能,包括EMC、NetApp、HDS、Symantec的产品都配备基于文件系统的自动精简配置技术,用户部署这一技术之后, 能够让文件系统自动地扩展。
事实上,随着统一存储逐渐普及,自动精简配置技术无疑成为统一存储的标准配置功能,在服务器虚拟化应用越来越广泛以及非结构化数据快速增加的今天,自动精简配置技术会让统一存储更具竞争力,同时能够更好地满足用户应用需求。
自动分层
自从固态硬盘逐渐被存储厂商纳入到存储系统之后,固态硬盘的诸多优点就吸引着广大用户的关注,速度快、抗震、能耗低等优点 是广大用户趋之若鹜的原因,然而固态硬盘其昂贵的价格却是横跨在用户使用面前的屏障,在这种背景下,自动分层技术就蕴育而生,通过自动分层技术让热点数据 存储在固态硬盘之上,让非热点数据存储在便宜的存储介质之上,从而让整个存储系统能够做到物为所用、有的放矢,实现存储效率最大化。可以说,没有自动分层 技术的存储系统添加固态硬盘也毫无意义。
图六:自动分层技术将随机I/O转移到高性能介质(闪存)上,减少机械磁盘的I/O负担,从而大幅提升存储系统I/O性能。
其 实,自动分层技术刚开始推出之时,也是属于高端存储系统的“专有”,类似自动精简配置技术一样,伴随着越来越多高端存储功能往下迁移,已经有很多中端存储 系统中具备了自动分层功能,基本上现在市场上所有的主流统一存储产品都具备了自动分层功能,包括EMC VNX系列、IBM V7000 Unified、HDS HUS系列、NetApp FAS系列等等。
目前自动分层技术在存储系统中主要有两种方式,一种是基于迁移的自 动分层技术,可自动化数据迁移的流程,能够根据数据的“冷热”程度自动调节与迁移到相应存储介质,典型代表就是EMC VNX的FAST VP技术;另外一种是基于缓存的自动分层技术,将固态硬盘作为缓存使用,将热点数据放到高性能介质中,在磁盘上保存副本,典型代表就是NetApp的 Flash Cache技术。
图七:EMC VNX FILE中使用FAST VP自动分层技术。
图八:NetApp的PAM技术(现在已经改名为Flash Cache)。
随着各大厂商不断的完善技术,很多厂商往往都能够同时提供基于缓存和基于迁移的自动分层技术给用户,让用户具有更多的选择,可以所自动分层技术已经成为统一存储的标配功能。
删除技术
压缩或重复数据删除技术因为Data Domain的兴起,使得该项技术或者理念在备份领域得到了广泛认可,用户们在备份之时充分利用了重复数据删除理念来降低数据存储空间,提升存储利用率和 灾备效率。事实上,早在几年前重复数据删除最为火爆时,业内就在探讨重复数据删除或者压缩技术进入主存储的可能性,当时已经有一些厂商在尝试这种可能性。 而随着时间的推移,压缩或重复数据删除技术已经逐渐成为主存储系统中一项功能,特别在虚拟机应用大量兴起的今天,大量虚拟机其实存在着很多重复数据,对这 些数据进行压缩将有益于提升存储系统的空间利用率以及存储效率。
提到存储系统的重复数据删除或压缩技术,就得提NetApp很早推出的 A-SIS Deduplication技术,NetApp将该项技术应用到期FAS系列产品之中,由于集成在其统一的管理系统DataOntap之中,使得所有 FAS系列产品都能够享受到这项技术的好处。
图九:NetApp FAS系列重复数据删除工作原理。
图十:NetApp A-SIS重复数据删除技术的处理流程。
除了NetApp之外,其他厂商也一直在主存储重复数据删除或压缩技术上下功夫。EMC在之前NAS平台就具有重复数据删除或压缩技术,分别基于 Avamar和RecoverPoint,为了弥补其统一存储VNX在块级重复数据删除技术的缺失,EMC公司在2011年下半年将基于块级的重复数据删 除技术添加到RecoverPoint代码库之中。IBM公司则已经将在线实时压缩技术Storwize STN技术整合到其统一存储平台V7000 Unified,使得用户在数据最初被创建时即进行优化,数据在被写入磁盘时将其进行压缩。而戴尔也计划将其压缩技术Ocarina整合到其统一存储平台 之中。
可以预见,压缩或者重复数据删除技术已经收到大部分厂商的重视,逐渐成为统一存储标准配置之一,好的压缩技术或者重复数据删除技术能够让统一存储平台更加高效。
参考资料
统一存储技术专刊.TechTarget中国.2012-10-24
最新修订时间:2023-08-07 19:34
目录
概述
定义
工作方式
参考资料