信息存储系统教育部重点实验室

海量存储系统及技术


研究高可用、高性能、大容量、低能耗、自组织的海量存储系统及技术,包括NAS、FC-SAN、IP-SAN和对象存储系统(OBS);研究复杂网络环境下的存储系统结构和相应存储软件。

1. 海量存储系统结构及并行文件系统

由于互联网的发展,数据曾爆炸式增长趋势,导致了对海量存储系统的需求。此外,高性能计算的发展不仅对存储容量有更高要求,特别是在I/O性能、高可靠、安全可信、高能效均提出更高要求。本研究方向关注于海量存储系统架构、数据的组织、处理和管理机制,着重研究海量网络存储系统结构、并行文件系统、元数据服务器集群技术、元数据的组织与快速检索技术、海量数据的布局与动态负载均衡、数据相关性分析与应用研究、系统一致性研究、存储系统接口和广域网数据系统等。其研究目标一方面支持高效能科学计算中数据的处理、分析和共享协作,另一方面支持面向广域网多种应用的数据共享和交流。本研究方向承担了973项目《下一代互联网信息存储的组织模式和核心技术研究》,863计划“海量存储系统关键技术”重大项目,研制开发了具有自主知识产权的基于对象的存储系统、并行文件系统、元数据服务器软件等。

图1  基于对象的海量存储及并行文件系统的体系结构

2. 海量存储系统中元数据组织管理和快速检索

大规模海量数据存储系统中的元数据管理性能是影响整个系统可扩展性的关键问题。目前的很多系统是通过采用元数据服务器来有效地提高系统的性能,然而随着近年来存储系统容量的不断增长,采用单一的元数据服务器来管理整个文件系统的设计已经成为影响系统性能提高的主要瓶颈之一。因此,大规模文件系统中迫切需要能够提供具有可扩展性、自适应性的、高效的元数据管理服务。本研究方向注重分析和研究海量数据的组织模式、面向用户和系统的多种查询服务机制和性能优化等方面。

3.对象存储控制器

对象存储(Object-based Storage, OBS)作为一种新的存储体系结构,采用对象作为存储访问接口,这种新型接口与传统的存储系统访问接口(文件接口和块接口)相比,具有性能高、安全性好、跨平台共享、可扩展等优点。而对象存储设备作为构建对象存储系统的重要组成部分,如何高效工作是海量对象存储系统的基础。本研究方向围绕如何高效管理对象存储设备;充分发挥对象存储设备的计算能力;提高对象存储设备的服务能力展开研究。目前主要的研究工作是研发对象存储控制器硬件平台;研究对象存储控制器持久对象文件系统;研究可扩展的方法对象和主动对象技术;研究对象存储设备的主动性、智能性;研究在对象存储控制器上实现分层次的存储服务Qos;以及OSD国际标准扩展研究等。

(1)  硬件体系结构

对象存储系统核心技术之一的对象存储控制器是对象存储设备的主要组成部分,与传统的总线结构相比,设计的对象存储控制器采用交换架构,其主要由80314核心交换芯片、2颗XScale结构的80200处理器、DDR内存、8个SATA接口、2通道千兆以太网接口和2个PCI/PCI-X插槽等构成。对象存储控制器的设计既充分考虑了对象存储系统的性能需求,同时兼顾了研发和生产成本。

图2  对象存储控制器硬件体系结构

(2)  软件体系结构

在上述的硬件平台基础之上,以嵌入式实时操作系统Timesys Linux为开发平台,设计并实现了OSD的控制系统,主要包括控制模块(IOM),对象文件系统(object-based storage file system, OBFS),31244设备驱动程序等。

图3  OSC的软件层次                      图4 控制软件总体结构

图5  对象存储控制器管理硬盘实验             图6  对象存储控制器量产式样




分享文章

Share