|
项目介绍
973项目:下一代互联网信息存储的组织模式和核心技术研究
存储信息是人类社会广泛而永恒的需求,当前尤为迫切。举凡国防建设、国民经济建设的重大项目都需要大容量存储,其需求容量大到
PB级(千万亿字节)以上。下一代互联网要求网络存储必须具有高效性、可扩展性、安全性和高服务质量,而目前
存储系统仍沿用传统的服务器连接磁盘模式,不能满足高带宽网络下数据存储的高性能要求。本项目提出建立一种新的存储模式,即“多层次、可扩展的
存储对象”模式,取代传统的模式,并研究相关的核心技术。达到统一和更新网络存储,并基于存储对象组建PB级的存储系统
的目的。“多层次、可扩展存储对象”的主要思想是将主机系统中关于访问磁盘的部分程序下移到存储系统中,使之成为一个包含数据和操作的对象,并赋
予存储对象以智能和主动服务的特性。本项目重点研究内容包括:基于存储对象的分布体系结构;高速通道;海量数据存储网络;数据组织与共享机制;
存储按需部署与服务质量;GIS分布存储示范应用系统。预期目标是在存储系统理论和核心技术方面获得突破,形成有自主知
识产权的信息存储技术。本项目由华中科技大学主持。参加单位有武汉大学测绘遥感信息工程国家重点实验室,清华大学计算机系,北京大学计算机系,
中科院计算所等。
课题一:网络存储动态规划及基于存储对象的分布体系结构
网络数据存储发展到今天,以不同的思路创造了诸多的存储系统,但这些存储系统均是基于传统的块设备存储模式,不能适应下一代互联网急剧增长的数据存储需求。本课题拟研究一种新的网络存储模式,即“多层次、可扩展的存储对象”模式来取代现有的存储模式。并也可以采用新模式组建PB级的存储系统。
为此要研究互联网环境下数据存取复杂性理论、分布存储的动态规划和基于存储对象模式的海量存储结构。组建“多层次、可扩展的存储对象”及对象控制器,实现网络存储的高吞吐量、高数传率、高可用性、高数据安全性等性能需求,并支持智能服务和主动服务。
主要研究内容有:
1.网络存储动态规划与系统结构研究
2.可扩展存储对象研究
3.存储对象控制器构成方法
4.存储系统性能优化理论与方法
课题二:下一代网络存储的高速通道
本课题将以若干类典型应用的数据访问模型和I/O路径的分析为基础,结合下一代互联网存储系统对高速通道的需求,研究其核心与关键技术及解决方案。
1.研究存储系统高速接入技术,为存储对象提供统一的网络访问接口
2.与课题一结合,针对直接联网基于对象访问的存储设备,研究支持面向对象的网络存储访问高速通道,探讨网络与存储设备中对象直接数据传输的新技术、新方法。
3.与课题三结合,探讨支持TB级集合带宽的新方法,以减少通道的拥塞为目标,研究支持组建集合通道的高速通道控制器的新技术;并针对网络中多媒体信息的高突发性、信息流动随机性、结点状态不稳定性、链路信息不完整性、网络状态的瞬变性等特征,建立存储系统的数据访问模型,研究在开放、动态环境下实现数据快速和远程存取的新途径。
4.针对下一代互联网对数据安全性的需求,结合存储对象的构成方法,研究在网络存储系统高速通道中实时实现数据加解密的原理和方法,保证数据的私有性。
5.鉴于现有网络存储接口协议种类繁多,拟选择主流的接口及协议进行研究,例如网络接口适配、FC接口适配、VI接口适配等。研究支持多种接口协议并存的高效、自适应协议变换原理与方法,实现异构存储设备的无缝连接。
课题三:海量数据网络存储系统的研究
计算机应用的不断深化,存储信息成为人类社会广泛而永恒的需求,当前尤为迫切。举凡国防建设、国民经济建设的重大项目都需要大容量存储,其需求容量大到PB级(千万亿字节)以上。
海量存储系统由大量(数以万计)的存储节点组成,系统的协同性,稳定性,系统的动态恢复,速度和流量调节,系统状态监测都是必须研究的课题。基于存储对象的层次性和可扩展性是组建PB级存储系统的重要研究内容。此外,系统的设计、验证和测试方法,安全协议的形式化描述和验证也都不能忽视。本课题将在理论基础上,研究基于存储对象的海量存储系统的组建方法。
关键性内容:
1.海量存储系统的组织方法
2.统一的全局数据视图及数据分片策略
3.存储虚拟化
4.数据高可靠性与可用性
a.关键字或内容快速检索的海量存储系统;
b.可动态扩展的网络存储系统;
c.高集合带宽的存储系统。
在组建方法的研究基础上,构建满足GIS需求的联邦分布存储系统,以适应GIS数据结构多样性、数据库多样性等需求。
课题四:对等存储模式下基于对象的数据组织与索引机制研究
目前,对等网络(P2P)模型从理论上给出了构建超大规模存储网络的理论基础,并且在信息共享领域已经突显其强大生命力,但其在存储稳定性和信息检索效率问题上还有很多不足之处,需要进一步研究。本子课题正是采用本课题的存储对象概念结合对等网络特点,提出组建高效和高可用的面向下一代网络存储的数据组织方案,并研究对等网络模式下数据之间的语义关系,提供高效简便的数据检索方法。研究内容包括,针对存储性能的对等网络路由优化、海量信息的快速方便定位、对等网络数据可靠性可用性研究以及存储与共享的协同工作等。
具体内容如下:
1.网络拓扑自适应调节方法。
2.海量数据对象检索和快速定位问题。
3.适应网络结构动态变化的共享信息获取方法。
4.永久性数据维护与动态数据共享的方法。
课题五:下一代互联网按需部署模型与存储服务质量研究
本课题包括下一代互联网的存储服务质量及其关键技术的研究和网络存储对象化及其动态部署的核心技术研究两部分。
下一代互联网的存储服务质量及其关键技术的研究包括:
1.从多维度、多层次构建海量信息网络存储系统的服务质量模型。
2.研究信息存储系统中计算和存储等资源的QoS服务协议。
3.研究高可扩展的、动态的数据信息组织结构和管理机制。支持广义的元数据组织、动态管理和容错,支持海量信息的高效安全存取。
4.研究智能数据代理机制、局部资源分配、可扩展的全局资源协调和冲突管理,支持服务的安全认证,提供一致的网络存储服务管理和资源定制的接口。
5.研究面向海量信息的柔性数据分布理论和算法。确定数据对象的存储策略,综合优化I/O访问性能、数据可靠性与维护成本。
6.研究海量网络存储系统的服务质量评价机制和量化算法,提出存储系统服务质量的评价方法,为存储资源的自主分配策略以及存储系统的服务质量动态优化提供依据。
课题六:分布式存储系统的应用——多媒体网络GIS及其关键技术的研究
随着地球空间信息技术的日益广泛应用,经济建设与社会发展和人们生活对多维动态GIS的需求越来越强烈。这类GIS最大的特点是基于多种传感器获取的持续空间数据呈海量增长,对这些数据只有按地区和领域进行分布式存储与管理才能满足全社会不断增长的需求。为了支持海量空间数据的分布式存储管理与高效应用,重点研究大型GIS中基于对象的存储和基于Agent的处理,验证基于对象的存储系统和网络环境下存储资源的高效管理方法的适用性,解决多媒体网络GIS面临的数据海量增长情况下的高性能应用问题。
主要研究内容如下:
1.基于分布式存储系统的多媒体网络GIS体系结构
2.基于分布式存储系统的多媒体网络GIS的数据存储方法
3.基于移动Agent的GIS中间件技术
4.建立一个基于分布存储的大型多媒体GIS示范系统,选择中国-湖北-武汉等不同地域范围的目标,收集多种尺度、多种类型的海量多媒体数据(图形、图像、文字、视频等),设计实现大型GIS的典型社会化应用服务功能。
|