分布式存储系统广泛部署纠删码(Erasure Code)来保证数据可靠性,同时降低存储成本。然而纠删码的数据修复开销很高,修复1个数据块需要读取k个块。为了提升数据修复性能,现有的工作提出理论上修复带宽更低的纠删码,如再生码(Regenerating Code),或者基于经典纠删码(RS码)设计并行修复(Parallel Repair)算法。然而,再生码虽然理论上最小化修复带宽,但数据修复节点负载远高于其他节点,造成负载不均衡;基于RS码的并...
近日,实验室硕士生余祺、王霖论文《Boosting Multi-Block Repair in Cloud Storage Systems with Wide-Stripe Erasure Coding》被International Parallel & Distributed Processing Symposium(IPDPS 2023)概括:纠删码(Erasure Code)作为一种数据可靠性保障技术,被广泛应用在低成本、低冗余云存储架构中(例如,Azure Storage,Facebook F4,Microsoft Pelican)。近来,工业界推出了大比例纠删码的概念(例如,VAST)。...
Intel最新提出的eADR机制可以在系统掉电时将片上缓存区域的数据持久化到片下的非易失内存中。然而在系统掉电时,内存控制器中的加密引擎由于掉电以及缺少安全元数据而不工作。在eADR系统中,此时片上的明文数据会在未加密的情况下进入片下的非安全区域,这引起了数据安全问题。图1 Sepencr的整体架构为了解决上述问题,武汉光电国家研究中心华宇教授课题组提出了低开销的数据加密方案,称为Sepencr,如图1所示。Sepencr在内存控...
实验室博士生李鹏飞的论文“An Enhanced Physical-Locality Deduplication System for Space Efficiency”、博士生陈章玉的论文“Approximate Similarity-Aware Compression for Non-Volatile Main Memory”被Journal of Computer Science and Technology (JCST)录用。随着嵌入式设备、应用程序和系统产生大量数据,重复数据消除技术成为提高存储空间效率的关键。然而,现有的去重系统在消除重复数据后,存储系统中会产生大量碎...
实验室博士生李鹏飞的论文“ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”被The 21st USENIX Conference on File and Storage Technologies (FAST 2023)作为长文全文录用。与传统分布式系统不同的是,分离式内存系统将完整的服务器分成独立的组件以提高系统资源的利用率,包括由内存资源构建的内存池和计算资源构成的计算池。在这样的系统架构中,通过有序索引提供高效的范围查...
混合内存系统通过组合使用不同的内存技术,能够同时满足性能、能耗、容量、成本等多方面的需求,备受学术界和产业界的关注。由于不同内存技术存在性能差异,混合内存系统必须采用合适的数据迁移策略,将频繁访问的数据迁移至快速内存中,以提高整体性能。然而现有的数据迁移策略要么过于激进,导致了大量的无效迁移流量,要么过于保守,无法快速响应访问模式变化。此外,现有的方案通常忽视了元数据查询开销。实验室博士生彭...
随着Docker容器技术的发展普及,越来越多的企业开始利用Docker容器构建云平台。为了使Docker容器上托管的应用程序可以安稳运行,都会为其调配充足的资源。但大多数情况下托管的应用程序不是以最高负载的状态运行,并且CPU、内存等各项资源也不会同时处于最高负载的状态,因此预先调配的资源在大多数时候会处于空闲状态,从而造成了资源的浪费。当应用处在负载较高的状态时,预先分配的资源也不一定够用,在这种情况下,使用特定...
现代数据中心采用内存分离架构(memory disaggregation),将内存和计算资源从传统整机架构(monolithic architecture)中解耦出来,构建独立可扩展的计算池和内存池,有利于提高资源利用率、降低成本。持久内存(persistent memory)设备具备接近DRAM的读写延迟和非易失性,具有广泛应用前景,可用于内存池中,构建分离式持久内存池。为了向应用提供内存池数据访问的原子性和强一致性,需要采用分布式事务,其中,计算池运行大...
分离式内存架构在大规模数据中心中的应用近年来受到学术界和工业界的高度关注。通过将计算资源和内存资源以资源池的形式独立管理,分离式内存架构能提高资源利用率、提供故障隔离和弹性可伸缩的优势。复制状态机广泛用于大规模系统的容错,以提供可靠性和一致性。传统的复制状态机中,每个副本存储复制日志和状态机并且拥有参与部分协议的计算能力。然而,分离式内存架构具有资源不对称的特点,即内存结点具有大量内存但计算能...
近日,实验室博士生周恒论文ODLPIM: A Write-Optimized and Long-Lifetime ReRAM-Based Accelerator for Online Deep Learning、博士生彭周旋的论文“AGDM:An Adaptive Granularity Data Migration Strategy for Hybrid Memory Systems”、博士生袁莹的论文“TPP: Accelerate Application Launch via Two-Phase Prefetching on Smartphone”、博士生张鑫晏的论文“Multidimensional Features Helping Predict Failures in Prod...