信息存储系统教育部重点实验室

博士生杜静文的论文被期刊TACO录用


分离式内存架构在大规模数据中心中的应用近年来受到学术界和工业界的高度关注。通过将计算资源和内存资源以资源池的形式独立管理,分离式内存架构能提高资源利用率、提供故障隔离和弹性可伸缩的优势。复制状态机广泛用于大规模系统的容错,以提供可靠性和一致性。传统的复制状态机中,每个副本存储复制日志和状态机并且拥有参与部分协议的计算能力。然而,分离式内存架构具有资源不对称的特点,即内存结点具有大量内存但计算能力有限,不足以参与复制状态机协议;计算结点具有处理请求的计算能力但是仅包含少量内存作为缓存,不足以存储复制日志和状态机。因此,传统复制状态机在分离式内存架构中不再适用,针对分离式内存架构设计复制状态机十分必要。

图1:ECHO整体架构图

信息存储与光显示功能实验室博士生杜静文,在冯丹教授、王芳教授的指导下,分析了针对分离式内存架构设计高性能复制状态机存在的三大挑战:1、低效的日志复制和远端应用;2、棘手的线性一致性保证;3、慢速的协同器故障恢复。为了解决以上三大挑战,我们提出了第一个为分离内存设计的高性能复制状态机ECHO。为了提供轻量级的日志复制和远端应用,ECHO耦合复制日志和状态机来避免双重拷贝开销,同时利用修改索引来进行远端应用;ECHO利用搭便车的日志状态修改策略来减少额外的网络往返;为了提供高效的线性一致性保证,ECHO在日志复制后立即进行远端应用并利用协同者的本地锁来保证线性一致性。此外,ECHO采用提交感知的日志缓存使得数据在提交后立即可见。ECHO利用提交点识别策略来减小日志一致性恢复开销从而实现快速的协同者故障恢复。实验结果表明ECHO在多个场景下优于当前支持分离式内存的复制状态机。比如:在典型的写密集工作负载下,ECHO的吞吐量提升了27%-52%。此外,协同器故障恢复时,ECHO将日志一致性恢复时间降低了3个数量级。该研究工作得到了国家重点研发计划(No.2018YFB1003305)和国家自然基金(61832020、61821003)项目的资助。

图2:(a)不同值大小的insert/update操作吞吐(F=1);(b)(c)不同工作负载下的吞吐比较(F=1)

注:本文为原创,如转载请注明出处。

分享文章

Share