信息存储系统教育部重点实验室

博士生陈梦雷的论文被会议FAST 2027录用


现代深度推荐系统广泛应用于电子商务、个性化广告等场景,依赖海量嵌入向量提供快速、精准的个性化服务。随着嵌入表规模增长至数十TB,单机内存难以经济高效地容纳这些数据。内存解耦能够提升资源利用率与扩展性,但远程嵌入访问会引入高昂的网络传输开销。存内计算(PIM)技术可将嵌入查找与归约操作下沉至远端PIM池,减少数据移动,但真实PIM系统仍面临处理单元内部并行效率不足、单元间负载不均衡以及主机与设备间传输粒度不匹配等挑战。

为了克服上述问题,实验室博士生陈梦雷在华宇教授的指导下,提出了一种面向真实PIM硬件的低成本、高性能解耦式推荐推理系统CloverRec。CloverRec通过细粒度的维度划分数据布局,实现DPU线程间无需同步的并行计算。通过基于冗余的动态数据放置机制,利用轻量级拆分与合并操作调整热点嵌入向量的副本分布,缓解DPU间的负载倾斜。同时,设计面向内存rank的层次感知数据传输机制,将数据传输与DPU计算流水化执行,降低传输放大并充分利用主机与DPU之间的带宽。在由8条UPMEM PIM DIMM和1020个DPU构成的真实PIM系统上,大量实验结果表明,CloverRec的吞吐量最高达到远程嵌入方案的8.18倍、朴素PIM嵌入方案的5.05倍,并取得了接近本地嵌入性能上界的表现。

这项研究工作题为“CloverRec: Cost-Efficient Disaggregated Processing-in-Memory Systems for Deep Recommendation Inference”,被中国计算机学会推荐的A类国际学术会议FAST 2027录用。研究工作得到了国家自然科学基金项目(No. 62125202No. U22B2022)的支持。

1 CloverRec系统总览图

注:本文为原创,如转载请注明出处。

分享文章

Share