信息存储系统教育部重点实验室

博士生陈梦雷的论文被会议ICDE 2027录用


现代深度推荐系统广泛应用于电子商务、个性化广告等场景,依赖海量嵌入向量提供快速、精准的个性化服务。为了降低访问后端存储的开销,系统通常利用高速内存缓存嵌入向量。然而,一次推荐推理需要同时获取一组嵌入向量,即使其中仅有一个向量未命中缓存,也会因访问慢速存储而增加推理延迟。传统缓存策略主要优化单个对象的命中率,难以有效提高整组向量全部命中的概率。同时,用户兴趣与内容热度持续变化,也使缓存策略面临动态适应的挑战。

为了克服上述问题,实验室博士生陈梦雷在华宇教授的指导下,提出了一种面向深度推荐推理的自适应组感知缓存方案VineCache。VineCache设计了动态经验值评分机制,根据嵌入向量对整组命中的贡献评估其缓存价值,并通过组感知优先级加权机制,促进有潜力的新向量进入缓存,抑制过时热点长期占用缓存空间。在此基础上,VineCache结合多级淘汰与老化机制适应访问模式变化,并利用强化学习自动调整关键参数。研究团队将VineCache集成至Meta开源的DLRM框架,并在Criteo-Kaggle、Criteo-TB和Avazu等真实数据集上验证其缓存效率。基于SSD后端的Criteo-Kaggle端到端实验表明,相较LRU、LFU和EV-LFU等基线方案,VineCache-LRU使推理延迟平均降低约14%,吞吐量平均提升13.9%。

这项研究工作题为“VineCache: Adaptive and Group-Aware Embedding Caching for Deep Recommendation Inference”,被中国计算机学会推荐的A类国际学术会议ICDE 2027录用。研究工作得到了国家自然科学基金项目(No. 62125202No. U22B2022)和湖北省自然科学基金项目(No. 2026AFA002)的支持。

图1 VineCache总览图

注:本文为原创,如转载请注明出处。

分享文章

Share