当前位置:   article > 正文

Panmnesia - A SW-HW Framework for AI-Driven ANNS Utilizing CXL Memory Pool_cxl-anns

cxl-anns

摘要

1. AI驱动ANNS简介: 该演讲介绍了一个利用CXL(计算快速链接)内存池的AI驱动近似最近邻搜索(ANNS)的软硬件框架。ANNS对于搜索引擎和推荐系统等服务至关重要,它可以找到与查询相似的对象,通常需要处理包含数十亿数据点的数据集,这需要大量内存。

2. 挑战与提出的解决方案:传统的ANNS由于CXL的“远内存类”特性而面临性能限制,导致高延迟。提出的解决方案是一种软件和硬件协作方法,该方法缓存频繁访问的数据,并优化计算以最小化数据传输开销。这种方法大大提高了性能,相比于拥有无限本地DRAM的系统。

3. 基于图的ANNS和内存压力问题: 演讲深入探讨了基于图的ANNS的工作原理,这些ANNS因其准确性和性能而被使用,但在处理大型数据集的生产环境中对系统造成了巨大的内存压力。

4. 技术方法与创新: 该方法包括在本地内存中缓存“内部节点”和在CXL端点加速距离计算,从而减少数据传输开销。设计涉及根复合体侧的复杂软件堆栈和端点侧的硬件堆栈,重点优化内存分配和数据传输。

5. 性能评估与结论:评估结果显示,提出的基于CXL的ANNS框架在性能上大大超过了传统系统,包括那些拥有无限本地DRAM的系统。这种改进归功于对大型数据集的高效处理和数据传输开销的减少,显示出高可扩展性和性能,同时不牺牲准确性。

背景

KNN

ANNS

Graph-based ANNS

Challenge:对内存访问更大的要求

现存的解决方法

方法一:压缩

方法二:分层

新方法

内存分解:内存统一编址

CXL内存的flit

当前的CXL内存的延迟slowdown

Observation

设计架构

软硬协同架构

本地缓存

CXL内存池的数据放置

加速算法

Evaluation

实验效果

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/766180
推荐阅读
相关标签
  

闽ICP备14008679号