革新性技术：基于搜索操作的存内计算

革新性技术：基于搜索操作的存内计算

在当今快速发展的科技领域，计算机架构的不断创新成为推动技术进步的关键之一。本文将聚焦于一项引人注目的技术——基于搜索操作的存内计算。这项技术在加速GPU、提高性能、降低能耗方面展现出了惊人的潜力。

CSDN首个存内计算开发者社区

CSDN首个存内计算开发者社区来了，基于知存科技领先的存内技术，涵盖最丰富的存内计算内容，以存内技术为核心，史无前例的技术开源内容，囊括云/边/端侧商业化应用解析以及新技术趋势洞察等， 邀请业内大咖定期举办线下存内workshop，实战演练体验前沿架构；从理论到实践，做为最佳窗口，存内计算让你触手可及。
传送门：https://bbs.csdn.net/forums/computinginmemory
首个存内计算开发者社区，0门槛新人加入，发文享积分兑超值礼品；
成为存内计算大使，享受资源支持与激励，打造亮眼个人品牌，共同引流存内计算潮流。

NVALT：近似查找表的艺术

首先，让我们认识一下NVALT（NV Approximate Lookup Table）。这是一个专为加速GPU而设计的近似查找表。其独特之处在于，它通过挖掘GPU应用中的数据局部性，建立高效的近似功能单元，实现了卓越的性能提升。

NVALT的设计理念是在重复出现大量乘加操作的块中寻找数据局部性。通过线下预处理，NVALT识别并存储每个程序常用的数据输入模式和对应的输出模式。运行时，NVALT搜索存储在Content Addressable Memory（CAM）中的输入数据，并返回与输入模式最相似的条目对应的输出结果。在精度损失控制在10%以内的情况下，NVALT不仅取得了4.5倍的能耗节约，更实现了5.7倍的性能提升。

MAP：存内计算的未来

另一个令人振奋的存内计算代表就是MAP（Memory Acceleration Processor）。MAP的系统结构引入了基于忆阻器的内容寻址存储（RCAM）、控制器、指令缓存器等关键组件，使其成为一款强大的近似计算协处理器。

MAP通过RCAM存储所有指令所需的数据，采用比较电路找出匹配的行，实现存内计算。其高度并行的特性使得查找一个512行的表仅需约2纳秒。令人印象深刻的是，MAP相较于传统的冯·诺依曼架构，取得了80倍的能耗节约和20倍的性能提升。

SQL-PIM：数据库的未来

对于关系型数据库，Tsinghua University的研究者提出了SQL-PIM（SQL Processing In Memory）。这一存内计算系统结构不仅支持直接读取行和列的操作，还能实现限制查询、规划查询和聚合查询等复杂操作。

SQL-PIM通过限制查询语句、规划查询语句和聚合查询语句，有效地降低了片上缓存不命中带来的时间和能耗开销。通过特殊关联分割的方法，SQL-PIM将大表存储在多个存内计算阵列中，显著减少了每个计算阵列之间的通信。实验证明，与传统的内存数据库相比，SQL-PIM在能耗上能达到4-6个数量级的节约。
限制查询语句是找出表中符合给出规定的一系列数据, 这些规定可以是数值逻辑或者是非逻辑的条件语句, 通常用 WHERE 语法来操作; 规划查询语句是找出表里含有特定参数的条目或者特定的列, 通常用 SELECT 语法进行操作; 聚合查询语句是对一些给定条件的条目做加操作, 通常用类似 SUM 语法来求一系列值的和。

内存计算架构与技术小结

内存计算面向的应用有如下特点:
(1) 数据密集, 在普通冯 · 诺依曼结构中有大量的内存访问;
(2) 数据局部性差, 片上缓存命中率低;
(3) 计算密集且计算形式简单, 易于并行.
内存计算包含两大类:近数据计算和存内计算. 近数据计算通常使用 3D 堆叠的内存结构, 在内存中集成计算逻辑芯片, 并用高速通道将计算单元和内存单元相连接, 存算依然分离. 存内计算直接使用内存单元做计算, 利用电流、电压、电阻等物理量之间的关系表示某类计算. 近数据计算相比于存内计算灵活度更高, 能支持较多算子; 存内计算虽然能支持的算子较为单一, 目前能支持向量乘矩阵算子, 按位逻辑操作, 或者搜索操作, 但是其计算速度快且能耗低. 设计内存计算架构时, 设计者需要根据应用场景的需求 (应用中算子的类型、延迟和能耗的限制等) 进行选择, 必要时也可结合使用近数据计算和存内计算两种技术,充分利用两者优点。

从NVALT到NVQuery：存内计算的探索与前景

我们继续探讨基于搜索操作的存内计算，聚焦于另外两个引人瞩目的代表性工作：NVQuery和更为综合的存内计算小结。

NVQuery：RCAM的魔法

NVQuery是另一款利用RCAM支持多种查询语句的存内计算加速器，其系统结构与MAP相似。NVQuery不仅支持聚合、预测、按位操作，还能进行精确的最近距离查找。

为了支持最近距离查找，NVQuery提出了比特线驱动的策略，将权重加到相应的比特位上。实验证明，相较于传统的冯·诺依曼系统结构，NVQuery带来了惊人的性能提升和能耗节约，分别达到了49.3倍和32.9倍。

NVQuery也是利用 RCAM 支持多种查询语句的存内计算加速器, 其系统结构和 MAP 相
像. NVQuery 能够支持聚合、预测、按位操作, 以及精确的最近距离查找. 为了支持最近距离查找,
NVQuery 提出了比特线驱动的策略, 将权重加到相应的比特位上. 实验显示, 与传统的冯 · 诺依曼系
统结构相比, NVQuery 带来 49.3 倍的性能提升和 32.9 倍的能耗节约

存内计算小结：创新与展望

综合来看，存内计算在支持特定算子（主要是向量乘矩阵算子）、按位逻辑操作和搜索操作方面取得了显著的性能优势。尽管与近数据计算相比，存内计算的设计灵活度相对较低，但其高效的性能和低能耗令人瞩目。

存内计算的核心思想是充分利用新型存储的物理结构和特性来支持应用程序中频繁出现的算子。研究者们也致力于解决存内计算模块互联、数据流设计、数据映射策略以及与现有存储系统的融合等问题，以期进一步提升存内计算的性能和适用范围。

在未来的技术发展中，存内计算有望与其他计算模型相结合，以更好地适应不同的应用场景。无论是处理数据密集的GPU应用，还是提升数据库查询性能，存内计算都展现出了强大的应用潜力。

技术展望与总结

基于搜索操作的存内计算，虽然在支持算子方面相对较少，但其性能和能耗方面的优势使其成为当前备受关注的技术。存内计算的核心思想是利用新型存储的物理结构和特性，支持应用程序中频繁出现的算子。

在未来的计算机架构设计中，我们或许会看到存内计算与近数据计算相结合，以充分发挥两者的优势。设计者需要根据应用场景的需求，选择适当的技术。无论是NVALT的灵活性、MAP的高性能，还是SQL-PIM的数据库加速，这些都是当前计算领域不可忽视的技术创新。

存内计算，潜力无限，引领着计算科学的未来。随着技术的不断发展，我们期待看到更多基于搜索操作的存内计算的应用，为计算领域带来更大的突破和创新。

结语

基于搜索操作的存内计算，以其独特的设计理念和卓越的性能，在计算科学领域崭露头角。从NVALT、MAP、SQL-PIM到NVQuery，这些代表性工作共同描绘出存内计算的发展轨迹。

在这个科技激荡的时代，我们期待存内计算能够成为推动计算机架构创新的强大引擎。随着研究者们不断的探索和突破，存内计算有望为未来的计算科学带来更多的惊喜和可能性。让我们拭目以待，见证存内计算为技术世界注入新的活力和活力。

本文学习总结参考于：
《中国科学 : 信息科学，内存计算研究进展》