当前位置:   article > 正文

7月9日直播|加速比5倍,提升推理速度,无损大语言模型加速算法的创新与应用,EAGLE & EAGLE-2...

7月9日直播|加速比5倍,提升推理速度,无损大语言模型加速算法的创新与应用,EAGLE & EAGLE-2...

64b022eb0efeba99e1a165edfe39bab1.png

报告主题:EAGLE&EAGLE-2: 无损大模型推理加速算法

报告日期:7月9日(周二)14:30-15:30

报告要点

本报告将介绍无损大语言模型加速算法EAGLE及其后续工作EAGLE-2(《EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty》和《EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees》)。EAGLE在更有规律的特征层而不是token层进行自回归,同时引入采样结果以消除不确定性。得益于这两点改进,EAGLE的草稿模型兼顾轻量和准确,将大语言模型的推理速度提升2.1x-3.8x,并保证输出的分布不改变。EAGLE-2引入动态草稿树,利用草稿模型的置信度近似草稿token的接受率,据此动态地调整草稿树的结构,提高了平均接受长度。EAGLE-2在保证不改变输出分布的基础上将EAGLE-1再次提升了20%-40%,加速比达到2.5x-5.0x。EAGLE和EAGLE-2也在工业界得到应用,集成至intel/intel-extension-for-transformers等。

报告嘉宾

李堉晖,北京大学智能学院硕士研究生,在张弘扬老师和张超老师的指导下进行研究工作,研究方向为大模型的加速和对齐。

49d0da154b8d6d0b3cbe14e9d54cc491.png

扫码报名


近期热门报告

64364b1e4f63c3aa64838d6c5dcf3866.jpeg

74f4a95240b24c291372aa4dedd21f66.png

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/运维做开发/article/detail/840492
推荐阅读
相关标签
  

闽ICP备14008679号