深入浅出腾讯BERT推理模型--TurboTransformers_bert tvm

作者：爱喝兽奶帝天荒 | 2024-07-14 20:16:15

踩

bert tvm

TurboTransformers是腾讯最近开源的BERT推理模型，它的特点就是一个字，快。本人用BERT（huggingface/transformers）在V100上做了测试，测试结果和官宣的基本一致：TurboTransformers的推理速度要比Pytorch快上1~4倍。

图片来源：https://github.com/Tencent/TurboTransformers

它之所以快，是因为它是专用于BERT的轻量级推理模型。

不管是计算机的硬件、软件，还是现在的深度学习，它们都遵循着一个很重要的设计思想–分层：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/826191