热门标签
热门文章
- 1重塑未来的1课：组装式交付新引擎——华为云智能化低代码平台
- 2六款常用 SSH 远程连接工具_ssh工具
- 3零零信安-D&D数据泄露报警日报【第37期】
- 4【自然语言处理（NLP）】基于BiLSTM的关系抽取_semeval2010-task8加载
- 5nodejs实现rest接口_nodejs rest
- 6解决：ModuleNotFoundError: No module named ‘pymysql’_modulenotfounderror: no module named 'pymysql
- 7SpringBoot整合EasyExcel，Excel导入导出就靠它了
- 8FTP实验及概述_、实验目的.1. ftp 客户端。1)发送命令 is .2)发送命令 pwd .3)发送退出命令
- 9毕业设计 stm32的火灾监控与可视化系统(源码+硬件+论文)_基于stm32的消防安全系统答辩
- 10mysql数据类型和长度_mysql 新闻标题长度
当前位置: article > 正文
LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系_llm大模型组batch
作者：知新_RL | 2024-05-19 22:05:06
赞
踩
llm大模型组batch
对于LLaMa-6b模型来说
1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：
2、 每个样本需要的内存大小（）：
3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/594840
