热门标签
热门文章
- 1动态规划_状态转移方程和初始条件
- 2【前端MVC】如何理解angular的MVC模式_angular mvc
- 3【Scala_笔记】_scala2.13支持那个版本spark
- 4windows下hadoop的resourcemanager与nodemanager无法启动：Error starting NodeManager
- 5log4J 日志信息log4j.xml配置说明_swhcrm
- 6中间件-RabbitMQ学习笔记_rabbitmqctl stop
- 704-安全启动介绍_secure boot
- 8创建 ComfyUI 自定义节点的基本指南_comfyui自定义节点
- 9思科模拟器配置-NAT 概念与实训_思科模拟器实验
- 10(附数据集)基于lora参数微调Qwen1.8chat模型的实战教程_微调qwen模型
当前位置: article > 正文
LLM大模型训练和预测如何计算算力需求？_大模型算力需求测算
作者：木道寻08 | 2024-07-09 10:00:11
赞
踩
大模型算力需求测算
架构+数据+算力
- 8*A100 微调大模型 lora工具微调
- 内容审核:输入的审核 生成的审核;
- GPU并行处理能力
算力计算
一个LLaMA-6B的数据类型为Int8
模型参数 6B1bytes = 6GB
梯度 6B1bytes = 6GB
优化器参数 Adam 2倍模型参数:6GB*2 = 12GB
训练共24GB的显存
推理算力
模型参数 6B*1bytes = 6GB
推理共6GB的显存
Transformer
1, 多头注意力
2. Transformer可以取代CNN,也就是使用Transformer可以做视觉
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/802083
推荐阅读
相关标签
