大模型的参数量会占用多少内存的计算方法_大模型存储需求计算

作者：2023面试高手 | 2024-02-18 01:29:48

踩

大模型存储需求计算

130亿个的单精度参数量共有13000000000个，每个单精度占用4个字节，因此总共需要的字节数为：

13000000000 x 4 = 52000000000 字节

换算成GB，约为：
52000000000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 48.3 GB

70亿个的单精度参数量共有7,000,000,000个，每个单精度占用4个字节，因此总共需要的字节数为：
7,000,000,000 x 4 = 28,000,000,000 字节
换算成GB，约为：
28,000,000,000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 26.1 GB

通过实验证明上述方法计算是正确的

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】