蝴蝶书--ChatGPT基础科普

temperature的参数调整输出的概率分布，这个参数值越大，分布就看起来越平滑，也就是高概率和低概率的差距拉小了（对输出不那么确定）

Top-P在累计概率超过P的词里进行选择，对于概率分布比较均匀的情况，可选的词就会多一些（可能要几十个词的概率和才会超过P）

Few-Shot的边际收益在递减。大概8-Shot以下时，Prompt作用明显，但从One-Shot到8-Shot，Prompt的作用也在递减。超过10-Shot时，Prompt基本没作用了

不确定Few-Shot是不是在推理时学习到新的任务，还是识别出来了在训练时学到的任务。最终，甚至不清楚人类从零开始学习与从之前的样本中学习分别学到什么。准确理解Few-Shot的工作原理是一个未来的方向

RLHF：用强化学习的算法微调一个根据人类反馈改进的语言模型。重要的是，它调出了效果——1.3B的InstructGPT堪比175B的GPT-3

InstructGPT用了三个大的通用指标：有帮助、真实性和无害性，也就是说，我不管你是什么任务，你都得朝着这三个方向靠