大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题_大模型算法工程师面试题

+ 3. SFT 指令微调数据 如何构建?
+ 4. 领域模型Continue PreTrain 数据选取？
+ 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
+ 6. 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
+ 7. 进行SFT操作的时候，基座模型选用Chat还是Base?
+ 8. 领域模型微调 指令&数据输入格式 要求？
+ 9. 领域模型微调 领域评测集 构建？
+ 10. 领域模型词表扩增是不是有必要的？
+ 11. 如何训练自己的大模型？
+ 12. 训练中文大模型有啥经验？
+ 13. 指令微调的好处？
+ 14. 预训练和微调哪个阶段注入知识的？
+ 15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
+ 16. 多轮对话任务如何微调模型？
+ 17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
+ 18. 微调模型需要多大显存？
+ 19. 大模型LLM进行SFT操作的时候在学习什么？
+ 20. 预训练和SFT操作有什么不同
+ 21. 样本量规模增大，训练出现OOM错
+ 22. 大模型LLM进行SFT 如何对样本进行优化？
+ 23. 模型参数迭代实验
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

• 大模型（LLMs）langchain面
• • 1. 基于LLM+向量库的文档对话 基础面
    • 2. 基于LLM+向量库的文档对话 优化面
    • 3. 基于LLM+向量库的文档对话 工程示例面
    • 1. LLMs 存在模型幻觉问题，请问如何处理？
    • 2. 基于LLM+向量库的文档对话 思路是怎么样？
    • 3. 基于LLM+向量库的文档对话 核心技术是什么？
    • 4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？
    • 1. 痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失
    • 2. 痛点2：在基于垂直领域 表现不佳
    • 3. 痛点3：langchain 内置 问答分句效果不佳问题
    • 4. 痛点4：如何 尽可能召回与query相关的Document 问