当前位置:   article > 正文

大模型岗位面试总结,靠它轻松拿下offer

大模型岗位面试总结,靠它轻松拿下offer

节前技术群邀请了一些参加大模型面试(含实习)的同学,分享他们面试算法工程师(大模型方向)的宝贵经验。

之前总结链接如下:

超全总结!大模型算法岗面试真题来了!

面了 5 家知名企业的NLP算法岗(大模型方向),被问麻了。。
今天我继续整理,分享给大家,希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。
网易

大模型日常实习就中了,我要去网易做大模型实习生啦。

一面

1.文本生成的几大预训练任务?

2.多模态中常见的sota模型,clip为什么效果好

3.多模态大模型有哪些?介绍一下stable diffusion的原理

4.chatglm的原理,其结构,其训练过程

5.instructGPT的原理,讲讲rlhf和reward

6.手写一个文本生成的生成器

二面

1.讲讲T5和Bart的区别,讲讲bart的DAE任务

2.讲讲Bart和Bert的区别,分析下为什么MLM任务能在预训练任务界占这么重要的地位。

3.讲讲项目中对比学习的应用,解释下什么是曝光偏差

4.对比学习负样本是否重要?负样本构造成本过高应该怎么解决

5.项目中提出的利用对比学习解决曝光偏差问题的想法来源?为什么能想到这么做,这么做带来的收益如何?

6.有没有微调过大模型,介绍一下lora的原理和ptuning的原理

7.讲下自己认为自己做事和学习上的缺点与不足

自我感觉答的不错,面试官在面试过程中频频点头,应该印象不错。面完第二天就收到offer了。

美团

岗位:大模型算法岗(日常实习)

一面

面试官是一名温柔小姐姐吖,下面是面试过程:

1.自我介绍 (让我开一下摄像头)

2.聊聊你自我介绍中提到的自己的论文

3.论文录用概率大吗(论文在投)

4.AI大模型的训练过程

5.大模型的优缺点(以及你自己的角度体验到的)

6.大模型的用户体验感最注重哪几个方面

6-2.你自己使用过程中,大模型你感觉体验感怎么样

7.目前市面上有哪些大模型

8.你的最大优点和缺点

9.你认为这个岗位的职责,以及需要具备哪些能力

10.聊了聊大模型在美团业务中可以用来做什么

11.你用过大模型哪些功能?

12.最快什么时候能入职

我提问:1.岗位待遇 2.有几面 2,业务面和HR面 3.有转正机会吗

理想

大模型面经

一面

自我介绍,讲一下大模型应用项目(我讲的nl2sql的项目)

项目背景,总体思路,解决什么问题,指标是什么

细节拆分:

1.数据集怎么构建的,什么规模,有没有质量评估

2.模型底座是什么,这些不同底座什么区别,什么规模

3.训练方法,用的什么sft,有什么不同,有什么优缺点,原理上解释不不同方法的差别

4.评估指标是什么,这些指标存在哪些问题

5.模型推理是怎么做的,有没有cot,tot等等,还是单轮

6.模型可控性如何实现,怎么保证可控性

7.模型部署的平台,推理效率怎么样,如何提升推理效率

8.有没有上线,面临什么问题,怎么解决

9.给一个总的输入输出样例,每一步包含什么prompt,多轮推理每一步输出什么结果,模拟一下,数据集格式是否要调整成这样,数据形式是什么,怎么拆分成多轮形式等等。。

到这里项目差不多了大概问了45min

然后是八股+开放式问题 1.大模型前景

2.大模型主要存在的问题和解决思路(幻觉,定向编辑,继续训练等等)

3.大模型加速框架了解多少,知不知道原理 如何进行加速优化

4.为什么要用大模型做传统结构化解析任务 你对用大模型做这些事有什么看法

到这差不多1小时

最后是能不能实习,对最新的研究了解多少,看过多少最新论文等等

我本以为结束了,但是,最后我们来做一道题吧

题我忘了,好像是一个迭代法求根的题,反正当时已经神志不清了,好像没ac

二面

很简单,感觉是部门leader,简单问了问项目,普通八股,大模型上线会有什么问题,占用多少资源,怎么优化等等,比一面简单太多

长亭科技

岗位:大模型

面试官挺和蔼的,整体偏向互相交流学习,没答出来的他还说没关系,这是个不断学习的过程。不是压力面真好!

面试内容偏向八股、基础知识,项目和论文问的少。

自我介绍

介绍Transformer

有哪些encoder-only、decoder-only、encoder-decoder结构

介绍BERT(项目、论文、实习里用的都是bert,没用过其他结构)

我目前的研究基本上用BERT+线性层之类的来做,问我LLM出现后分类任务会被取代吗?

BERT、GPT如何分词,有什么区别

常见的位置编码

BERT里的可学习参数矩阵来表示位置编码,对于长文本呢》超过这个长度怎么办?

Attention,为什么有Multi-head,作用是什么。BERT里head数是多少,我说bert-base是12,反问为啥是这个数,是基于啥算法得到的还是经验设计的,我猜测是通过实验观察得到

面试官偏向用GPT系列的decoder结构,对BERT这些记不太清了,所以一直在问这方面的内容,我也表示了确实主要用的还是BERT,但目前的大模型也确实都基于decoder架构来做。

介绍项目的收获与其中的难点。

具体想做算法哪方面,一开始没理解还以为是具体的NLP任务场景,我说都可以做,后来又追问,说是偏数据工程还是模型设计还是模型训练,我脑子一抽说了模型设计,面试官反问说模型设计现在基本上没什么可以改进的了,LLM都基本用decoder结构,然后我说这仨我都可以接受,主要是确实都能做啊,也没啥特别喜爱的QAQ 反问,主要业务场景(安全领域的大模型)、需要具备的技能(追踪最新的SOTA、读paper、理解能力、持续学习能力、动手能力、思考能力)

总体来说 还是一场体验感不错的面试,也没有任何刁难,不会的问题面试官也一直说没关系。像是互相在探讨学习的一个过程~

淘天

大模型(日常实习)

  1. llama 7b 为什么比其他基座好,与gpt3比做了什么改进:数据上质量更高,结构上用的RoPE+SwiGLUE

  2. GQA可以给训练加速吗

  3. 检索增强怎么做的

  4. 长度外推除了ROPE还有什么方法

  5. Baichuan和chatglm2有什么不同,数据上,训练上,结构上

  6. Visualglm图片怎么处理的:blip-qformer

  7. Transformer结构,一层层讲

  8. Visualbert什么结构

  9. RLHF流程:一个actor,一个critic,一个reward model。将sft后的模型输出后生成回答,回答+答案输入RW得到分数(取最后一个token投影一下)

  10. Reward model怎么训练的,损失函数是什么:

  11. 提示工程的fewshot有什么做法:聚类

  12. Chatglm2与1有什么区别

  13. Chatglm2对话权重不一样的原因:

  14. 为什么chatglm系列的用ptuning比lora好

  15. Ptuning是怎么样做的大概讲讲:前面cocat可学习参数,多了一个MLP层,代码中在k,v矩阵中concat矩阵参数

  16. Lora怎么做的?为什么只调q,v矩阵或者q矩阵?别人实验这样做不代表在你这个场景下这样做就是对的?

  17. 为什么模型都聚焦于decoder-only而不是encoder-only或者encoder-decoder:

  18. Self-consistency是什么

太初

大模型算法

面试内容:

  • 自我介绍

  • 实习内容介绍

  • 数据并行

  • ft框架

  • 随机森林

  • gbdt

  • 优化器了解哪些

  • bert和gpt

  • transformer结构

  • 线上服务推理如何提高吞吐量

  • 手撕:链表加法

(完)

附上技术清单

在这里,我们想要强调的是:成功求职并不是一件难事,关键在于你是否做好了充分的准备。通过学习和掌握AI技术的相关知识和技能,了解面试中可能出现的问题和技巧,你就能够在面试中展现出自己的专业素养和实力,赢得面试官的青睐和认可。因此,让我们一起努力,用知识和技能武装自己,迎接AI时代的挑战和机遇吧!
有需要的朋友可以扫描下方二维码,免费获取更多相关资料!
请添加图片描述

最后,祝愿所有转行、求职的同学都能够在AI产品面试中取得优异的成绩,找到心仪的工作!加油!

大模型基础面

在这里插入图片描述

大模型进阶面

在这里插入图片描述

大模型微调面

在这里插入图片描述

大模型langchain面

在这里插入图片描述

大模型推理面

在这里插入图片描述

更多面试题分享

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/1002312
推荐阅读
相关标签
  

闽ICP备14008679号