暑期实习面经（NLP 方向）达摩院、腾讯、微软、美团、百度

本人情况：双非本末流985研二，爱奇艺 NLP 日常实习经历，无论文，投的都是 NLP 算法岗。

目前到手：微软、腾讯，应该是选微软了吧

阿里达摩院（挂）

一面（45分钟）

上来面试官介绍他们组情况，问我有什么想问的？我有点懵逼，这不是一般最后的环节吗。

1. 问研究生期间的研究方向；
2. 研究内容有提到 DSSM，询问是否知道现在对 DSSM 的改进模型，回答不知，现在更多做的生成模型，因此问题转到生成模型；
3. 询问对生成模型的了解，发展情况，询问项目中的难点，回答解码策略，谈到了 Beam Search 和 Random Sample 策略。
4. CNN 模型中池化层的作用，Max Pooling 是如何反向传递梯度的。
5. 机器学习中正则化做什么的？约束模型参数，防止过拟合。
6. 正则化有 L1 和 L2 正则化，区别是什么？扯了一下解空间什么的，这一部分参看《百面机器学习》中 【L1 正则化与稀疏性】部分的内容，基本就是我遇到的问题了，我没回答上。
7. 问深度学习，Transformer 模型架构说一下？按照图结构 balabala 说下。
8. Dropout 有什么作用？类似于 Bagging 。在 Transformer 模型中 dropout 主要用在哪里？dropout 在每个子层之间，设置为 0.1。看过源码吗？看过源码，看的哈佛实现的那一版本。（面试官应该也看过这个版本，说写的很好）
9. Transformer 和 BERT 的位置编码有什么区别？
10. Transformer 用的 Layer Normalize 还是 Batch Normalize？Layer，有什么区别？...
11. 传统机器学习会哪些？决策树和 GBDT 区别说下。
12. Sigmoid 和 ReLU 区别，ReLU 解决了什么问题。
13. 怎么学统计机器学习的？看视频...
14. Python、C++、Java 哪个用的多一点？值传递和引用传递区别。
15. Python 垃圾回收了解吗？用过，细节不清楚。
16. 进程和线程区别
17. Linux 多个进程如何通信的？socket 和管道
18. 贪心和 DP 区别？
19. DP 的一般做法流程？
20. 开放问题，海量商家和海量语料，语料不平衡，语料对商家 group by 后按照时间排序，怎么解决。先扯了下哈希分桶，不平衡用归并排序。

结束，他觉得还 OK，问了下有啥改进的？他说问机器学习这部分可以多看看，因为一方面部门有发论文要求，另一部分可以看出一个人的求知欲。。。

二面（80 分钟）

面试官是个学术大佬，全程项目细节+前沿模型理论+项目落地实践，谈的多的主要包括有：

1. DSSM 语义匹配模型及其变种
2. 预训练模型：Transformer、BERT、UniLM 等等模型细节，区别，模型中的 Attention 使用、Mask 使用
3. 文本生成任务实际问题：一对多训练如何训练（从数据角度、模型角度创建一对一条件）、如何创造无监督标签、如何提高生成文本的信息含量避免安全回复生成。

卒

腾讯

投的 WXG，打电话问了下时间就再也没后续了，被 PCG 捞了，难受。

QQ 看点 一面（60分钟，挂）

1. 自我介绍
2. 个人研究内容，做法模型细节
3. 爱奇艺实习内容，细节
4. 做道题，输出全排列，递归做法

非做题部分大概有 50 分钟，做题给了 15 分钟，实际可能 5 分钟。

不知为何挂了。。。

腾讯新闻 一面（80 分钟）

面试官感觉没看过简历，非常不耐烦什么的，语气也不是很好

1. 谈下你做过项目（就是问简历），说了下研究内容与实习
2. 研究内容的流程细节
3. 实习经历简要掠过
4. Dropout 了解吗，说下作用，白板编码实现一下？
5. 梯度爆炸梯度消失了解吗？
6. 一堆恶意文本 case，怎么检测去除（一些网页上的广告评论），传统方法、AI 方法
7. 最长重复子序列，我自己实现了个暴力，又写了个动态规划。
8. 有序含重复值数组找某个值第一次出现的位置。

腾讯新闻 二面（80 分钟）

1. 研究内容，并画出 Seq2Seq 模型结构；
2. 实习工作细节，如何引入知识图谱（不会，随便说了下）；
3. 天池比赛细节，思路来源；
4. Python 列表合并方法有哪些：加法、extend，区别，旧内存如何处理；
5. 概率题：甲乙扔骰子，获胜概率相同，投 10 次，已经 5 次了，甲已经赢了 3 次，问甲获胜概率。

腾讯新闻 HR 面

起床前来了个电话大概五分钟，谈了下实习时间、地点，实习不一定能转正什么的。官网状态变成了已完成，说本周或者下周一二给 Offer。

微软

一面 IC1（50 分钟）

1. 问研究方向与实习工作内容
2. Transformer 结构，BERT 有几种 Embedding 编码，分词方法？
3. 能否实现下 Word Piece ？忘了步骤了，换成实现一下从若干文件中生成一个词典，即 word2idx 和 idx2word
4. 算法题：给一个数组 A = [2, 4, 8, 3] 输出一个数组 B，其中 B[i] 值为 A 中小于 A[i] 的元素值之和，B 应该为 [0, 5, 9, 2]（小于 2 的有 [0]，小于 4 的有 [2, 3] ...）
5. 上述题目用到了 sort 能否自己写一下 sort 函数，写了个快排

二面 Lead（60 分钟）

微软有 IC1 和 IC2 平行两轮，任意一轮通过则进入 Lead 面，后续可选可能存在 AA 面。

1. 自我介绍
2. 问研究方向和实习工作内容（30分钟左右），主要还是研究方向的背景和任务、实习期间的工作，遇到什么问题，怎么解决的
3. 算法题 1：原地移动数组，使得元素对应顺序不变，0 值移动到末尾，LeetCode 283
4. 算法题 2：二叉树直径，LeetCode 543

美团

一面（40 分钟）

1. 研究方向和实习
2. 开放性问题：如何根据美团的商品评论，生成商品的描述。传统抽取方法，语料大后上深度模型。采用类似于 TF-IDF 的思想避免抽取的描述太大众化没有特点。
3. 算法题：打印 N 个数组整体最大的 Top K：有 N 个长度不一的数组，所有的数组都是有序的，请从大到小打印这 N 个数组整体最大的前 K 个数。

二面（60 分钟）

1. 研究方向与实习经历
2. 天池比赛怎么做的（唯一一个问我比赛的）
3. 算法题 1：牛妹在练习打字，现在按照时间顺序给出牛妹按下的键（以字符串形式给出, '<' 代表回退 backspace，其余字符均是牛妹打的字符，字符只包含小写字母与 '<'），牛妹想知道最后在屏幕上显示的文本内容是什么。（用个栈即可）
4. 算法题 2：在这个特殊的假期里，由于牛牛在家特别无聊，于是他发明了一个小游戏，游戏规则为：将字符串数字中为偶数位的数字进行翻转，将翻转后的结果进行输出。（头尾双指针)
5. 算法题 3：牛牛有一个 n 个数字的序列，现在牛牛想把这个序列分成 k 段连续段，牛牛想知道分出来的 k 个连续段的段内数字和的最小值最大可以是多少？（我用的递归，似乎大数据过不了，应该考虑尾递归或者用个 Map 存一下已经计算过的片段值）

三面（50 分钟）

1. 自我介绍
2. 研究内容细节，实现方法，准备如何使用 BERT，BERT 这一块问的很多，包括对 BERT 怎么理解的等等。
3. 实习经历细节
4. 算法题：最长公共子串
5. 提问环节：问了下对方工作内容与现行技术，基本以 BERT 为主的各种文本任务。

百度

官网投递，笔试两道编程都没 AC，其他倒是写了很多

一面 （50 分钟）

1. 项目研究内容，粗谈一下，没问细节；
2. 概率题，三个硬币，一个硬币两面人头，一个硬币一面人头一面数字，一个硬币两面数字，问随机拿去一个硬币，其中人头向上，问另一面人头也向上概率；
3. 编程题：升序倒序数组找 target，做题有点久，其他很短

二面（40 分钟）

1. 数组 Top K 数
2. 个人研究怎么做的
3. 谈谈 Transformer、BERT、GPT2
4. Sigmoid、Tanh 函数与导数
5. 梯度爆炸怎么解决
6. 最近在看什么论文

二面没了应该挂了

网易（挂）

投的网易有道 NLP 岗位，笔试编程感觉做的还凑合来着：100，90，60，10，最后却笔试挂了。

字节跳动（挂）

AI Lab 算法岗，内推简历挂，挂的莫名其妙，可能是官方简历没填内容只添加了附件。