赞
踩
节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂同学、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
今天我整理一下百度算法岗面试题,分享给大家,希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。更多技术交流&面经学习,可以文末加入我们交流群。
问题1:你比较关注哪些主流的开源大模型?
问题2:讲一下lora的原理
Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵,也就是在原始PLM旁边增加一个旁路,做一个降维再升维的操作。并在模型训练过程中,固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的参数叠加。用随机高斯分布初始化A,用0矩阵初始化B。
问题3:目前大模型模型结构都有哪些?
问题4: prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?
问题5: 模型幻觉是什么?业内解决方案是什么?
模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信息的情况下进行推理或生成时。业内的解决方案包括:
问题6:翻译任务一般用什么架构
翻译任务主要使用的是seq2seq架构,目前主流的翻译架构是基于Transformer模型的,它采用自注意力机制(self-attention)来捕捉输入序列中不同位置的关联信息,并通过编码器-解码器结构来实现翻译。
问题7:encoder-only, decoder-only, encoder-decoder的区别
Encoder-only:只有编码器,用于将输入序列编码成固定维度的表示,常用于特征提取。
Decoder-only:只有解码器,用于从固定维度的表示生成输出序列,通常在生成式任务中使用。
Encoder-decoder:同时包含编码器和解码器,用于序列到序列的任务,如机器翻译。编码器将输入序列编码成上下文信息,解码器使用该信息生成输出序列。
问题8:讲一下transformer的结构
Transformer模型由编码器和解码器组成,其核心是自注意力机制。每个编码器和解码器均由多个相同的层叠加而成,每一层包含自注意力子层和全连接前馈网络子层。输入序列通过多头自注意力机制进行处理,然后通过前馈网络。每个子层后都有残差连接和层标准化。编码器和解码器之间通过编码器-解码器注意力连接。
问题9:见一下Flash Attention的原理
Flash Attention从attention计算的GPU memory的read和write方面入手来提高attention计算的效率。其主要思想是通过切块(tiling)技术,来减少GPU HBM和GPU SRAM之间的数据读写操作。
问题10:fp32和fp16的区别,混合精度的原理
fp32:32位浮点数,占用4字节,提供高精度的数值表示。
fp16:16位浮点数,占用2字节,提供相对较低的数值表示精度,但在许多情况下仍足够。
混合精度指的是在模型训练中同时使用fp16和fp32,以在计算中提高效率。通常,模型参数使用fp16表示,而梯度和累积值使用fp32表示。这样可以减少内存占用和计算开销,加速训练过程。
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了算法岗技术&面试交流群, 想要进交流群、获取完整源码&资料、提升技术的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。
方式①、微信搜索公众号:机器学习社区,后台回复:技术交流
方式②、添加微信号:mlc2060,备注:技术交流
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。