算法大佬教你社招如何收割offer (抖音/蚂蚁/寒武纪/国企研究院等)

小红书一面：
1，聊项目
2，你们的训练集和验证集，测试集分别是多少？怎么来的？
3，宏平均和微平均是用来干什么的？是如何计算的？他俩的主要区别？
4，知识蒸馏为什么有效，详细介绍一下知识蒸馏？
5，强化学习适合在哪些场景使用？
6，智力题：如何用rand6实现rand10
代码题：
lc 76，最小覆盖子串

小红书二面：
1，聊项目
2，layer normalization的好处是？和batch normalization的区别？你有没有看过有的transformer也用bn？
3，BERT的主要改进，包括结构的改进，预训练方式的改进，都说一下？（这里能说的很多，挑自己熟悉的说就行）
4，Reformer中，LSH（局部敏感哈希）是如何实现的？
5，CRF和HMM的区别，哪个假设更强？他们的解码问题用什么算法？
6，lstm参数量计算，给出emb_size和hidden_size，求lstm参数量
7，cv中有哪些常见的数据增强方式
8，简单实现一个layer normalization类，只需要实现__init__和forward就行

抖音一面
1，聊项目
2，AUC的两种公式是？你能证明这两种等价的吗？
3，BERT-CRF中，为什么要加CRF？好处是？
4，self-attention为什么要用QKV三个矩阵，不用有什么问题？有没有哪个模型的Q和K矩阵是一样的？
5，reinforce属于on-policy还是off-policy？为什么？
6，reinforce带上baseline好处是？reinforce的loss写一下？
7，策略梯度会推导吗？简单写一下？

代码题（代码题一般别着急写，先跟面试官说下思路，确定了再写）：
1，lc 46，全排列（lc表示leetcode，下同）
2，lc 73，矩阵置0

抖音二面
1，介绍项目
2，知识蒸馏有哪几种？你觉得哪种效果最好？
3，nlp的数据增强方法，主要有哪几种？每一种举个例子？
4，分类的损失函数为什么是交叉熵而不是mse？
5，BERT对输入文本的长度有什么限制，为什么要限制长度呢？
6，BigBird里面有哪几种注意力机制？相比原始transformer的self-attention的优势？
7，场景题：如何根据拼多多的商品数量，估计淘宝的商品数量？
8，给出emb_size, max_len, vocab_size, ff_inner_size，num_heads, 12层，求BERT参数量
代码题：
n皇后问题

抖音三面
1，简单聊项目
2，CRF和HMM区别？CRF为什么比HMM效果好？
3，如果BERT词表很大，比如vocab_size达到几百万，怎么办？
4，快速手写一些transformer的mha（多头注意力），伪代码意思一下就行
5，为什么对比学习中，temperature很小，而知识蒸馏的temperature比较大？
6，你觉得在抖音买东西，和淘宝、拼多多他们的区别是？（我没在抖音买过，就只能现场编。。）
7，你最近看到过哪些paper？简单介绍下？
8，你觉得自己有那些优缺点？平时喜欢怎么缓解压力？

蚂蚁一面：
1，聊项目
2，多模态的预训练方式你知道哪些，知道的都说一下？
3，coca和CLIP的区别？为什么coca效果比CLIP好？
4，CLIP预训练的时候，batch size达到了32768，他用到了哪些trick去提高batch size？
5，CRF的loss写一下，CRF打破了HMM的哪个假设？
6，对比学习为什么有效？cv和nlp的经典的对比学习的模型说一下？
7，多头注意力的头的数量，对参数量有影响吗？为什么？
8，transformer里面为什么要加add&norm模块？好处是什么？

代码：
1，简单实现一个transformer-encoder-layer，要求pre-norm和post-norm可选
2，编辑距离

蚂蚁二面：
1，聊项目
2，衡量对比学习的两个指标是哪些？公式？
3，transformer相比lstm的优势有哪些？
4，distillBERT， tinyBERT， mobileBERT和miniLM，他们是如何对BERT蒸馏的？
5，ViT是如何对图片进行处理的？为什么要加position embedding？
6，说到position embedding，transformer一定要加position embedding么？有些模型没有加pe，你知道吗？
7，beam search的思想，伪代码实现
代码题：
lc 33，排序数组的搜索

蚂蚁三面：
1，聊项目
2，多头注意力，给出序列长度n和hidden_size，那么多头注意力的时间复杂度是多少？
3，ALBert相比BERT的改进，说一下？
4，BERT预训练有哪些问题？后面的模型怎么改进的？重点说说ELECTRA和MacBERT
5，有没有了解过，有的模型用生成的方式做信息抽取？
6，讲一下UIE模型是怎么做信息抽取的？其中的SSI和SEL说一下？
7，你老家哪里的？有哪些兴趣爱好？
8，你觉得自己优缺点有哪些？
9，我们走个流程，来一道代码题把，lc  207，课程表

寒武纪一面：
1，聊项目
2，你知道哪些对比学习的方法？cv和nlp都说一下
3，simCLR和moco区别？moco里面加k_encoder的作用？
4，moco v2, moco v3相对moco的改进有哪些？
5，resnet为什么效果好？残差连接的好处？
6，pytorch中，dataloader dataset和sampler的关系？
7，动态图和静态图区别？
8，蒸馏，量化和剪枝的原理大致说一下？

寒武纪二面：
1，聊项目
2，简单介绍一些CRF的好处，CRF条件概率的公式写一下
3，transformer相比lstm的优势有哪些？
4，transformer优点那么多，是不是可以淘汰lstm了，以后全用transformer？
5，swin-transformer和ViT的区别？数据量少的时候，他们和ResNet比，哪个效果好？为什么？
6，寒武纪做什么你知道吗？分布式训练用过吗？
7，pytorch的ddp和dp区别是什么？
8，你对混合精度的了解多吗？说一下混合精度的原理？