AIinfra 百度实习一面

发些面经攒攒人品～～～
1* FusedAttention优化怎么做的？
2* 介绍一下FlashAttention
3* FlashAttention数学推理公式
4* RMSNorm为什么相比LayerNorm有提升？
5* 现场想一个更灵活有效的显存分配方式cudaAllocator
6* 整个Llama中有几个FC全连接层？
7* Llama2的推理流程？每一层都有什么算子
论文拷打

C++：
1* C++11的特性
2* 智能指针
3* unique_ptr 如何保证唯一性
4* shared_ptr 何时析构
5* 类的成员函数可以当模板吗
6* 左值右值

CUDA：
1* CUDA有哪几种编程手段
2* Tensor core 和 CUDA core的区别

编程：
1* 【LeetCode - 128】最长连续序列
2* 【LeetCode - 340】至多包含 K 个不同字符的最长子串