1.简单问问项目2.Spark的执行流程3.宽窄依赖4.RDD和Dateframe5.RDD:是 Spark最基础的分布式数据集合抽象，本质是不可变的、分区的元元素集合(可以是任意类型的对象,如整数、字符串、自定义类等)。它没有预设的Schema(数据结构)数据以"对象"形式存在,Spark对其内部数据类型无感知。6.DataFrame:是带有Schema的分布式数据集合,类似于关系型数据库中的表(有列名和列类型)，但数据分布式存储在集群中。它本质上是RDD的扩展,在RDD基础上增加了Schema元信息(扫描述列名、数据类型等)使Spark能理解数据的结构。7.排序窗口函数8、python的特点9.is和==的区别判断值是否相等用(如比较数字、字符串、列表内容);判断是否为同一个对象用 is(最常见场景是判断xisNone,检查变量是否为None对象)。sq1:跑得慢,哪里可能有问题-----识别倾斜,拆分处理

1.介绍一下项目以及项目中用到的一些大数据组件2.HDFS的文件存储格式有哪些?3.MapReduce过程，MapTask和ReduceTask个数怎么确定?4.MapReduce阶段哪些因素会影响性能?5.Flink和Spark Streaming的区别是什么?6.Kafka的消息传递机制是怎样的?7.大数据处理中的一致性、可靠性、可用性如何权衡?8.数据仓库和数据湖的区别是什么?9.Hive和传统数据库的区别?10.Spark如何进行数据倾斜的优化?

项目追问： 1.你如何去评估一个数据仓库的好坏？2.你如何去完成数据的质量治理？3.你如何去制定优化数据仓库的方法？总体来说都是很开放性的题目，要对数据仓库有自己的思维和理解，以及要有一定的整体意识和目标意识。八股：1.spark的作业调度2.spark和mapreduce的区别3.sparksql的执行流程以及catalyst优化4.spark的内存结构5.flink和spark有什么区别？项目的flink是如何使用的？八股部分比较基础。算法：三道简单sql一道leetcode hot100

想问下双非本26届，干数据开发的，一共拿了两个offer，其中拒了一个，还一个是给到7k×14，base在福州，想问下这个薪资可以去吗