辉哥，面试的时候问了一个问题，不知道怎么更好回答，flink如何做到高效数据交换并行度Flink可以通过增大并行度和slot操作来扩展程序整体的处理数据能力。分区策略Flink通过分区策略（如按键分区）将数据高效分配到不同算子，减少跨节点的数据交换。流水线（管道）传输：采用管道式数据传输（每个节点都会有阶段性计算和过滤 剔除无关数据），每个算子按需处理数据，减少网络开销，能自动调整数据流速，避免慢算子成为瓶颈。动态资源分配Flink 具有动态资源分配的功能，能根据使用情况自动调整计算和存储资源的分配。可以确保资源的有效使用，提高整体性能，降低内存瓶颈。Shuffle优化：Pipelined Shuffle：使得数据在交换过程中可以持续流动，避免了等待整个数据集收集完成。容错机制：使用Savepoint\Checkpoint确保数据一致性和恢复时高效的数据交换。

以下人员，对数仓项目质量的话语权为：A、业务部门领导B、数据部门领导C、业务部门员工D、数据部门员工（本人）

三分之一 提问：辉哥你好，我现在大三，学了Hadoop，目前在学spark和hive，现在还需要学数据结构和算法吗，如果要那什么时候学呢1. 数据结构要学的，算法可以看看排序这一块，如果不准备冲击大厂，数据开发可以不准备算法;2. 建议学java后就可以学数据结构了，这块没有固定时间点。

#实习#  #校招#  #校招#  #数据仓库#

大数据20+面经分析出的问题及其出现频率，每个问题被哪些公司问过。以下是具体的面试问题、频率和相关公司：   自我介绍  出现5次 相关公司：恒生电子、绿盟科技、饿了么、快手、中国电信    实习经历  出现4次 相关公司：恒生电子、巨杉数据库、饿了么、快手    项目介绍/项目经验  出现4次 相关公司：恒生电子、字节跳动抖音、美团、携程    数据库相关问题  出现3次 具体问题：  关系表的主键、外键（恒生电子） 数据库安全SQL注入，特权提升（巨杉数据库） 索引的数据结构、索引下推、Acid、MVCC原理等（阿里巴巴）      数仓相关问题  出现3次 具体问题：  数仓怎么分层的，...

美团一面 1. 说一说对Hadoop体系的理解及其核心组件的功能。2. 数据上传到HDFS时如何划分数据块以及块与文件的对应关系。3. Hive常见的优化方案以及具体的实施方法。4. 数据仓库的分层结构DWD和DWS层是必须的吗？它们分别是做什么的。5. MySQL事务的四个原则（ACID）及其含义。6. MySQL中索引的分类及其区别（如聚集索引、簇状索引、非簇状索引）。7. 前缀索引及最左匹配原则的理解。8. Spark中RDD的宽窄依赖的区分，并举例说明哪些算子属于宽依赖或窄依赖。9. 简历深挖10. 遇到的最大的困难写sql，次日留存率讲讲你对维度建模的理解你觉得什么样的数仓是一个比较好的数仓？写sql，最大连续登录天数

北京朗境科技有限责任公司一面（实习）来个简单的自我介绍吧你做过数仓项目吧，那你说说你在数仓搭建的职责是什么？Hive你学过吧，SQL优化你知道哪些HDFS的读写流程是什么？写流程呢？你们这个项目是几个人做的啊？你和团队怎么配合沟通合作的呢？你在桂电是吧，你目前在北京吗，为什么想来北京实习？你实习的时间，多长呢？Python你怎么用的？Pandas库知道吧，我要读个csv文件，我需要哪些API呢我：不会

上海腾桥信息技术（实习）数仓做个简单的自我介绍吧2你学习过Hadoop吧，说一下用他做了哪些开发吧3 谈谈hdfs的理解4 namenode主要存储什么数据5 namenode存储了大量的文件（不是小文件），那么怎么解决6 谈谈HDFS的读写流程7 HDFS中如果namenode挂了，怎么办？8 谈谈你对SecondaryNamenode的看法，我不用他行不行？9 你学过Kafka是吧，那么他为什么可以高吞吐量10 消费Kafka是，一个分区可以供给多个线程，还是多个线程可以读一个分区11 Kafka的数据你们存储多少？ 每秒有多大的数据量12 Kafka的数据读写为什么快？13 你在项目中怎么用的Kafka？14 你学过Hive是吧？那么我问你一个题目15 两个题目，SQL的有用户id，有登录日期，请你计算连续7天登录的人数16 我有员工id，我有支付金额，请你计算每个人的最大的金额17 这个题目比较开放，我有一张新的表，存储新的数据，你如何大体的了解这张表的信息，说思路18 怎么解决的数据倾斜问题19 你在桂电，你现在是在学校吗？ 为什么想来上海20 你每周5天，实习三个月可以吗？21 反问

自我介绍 说说doris的模型 分区 分桶如何选择？说说你之前实习如何和产品或数分沟通协作的说一下你从事了哪些业务线说一下你从事业务下的核心指标（这里最好补充一下派生指标）你们的纬度表有哪些(主要考察你是不是做了这块业务线)说一下数仓的星型模型和雪花模型理解(最好说概念，说一下当下业务线选择模型的原因)场景题：看你做的很多，说一下数据规范应该怎么做（简单说一下，表，字段，规则，要求举例）有从事数据治理相关的么（说一下治理大纲就行）说一下GC模型 遇到过gc调优吗yarn有哪些了解讲讲hql转化为MR源码hbase读写流程hive数据倾斜checkpoint介绍一下状态后端讲一下flink exactly-once如何保证flink的minibatch

实习 货拉拉1面-数仓自我介绍 被打断哈哈项目深挖数仓怎么分层的？分层的好处？数据倾斜怎么解决的？ADS指标怎么开发的？实时数仓过程中遇到的问题？比如数据一致性？数据治理过程中怎么和业务方沟通，怎么推进（leader&下游），有什么问题？有么有遇到数据漂移，怎么解决（说实话突然就卡住了，解决方法基本上就是业务时间落盘保障时间，然后就是dqc 监控）技术题（基本等于没问）：sql了解多少，说一下开窗函数有哪些（老生常谈了）为什么选择我们公司？你对我们公司业务有多少的了解

数仓是什么？？？数仓在企业是什么定位？？老油条带你再上一个理解层次！看图！！