从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的...

在AI时代，数仓建模不仅没有失去价值，反而因数据规模、复杂性和业务需求的升级，其核心价值被进一步放大。数仓建模的本质是通过系统化的数据组织与治理，将原始数据转化为可被业务和AI高效利用的“资产”，而AI的深化应用恰恰对数仓的“数据资产化”能力提出了更高要求。以下从五个核心维度展开分析：🧱一、AI依赖高质量数据，数仓建模是数据质量的基石AI模型（尤其是机器学习、深度学习）的效果高度依赖“数据质量”——包括准确性、一致性、完整性和相关性。未经治理的原始数据往往存在噪声（如重复值、缺失值）、语义冲突（如不同系统中“用户ID”定义不一致）、业务逻辑缺失（如交易数据缺少关联的商品分类信息）等问题，直接...

1.自我介绍，项目介绍2.详细讲一下DWM、DWT、DWS这些层的具体职责和它们之间的数据流向3.如果你的DWS层的某个指标突然不准了，你会怎么排查定位问题？你平常怎么做血缘追踪？用的是哪套工具4.能不能举个具体业务场景，说一下是怎么解耦的，带来了哪些好处5.ODS到DWS的过程中你如何保证数据质量6. 在Hive上处理过什么级别的数据量？任务最长耗时是多少？怎么优化的7.如果Hive一个任务执行特别慢，你会怎么排查问题8.你说你熟悉Flink-sql，那你讲讲Flink是如何实现Exactly Once的？Flink的状态是怎么管理的9.Kafka异常数据你是怎么处理的？如果某个topic滞...

1.过往经历集中在数据分析，如何看待自己的职业发展，对数仓这个岗位如何能确定自己是能长期做下去的2.介绍一下过往项目，要求详细说明项目的背景，做了什么，怎么做的，结果如何3.一个比较抽象的问题：如果目前有很多视频，有用户id，视频id，开始播放时间，结束播放时间，怎么计算某个时间点最大的视频播放量，不用写sql，口述即可4.在这个过程中遇到数据倾斜的问题，比如某个视频播放量特别大，该如何做分桶，针对哪个字段5.spark中造成数据倾斜的原因是什么（落在shuffle）6.spark中的stage和task是并行还是串行的？spark中有哪些算子会造成数据倾斜？解决数据倾斜的手段有哪些7.了解索...

自我介绍介绍项目（以数仓的形式介绍的）项目中存在的难点针对说的难点继续挖（说得不是很清晰，面试官说没听懂我说的）对AI、LLM的了解对脚本语言的了解，比如shell、python为什么选择数仓开发，结合LLM说一下自己的看法在业务实现过程中，可能会遇到好沟通的或者不好沟通的人，你有没有遇到过这种情况，如何处理反问：部门具体的业务

先介绍自己的项目，然后对项目提问（问得很少）给一个你不熟悉的业务，要求做一些报表、指标，你会怎么做（如何设计数据仓库，数仓建模）Hive有哪些存储文件格式，对应的应用场景？给一个txt文件，load数据到Hive中需要考虑哪些问题？给A、B两张表进行join，描述join的过程用MapReduce详细的描述join的过程给定一张订单表请考虑它的一个表结构（分区表？不分区），存储数据使用增量表？全量表？为什么？基于订单表继续丰富场景，问订单表常发生状态的变化，该怎么存储维度变化？详细描述一下该如何实现拉链表？sql题：给定一个打卡表(dep_id，uid，time)，求连续打卡次数（用户两次打卡...

1.数仓的概念2.业务域怎么分的？3.关于主题的说法，如何划分？4.ADS的表如何分类，提交什么需求就叫什么表？5. 数仓分层建设中，DWD、DWS、ADS哪一层最难？经典问题争议：数仓分层建设中，DWD、DWS、ADS哪一层最难？6.各层有多少张表，数据量？7. 刚提到的数据资产建设，数据资产主要是放在那一层产出的？这块是怎么做的？8.数仓跑了多久9.hadoop的基本原理。hadoop3跑的啥，tez还是spark？10.RDD的基本原理，弹性怎么理解11.宽依赖和窄依赖12.spark数据倾斜的问题13.结果表： 客服名称，客户数 ,未完成对话数， 平均响应时间

面试官（HR）：你手里还有其他offer吗？无offer的菜鸟1：唉，面了好几家，一个offer都没有。（显得你没人要）有多个offer嚣张版：拿了好几个offer了，还在考虑。(这么多offer会不会不选择我们？稳定性如何？）有多个offer实诚版：拿到了XX公司的offer，薪资还给得挺高的。（这么有底气吗？薪资我们给得起吗？）已有offer的高手1：确实收到一些机会，还在谨慎考虑。不过和您聊下来，不管是业务方向还是团队氛围，我都挺感兴趣的，所以也更期待咱们这边的进展～不知道后续大概多久会有反馈呢？还没有offer的高手2：我最近才开始看一些特别匹配的机会，目前也有几家在流程中。不过说实在...

那小厂面试环节，更看重这三点能力，最后一个最重要‼️第一是面试者的流畅表达就是数据分析逻辑思维和沟通能力‼️第二是重视开放性的问题：面试八股文，比如你面的是小厂数据分析，估算一下目前整个市场规模销售规模有多大？？最后一点也是最重要的：小厂看重「全流程的解决方案能力」，比如数据分析师，你最好也有一些基础的数仓能力，以及业务系统数据能力，这样在做业务需求的时候，才能做更好的联动！大厂的面试：注意看你的面试官一般是高级数据分析师或是你以后的领导。看重你的解决问题的能力！在面试中注意自己的逻辑和沟通的能力，也是围绕两个核心「执行能力」和「思考能力」。执行能力也就是你能不能完成具体的任务，比如：数据处理...

这种接了offer再拒掉的行为，大部分HR见怪不怪。对你有看法？把你列入黑名单？想多了，HR才没空关注你的虚晃一枪，他们想的是抓紧时间找到下一个接offer的人。有些候选人磨磨唧唧或者过于精明，一直拖到快入职了才说不来了，还啰啰嗦嗦找理由表达遗憾，表现得很客气，但理由不一定真实，态度也不一定诚恳。这种情况，通常会让人很反感。你都把事情做到这个份上了，你就得接受别人可能对你不爽。简简单单说明结果就好，没用的多说无益。不要自以为滴水不漏，不要把别人当傻子。

6岁，进入村小，一年级，老师问我的梦想是什么，我说我长大了我要成为科学家。9岁，三年级，知道科学家不现实，开始学习英语。又因为科学家英语不好发音，于是我的梦想变了，长大了我要成为经理。11岁，五年级，开始成为网瘾少年，边玩游戏边挣钱才是我的梦想，所以我长大了我要做网吧管理员或开一间电脑修理店。12岁，小升初，差1.5分进区内重点中学，调剂到普通中学。中学情况：至少一半以上的人无法考进高中，校园暴力也很是常见的事。初中三年，有沉沦过，也有突击努力过，受环境影响大，人是易染的。15岁，初中升高中，正常发挥，进入普通高中。高中情况：至少一半以上的人无法考到本科分数线，年级内有一半的班是艺术类的，文理...

项目介绍：核心功能：统一的接口发送各种类型消息，对消息生命周期全链路追踪。意义：只要公司内部有发送消息的需求，都应该要有类似消息推送平台的项目。消息推送平台对各类消息进行统一发送处理，这有利于对功能的收拢，以及提高业务需求开发的效率。项目特性：简单易用：通过Web页面快速对接模板，操作简单，一分钟上手多渠道消息下发：支持短信、邮件、微信服务号（模板消息）、微信小程序（订阅消息）、钉钉（群机器人）、钉钉（工作消息）、安卓push通知栏、企业微信(机器人消息)、企业微信（应用消息）、飞书机器人消息。渠道资源隔离：不同的渠道不同的消息类型下发互不影响。例如邮件下发通道跟短信下发通道是隔离的，邮件发送...

在面试之前，我把目标放得很低，能找到工作就行。甚至如果有公司要我，我不要实习的工资都行，能学到技术比几千块重要多了。现在我领到工资的同时，还增长了不少的技术，简直是赚麻了。老板给我工作，还给我发工资，他图什么。说实话，实习工作的强度都还没我在学校的时候高。每天做好自己的那部分，一天工资就舒舒服服到手了。

在实际工作中，我们需要经常跟第三方平台打交道，可能会对接第三方平台Controller接口，或者提供Controller接口给第三方平台调用。那么问题来了，如果设计一个优雅的Controller接口，能够满足：安全性、可重复调用、稳定性、好定位问题等多方面需求？今天跟大家一起聊聊设计Controller接口时，需要注意的一些地方，希望对你会有所帮助。为了防止Controller接口中的数据被篡改，很多时候我们需要对Controller接口做签名。接口请求方将请求参数 + 时间戳 + 密钥拼接成一个字符串，然后通过md5等hash算法，生成一个前面sign。然后在请求参数或者请求头中，增加sig...

1、先介绍自己的项目，然后对项目提问（问得很少）2、给一个你不熟悉的业务，要求做一些报表、指标，你会怎么做（如何设计数据仓库，数仓建模）3、Hive有哪些存储文件格式，对应的应用场景？4、给一个txt文件，load数据到Hive中需要考虑哪些问题？5、给A、B两张表进行join，描述join的过程6、用MapReduce详细的描述join的过程7、给定一张订单表请考虑它的一个表结构（分区表？不分区），存储数据使用增量表？全量表？为什么？8、基于订单表继续丰富场景，问订单表常发生状态的变化，该怎么存储维度变化？详细描述一下该如何实现拉链表？sql题：给定一个打卡表(dep_id，uid，time...

1.自我介绍，项目介绍2.你简历里说你用 Flink CDC 做了 MySQL 的增量同步，那我问你个问题哈：如果MySQL 有一张表发生了历史字段变更，比如某个字段从int改成了 string，你们的 Flink CDC 是怎么处理这种变更的？你们有遇到这种情况吗？线上出现这种情况怎么办3.Hive我想问下，你跑的慢的那个任务，是单表扫描慢，还是Join的时候卡住了？有没有看过 DAG？是哪个 Stage 卡住了？如果是Join卡，你是怎么调优的？广播 Join、Map Join、BucketMapJoin 你用过哪些？各自适合什么场景？4.看你用过kafka，你当时Kafka的Topic ...