文章内容收录到个人网站，方便阅读：http://hardyfish.top/Kafka 的写入路径是先写 Leader，再由 Leader 复制到 Followers。对生产者而言是否等 Followers取决于 acks（确认级别）。不存在生产者直接同时写 Leader 和 Follower的机制，复制由 Leader 侧串起完成。写入链路：Leader 串行落盘，Followers 异步拉取复制一次写入在分区（partition）维度上发生：生产者把记录发给该分区的 Leader 副本（leader replica）。Leader 将记录追加到本地日志（log）并更新高水位相关状态。各 F...

本人由于实习，11月才开始投递简历，但是目前只收到2次面试双非本这么难吗，还有大厂是不是不收双非请教一下我与目标岗位的差距，这个岗位是不是卡学历？

Spark 3.x AQE 与 DPP题目一：AQE 的三大能力与适用场景场景：你们的离线数仓从 Spark 2.x 升级到 Spark 3.x 之后，发现同一份 TPC-DS 报表整体性能提升了不少，但有些 SQL 在数据倾斜场景下表现差异更明显。Leader 让你梳理并落地 Spark 3.x 的 AQE（Adaptive Query Execution，自适应查询执行）能力，用来统一优化 SQL。要求：说明 Spark 3.x AQE 相比 Spark 2.x 的核心目标是什么，解决了 Spark 2.x 哪些「静态优化」的痛点？结合实际查询场景，分别举例说明 AQE 的 三大能力： 动...