阿里巴巴数据研发工程师校招一面面经  2020.08.11 40分钟      1.讲项目   2.mysql中的数据同步到redis的过程中是增量同步还是全量同步   如果mysql数据量是亿万级别，你怎么对这个过程优化？   3.spark的RDD讲一讲   4.ES的检索过程   5.spark常用算子   6.spark的两个重分区算子的区别   7.场景：flume中采集到了近一个小时的所有用户对某些电影的打分流，你如何进行设计，使得找到与A用户在同一地域的看过的同一部电影的其他用户，推荐给A   8.讲讲你认为你项目里最优价值的一些点？基于kafka  巴拉巴拉讲了几分钟     ...

/**  作业帮二面代码题： 给定两个等长数组Y和A；其中Y中的元素都在1-50范围内且为正整数 A中的元素都为实数-10000-10000，各自数组都有可重复 选取一组下标集合{0,1,2,...n},使得子数组Y’的不同元素乘以A’元素之和的值最大，输出最大值 即使得count(distinct Y[i])*sum(A[i]) 举例说明：假如Y：{1，2，3} A：{7，4，-1}  最大结果：（7+4-1）*count(distinct（1，2，3）)=30假如Y：{1，1，1, 5, 5, 4} A：{4，-7，4, 4, 1}  最大结果：（4+4+1）*count(distinct...

作业帮大数据提前批一面二面面经      一面 2020.08.08 45分钟   1.flume如何埋点，定位数据的位置   2.kafka的数据流的时序性   3.kafka连接sparkstreaming的几种方式等等   4.如何设计数仓架构   5.redis有哪些数据结构，应用场景有哪些   6.手撕代码：40亿个ip地址，每个ip平均50字节，设计一个黑名单，可快速判断一个ip在不在这个黑名单中      二面  2020.08.08 50分钟   1.kafka如何保证数据不重不漏   2.sparkstreaming底层实现原理   3.spark哪些算子一定会发生shuff...

一面 2020.08.07 45分钟   面试体验很差 像在劝退      1.项目   2，redis,mysql区别   3.给定一个链表，翻转从m位置到n位置的链表   4.leetcode 673最长递增子序列个数

1.kafka架构   2.kafka如何主副同步   3.kafka的优势   4.什么是多态   5.kafka生成者客户端有几个线程   6.手撕代码：数组中的逆序对：剑指offer原题

一面  2020.07.12  60分钟      1.spark的组件有哪些   2.hadoop的架构   3.hadoop与spark区别   4.hadoop作业提交到yarn流程   5.sparkstreaming连接kafka的两种方式   6.项目中hdfs数据怎么写入hive中   7.项目中的难点，怎么解决的   8.mysql联合索引是什么   9.sparkstreaming直连kafka时，Kafka在某一时刻分区数增加了，下游的spark怎么知道的   10.kafka中消费者组是怎么回事？为什么kafka要设有消费者组？作用是什么   11.kafka中produ...

大华大数据提前批一面  2020.08.06 25分钟       1.介绍一下项目流程   2.flume底层原理   3.flume如何保证消息可靠性   4.hadoop架构   5.hadoop与spark区别   6.spark中假设一个进程中有多个任务并行执行，里边是怎么进行资源调度的

京东一面二面HR面经      一面：半个月前   30分钟   1.谈谈GC   2.乐观锁与悲观锁区别   3.如何理解线程安全   4.一个大数(超过了Long的最大值)，你怎么存储   5.kafka的有点   6.项目中最难的点及解决方案   7.什么是mysql联合索引，建立abc索引，查aba,ac,bc分别走不走索引   8.kafka的消费者组是怎么回事，为什么有消费者组，作用是啥   9.hashmap与concurrenthashmap   10.spark的repartiton底层原理，它与coalesce的区别      二面：半月前   40分钟    1.手撕二分...

新浪微博大数据一面二面面经      一面和二面   60分钟   1.介绍一下你所掌握的计算机网络和操作系统相关知识   2.OSI七层，五层，每一层的干什么的，TCP/UDP是哪一层   HTTP是哪一层    IP是哪一层   3.进程与线程的区别   4.线程池的内部原理和多个线程池应用场景，线程池的缺陷   5.集合的多个实现类，知道多少说多少，线程安全的有哪些，concurrenthashmap底层原理，concurrenthashmap在高并发下能不能实现线程安全   6.kafka消息前缀是怎么加的   7.分布式场景...

百度提前批大数据一二三面面经       一面  2020.07.22  50分钟   1.redis的持久化原理；AOF会不会产生脏数据   2.Hbase原理   3.hive与spark的区别   4.mongodb优缺点及使用场景   5.spark连kafka的两种方式   6.flume的底层实现原理   7.生产者消费者模式与发布订阅模式有何异同   8.hive,mysql的性能优化谈谈   9.mysql的索引有哪些   10.mysql的join过程   11.leftjoin的使用场景   12.ES的节点和分片原理   13.spark的oom问题怎么产生的以及解决方案...