大型奇异果
2025-10-24 18:48 沈阳航空航天大学 数据分析师
关注
好奇怪，我在做A.join(B,Seq('c'))的时候遇到了比较严重的数据倾斜，我对B做了广播，但是从UI上看还是发生了shuffle不知道为什么，而且不论我对A如何重分区，都没有解决数据倾斜的问题，字段c确实分布非常不均，有几个KEY数据量占了99%，最后实在不行我就用map join彻底避免shuffle，但是感觉还有很多不懂的地方
查看原帖
点赞 评论
相关推荐
SHEIN希音公司福利 370人发布 牛客热帖
更多
正在热议
更多
# 在大厂上班是一种什么样的体验 #
5881次浏览 78人参与
# 机械人避雷的岗位/公司 #
41413次浏览 270人参与
# 程序员找工作至少要刷多少题？ #
10847次浏览 170人参与
# 过年最难忘的一件事 #
22897次浏览 174人参与
# 论秋招对个人心气的改变 #
6514次浏览 111人参与
# 为了减少AI幻觉，你注入过哪些设定？ #
2198次浏览 81人参与
# 牛客AI体验站 #
3967次浏览 115人参与
# 刚入职的你踩过哪些坑 #
4778次浏览 100人参与
# AI Coding的使用心得 #
2919次浏览 83人参与
# 找工作的破防时刻 #
252620次浏览 1960人参与
# 一张图晒一下你的AI员工 #
3380次浏览 80人参与
# 你最满意的offer薪资是哪家公司？ #
69313次浏览 348人参与
# 我现在比当时_，你想录用我吗 #
4420次浏览 73人参与
# 关于春招/暑期实习，你想知道哪些信息？ #
4759次浏览 88人参与
# 12306一秒售罄，你抢到回家的票了吗？ #
772次浏览 22人参与
# 程序员能干到多少岁？ #
6292次浏览 93人参与
# 晒晒你司的新年福利 #
4669次浏览 76人参与
# 黄金这个事上，你学到了什么 #
1055次浏览 31人参与
# 机械人你知道哪些单休企业 #
85094次浏览 428人参与
# 大家实习每天都在干啥 #
119149次浏览 627人参与