Spark迷思

flatMap和map的异同

图片说明

map reduce可真好玩

图片说明

reduceByKey和groupByKey的区别

https://www.cnblogs.com/zzhangyuhang/p/9001523.html
groupbykey只是对数据进行分组操作 reducebykey(func)会在分组操作的基础上对数据进行函数映射操作
reducebykey的时候，本地节点先merge再传到不同节点再merge；groupbykey的时候，没有本地merge这个操作，所有节点的数据都先移出，再一起merge。所以groupbykey的运算成本更大，传输延迟更大。

全部评论

相关推荐

12-21 19:14
复旦大学 Java
日常分析大厂面经-快手暑期实习
大家好，我是花海，B站技术专家，平时会在牛客分享一些面试复盘和技术思考。如果你在准备面试、修改简历，或者对职业规划有疑问，可以找我免费帮你看看简历、聊聊思路。目的是帮大家少走点弯路，今天我们来继续看面经。一、快手一面（3.24）1. 算法：LRULRU 在面试中属于高频题，写出来是基本要求。实际工作中，LRU 的思想在缓存淘汰、页面置换、数据库缓冲池都有广泛应用。写的时候注意：用 HashMap + 双向链表 实现 O(1) 存取封装 moveToHead、removeNode 等方法，保持代码清晰注意线程安全性（如果是系统设计题可以提一嘴，但手写代码一般不考虑）2. 拷打实习和项目这里不是泛...
实习简历求拷打
点赞 评论 收藏
分享
12-24 18:45
北京邮电大学 算法工程师
点赞 评论 收藏
分享
11-04 15:20
北京智慧星光信息技术股份有限公司_Java实习生(实习员工)
点赞 评论 收藏
分享
10-28 10:48
已编辑
门头沟学院 Java
你们不能筛完简历再发笔么
被挂最爽的一次本来昨晚想做笔试了，还好我有拖延症😄所有测评笔试ai面都做了才筛简历的公司都是沙壁😡
孩子我想要offer：发笔试后还没笔试把我挂了，然后邮箱一直让我测评没测，后面不知道干嘛又给我捞起来下轮笔试，做完测评笔试又挂了😅
点赞 评论 收藏
分享
12-19 17:02
已编辑
东莞理工学院 golang
用了几年 AI 辅助编程，发现自己逐渐废了，我该怎么办
背景：本人是刚毕业不久的应届生，目前在职，主要技术栈是 Go 后端开发。日常工作内容以业务 CRUD 和 LLM API 调优为主。我算是一名大模型的深度用户（从 GPT-3 时代开始接触），目前在工作中，我现在的开发模式基本是“我描述，AI 写”。客观地说，现在的顶级模型写的代码确实比我严谨，效率也高。虽然这极大地提高了工作效率，但我深刻感觉到，相较于毕业前，我的原生编程能力（Coding）和算法基础出现了显著的退化。但是想和大家聊聊最近的一个严重焦虑：我觉得我的代码能力废了。我现在非常矛盾：一方面，公司业务节奏快，为了交付，我必须用 AI，根本没有时间让我慢慢手敲代码来“复健”，而且在“好...
贪吃的伊登在打卡：君子善假于物也 换个角度 prompt 何尝不是对于现有code 的进一步封装
牛客解忧铺
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 2025年终总结 #
172292次浏览 2912人参与
# 找工作，行业重要还是岗位重要？ #
85241次浏览 1688人参与
# 职场上哪些行为很加分？ #
306792次浏览 3451人参与
# 大家每天通勤多久？ #
69695次浏览 441人参与
# 实习的内耗时刻 #
211089次浏览 1538人参与
# 你面试体验感最差/最好的公司 #
17458次浏览 290人参与
# 一人说一个提前实习的好处 #
10494次浏览 204人参与
# 今年你最想重开的一场面试是？ #
3941次浏览 69人参与
# 秋招落幕，你是He or Be #
11776次浏览 236人参与
# 互联网行业现在还值得去吗 #
46891次浏览 351人参与
# 实习没事做是福还是祸？ #
16550次浏览 253人参与
# 面试吐槽bot #
164975次浏览 814人参与
# 重来一次，你会对开始求职的自己说 #
5961次浏览 150人参与
# 反问环节如何提问 #
126357次浏览 2663人参与
# 礼物开箱Plog #
663次浏览 24人参与
# 工作中听到最受打击的一句话 #
6460次浏览 112人参与
# 团建是“福利”还是是 “渡劫” #
7069次浏览 150人参与
# 我的第一份实习怎么找的 #
208519次浏览 1827人参与
# 比亚迪工作体验 #
74668次浏览 281人参与
# 大家实习每天都在干啥 #
106500次浏览 581人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务