首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
牛客8028856号
2017-08-13 20:01
北京理工大学
关注
已关注
取消关注
找到100亿个URL中重复的URL?求最优解
1、给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL?
2、
找到100亿个URL中重复的URL?
提示
全部评论
推荐
最新
楼层
带着小板凳写代码
合肥工业大学 Java
第一题:50亿*64B约320g,内存限制4g,所以,用一个hash函数把A文件中的url分到1000个小文件中去,把url通过hash后的值当做文件名,然后B文件也用同样的hash函数去分到1000个小文件中,这样寻找的时候,按照同名的文件从AB两个文件中去找重复(相同的url肯定分在相同文件名的小文件找那个),这样的话内存肯定能满足。 第二题,类似也是用hash去处理,重复的url肯定会分到同一个文件中去,接下来就是找重复的就是了
12
回复
分享
发布于 2017-08-13 20:29
baby_lorin
电子科技大学 Java
布隆过滤
点赞
回复
分享
发布于 2017-08-14 08:41
已删除
hash过滤掉重复的,然后比对
点赞
回复
分享
发布于 2017-08-13 21:41
=..=
腾讯_天美_研发工程师(准入职)
我觉得应该是用布隆过滤器,不过缺点是存在一定错误率
点赞
回复
分享
发布于 2017-08-13 20:39
swananan
南京航空航天大学 C++
B文件哈希成300个小文件,这个过程中去重,只保留不同的url。 然后流式读入A文件的url,根据之前哈希函数来比对,是重复的就保留结果。 差不多就这个套路吧,至于哈希函数可以md5之类的,然后再用普通的字符串哈希函数来计算出个数字来除余?? 我对这个全靠yy,根本没有做过
点赞
回复
分享
发布于 2017-08-13 20:06
阿哈哈
西南财经大学
hssh分片?
点赞
回复
分享
发布于 2017-08-13 20:06
暂无评论,快来抢首评~
相关推荐
12-22 13:06
蚌埠坦克学院 嵌入式软件开发
实习躺平是好事吗
很多人实习时最真实的状态,不是忙到飞起,而是“没人管、没任务、坐一天”。一开始觉得轻松,时间久了就开始慌:这样躺着,真的没问题吗?从短期看,实习没事做像是“福”。不用加班、不背锅、没人盯进度,甚至还能提前下班。对刚进入职场的人来说,这种低压环境很舒服,也容易让人产生“实习也不过如此”的错觉。但从长期看,这更像是“慢性祸”。实习的本质不是体验上班,而是用最低成本换一次真实职场训练。当你没有参与项目、没有接触核心工作、没有产出,你在简历和能力上都是“空白实习”。时间一过,这段经历几乎不可复用。实习躺平是不是好事,取决于你在“躺”的时候做了什么。如果只是刷手机、等下班,那是纯消耗;如果主动补基础、看...
实习没事做是福还是祸?
点赞
评论
收藏
分享
10-29 21:58
门头沟学院 电源工程师
评价一下,这个简历能拿多少
大家觉得能拿多少
陌夏微秋:
一线城市25w左右吧,17×15=255
点赞
评论
收藏
分享
12-02 11:16
快手_后端开发实习生(实习员工)
27纯血双非第二段大厂实习oc
首先叠甲,我真的是纯双非,非双一流,非四邮四电,也不是杭电广工深大,就是河南一所普通一本大学,从小厂到哈啰再到快手,我真的付出了很多。昨天接到快手oc电话的时候我直接在宿舍跳了起来,说实话,我也不知道未来会怎么样,但至少现在我达到了我的目标。对于跟我一样纯血双非的同学,我仍然不推荐走纯后端,我还是很推荐测开的,并且对现在还没找到实习的同学,也没什么关系,放平心态,找工作最最最重要的就是你的运气,跟其他无关,如果当初哈啰没有选择把我复活,我现在估计连个中厂的边都摸不上,所以运气也太重要了,有时候你缺少的就是这个,所以放平心态,不要妄自菲薄。如果你要坚持做后端,后端的学习路线仍然是最全的,带你从走路到坐飞机,只要你努力,我仍然觉得可以。另外,我还是十分推荐大家一起报团学习的,我是从我的表哥那里学来的,他是CSDN上的路飞,他那时候的口号就是报团学习,我也加了不少Java的学习群,里面会有很多很厉害的人带你一块学习与进步,也和你一起逗乐放松,昨天快手oc的消息我也是第一时间在我们的va学弟四群里说了哈哈。双非确实很难,但我仍然觉得未来是有机会,只是想证明自己,想证明皇天不负有心人吧。
菜菜狗🐶:
双非之光
找工作,你会甘心进小厂还...
点赞
评论
收藏
分享
12-17 16:03
浙江大学 Java
epoll 的原理及其 O(1) 查询速度?有哪两种工作模式?
图解操作系统-牛客面经八...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
35
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
圣诞节用 AI 做个牛客运营翻翻乐!(含代码)
9404
2
...
2025的主旋律是蛰伏,落寞,遗憾
8654
3
...
杂记近期所面试的三家中小厂
6717
4
...
选择即命运—2025年度总结
6612
5
...
壕壕壕,京东发7个月年终,此生要做东孝子
6011
6
...
大学废物离开优绩主义之后发现外面根本没下雨
5719
7
...
从H200解禁评估:国资算力平台还值得应届就业吗?
5425
8
...
实习没事做是福也是祸
3745
9
...
大厂offer帮选
2980
10
...
我只是一个脆弱的人
2884
创作者周榜
更多
正在热议
更多
#
2025年终总结
#
170771次浏览
2874人参与
#
找工作,行业重要还是岗位重要?
#
85155次浏览
1685人参与
#
职场上哪些行为很加分?
#
306491次浏览
3448人参与
#
大家每天通勤多久?
#
69441次浏览
440人参与
#
你面试体验感最差/最好的公司
#
16255次浏览
265人参与
#
实习的内耗时刻
#
210857次浏览
1537人参与
#
一人说一个提前实习的好处
#
9791次浏览
197人参与
#
互联网行业现在还值得去吗
#
46829次浏览
351人参与
#
今年你最想重开的一场面试是?
#
3641次浏览
65人参与
#
秋招落幕,你是He or Be
#
10383次浏览
212人参与
#
重来一次,你会对开始求职的自己说
#
5708次浏览
143人参与
#
实习没事做是福还是祸?
#
16010次浏览
244人参与
#
反问环节如何提问
#
126324次浏览
2663人参与
#
礼物开箱Plog
#
602次浏览
21人参与
#
团建是“福利”还是是 “渡劫”
#
6813次浏览
145人参与
#
我的第一份实习怎么找的
#
208466次浏览
1827人参与
#
工作中听到最受打击的一句话
#
6000次浏览
106人参与
#
比亚迪工作体验
#
74374次浏览
281人参与
#
你小心翼翼的闯过多大的祸?
#
10732次浏览
156人参与
#
大厂VS公务员你怎么选
#
74389次浏览
681人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务