大佬们好,我问个八股呗,求解答。

嗯就是那种很大文件的那种的,然后就比如一个大文件然后取中位数啥的,然后还有两个大文件取交集,或者文件去重等等搞得我好懵😂,太菜了哈哈,希望大家能够帮助一下,让我对这些八股能够有很好的应对方法。
全部评论
昨天面百度,问了200亿个url,10个kv数据库,怎么检索?
1 回复 分享
发布于 2023-08-04 22:00 浙江
大文件一般是内存不够,所以需要考虑分而治之,处理一部分或者将流式处理再将结果进行按序的放在磁盘文件中。第一个大文件取中位数,问题在于进行计数,可以先一部分一部分的读,然后计数,然后再从头计数,取对应的中位数,文件去重,可以考虑对文件做hash,然后保存在一个map里,文件不同,hash不同这样来去重
1 回复 分享
发布于 2023-08-04 00:27 四川
可以用mmap映射读取部分数据吗
点赞 回复 分享
发布于 2023-08-05 00:29 浙江
我昨天面试被问到 但是面试官就问我 怎么把大文件拆分成小文件在读入呢
点赞 回复 分享
发布于 2023-08-04 17:32 天津
俺会了。分而治之。先分,在对每小块进行处理,再合并。基本思路是这些。嗯多搜搜,然后问问chatGPT再就可以了,哈哈。
点赞 回复 分享
发布于 2023-08-04 15:14 河南

相关推荐

02-01 12:05
复旦大学 Java
腾讯的提前批大概率应该是没有笔试的,但是这个时候有相当部分的同学简历估计都没有准备好,没准备好的同学也不用急,大部分都是3月之后开,这个时候开的绝大多数都是神仙打架,问的东西也比较难,打算投递的同学也多看下计算机网络和操作系统,腾讯对这部分的知识问的比较多。另外多刷下牛客的热门题库,刷题注意刷ACM模式,和牛客的周赛题,腾讯有的部门会从这里面出原题。我是@程序员花海关注我,带你了解更多校招资讯!
程序员花海:还没有来得及准备的同学可以看下学习路线:https://www.nowcoder.com/discuss/824693499982315520?sourceSSR=users算法题:https://www.nowcoder.com/feed/main/detail/20e7a999fa04485b88340a274411ca0d?sourceSSR=users八股文:https://www.nowcoder.com/discuss/833102362771251200?sourceSSR=users简历书写方式:https://www.nowcoder.com/discuss/839907820706205696?sourceSSR=users都是以前在牛客发的文章~
软开人,秋招你打算投哪些...
点赞 评论 收藏
分享
评论
点赞
25
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务