爬虫岗位

## mysql：这部分面试官说我答的不错，但是回看来说也漏东西了### 事务和 redo log：我回答了acid和分别怎么实现的，提到了undo log和redo log，顺便让我说下redo log### 什么时候建立索引？什么时候索引失效？- 建立索引一般是在select ... where a and b 时，对where后面的建立索引，讲了下联合索引和最左匹配原则，区分度面试官提醒了下，答出来了distinct(count(\*))/count(\*)越大越好，比如性别就不适合索引- 索引失效讲到了不符合最左匹配原则、where中的 or、like 模糊查询时候没有前缀、函数，表达式和类型转换没答出来## redis### 雪崩现象：答了下为什么出现，以及设置随机到期时间### 都用过什么数据结构？zset 有什么坑？把常见的数据结构答了下，zset不会，我都没用过，听同学是考feed流###  分布式锁？只回答了red lock，redis本身的setNx忘记了，面完查了下笔记发现少回答了很多东西## Golang 相关### GMP模型回答的一般，大致讲了下怎么调度的，以及负载均衡### goroutine 内存逃逸讲的如果有等待一个ch的信息但是一直得不到就会逃逸，逃逸到堆内存之后 gc 就不好清理了### channel有什么坑吗？没回答好，现在想想可能要把及时关闭和关闭已关闭会panic和写入已关闭panic回答## 算法给一个nums，写出全排列，dfs+回溯，很简单## 项目看我用了grpc和nacos，说技术栈很匹配，问了服务发现怎么做的，我直接用的nacos，也没啥细节的，负载均衡说了下## python和爬虫面试的组有爬咨询的需求，所以问了很多python和爬虫的问题，我本来就不会+会的也忘差不多干净了，回答的很烂，比如python的携程、python调度、js解析，我讲了下我写过的一个爬虫怎么做二重认证伪造的，基本上就是f12之后对着一个个重定向跳，拿着url里面的信息## 反问和总结面试官说他们组每个人都有能力完成爬虫和web开发的整体流程，爬虫我不会啊，我投简历时候以为爬虫是一小部分，听说要做分布式爬虫，感觉我爬虫会得不多，python也答得不好，应该没希望了。不过**面试官人超级好**，我不会的或者遗漏有的还会提醒我，一点没有压力我，这是准备好了简历的第一次面试，结果来说一般，个人感觉符合预期，辛苦面试官这个面经没有完全按照提问顺序写，想到什么写什么。

标题党了哈，但是确实想让牛u们看看，我的简历，和我的思路，想走个专升本，然后积累个3年经验就跳大厂，这种曲线救国有戏吗？我搞的是爬虫逆向板块（全端爬虫），顺便看看有没有佬帮我推一下寒假实习（坐标深圳）

10：20左右开始HR面：15min左右1. 问：请说明您目前就读的学校和专业背景，以及入学方式。2. 问：您是通过异地高考进入学校的吗？当时是以什么分数线录取的？3. 问：您在校期间的专业排名情况如何？是否有参与社团或学生会组织？4. 问：您参与的社团活动是否与您的专业相关？5. 问：您在该社团中具体参与了哪些开发工作？是否有其他兴趣爱好？6. 问：您在上一段的实习经历是什么时候开始的？是否已经结束？7. 问：您在实习期间承担了哪些工作内容？公司规模如何？8. 问：您未来的职业规划和学业规划是什么？9. 问：您是否了解我们公司主要从事的政府项目开发？是否能够接受这类工作内容？10. 问：我们公司的实习岗位转正机会和薪资待遇如何？您能否全勤到岗？11. 问：您目前的居住地点距离公司有多远？12. 问：我简单说明我们公司的规模和业务分布情况。如果面试通过，您预计何时可以到岗？13. 问：我简单介绍我们公司的试用期考核制度。您还有什么想了解的？技术面 40min左右1. 问：在线考试系统是您独立完成的吗？2. 问：这个考试系统的使用对象是谁？3. 问：您在项目中使用的Coze平台主要功能是什么？4. 问：Coze平台是否构建了知识库？集成方式是什么？5. 问：Coze平台的权限管理是如何实现的？6. 问：请说明拦截器、过滤器和Spring AOP的执行顺序。7. 问：智能电子月报是用Python开发的吗？8. 问：项目中使用了哪个大模型？9. 问：项目中是否构建了知识库体系？10. 问：PDF解析入库的具体实现方式是什么？11. 问：PDF解析是否使用了MCP技术？12. 问：大模型在项目中具体发挥了什么作用？13. 问：解析后的PDF数据存储在哪里？如何被大模型调用？14. 问：您在学校主修和选修了哪些课程？15. 问：您对Java AI应用开发体系的熟悉程度如何？16. 问：您了解哪些好用的Embedding技术？17. 问：您使用的Embedding模型具体是哪个？部署方式是怎样的？18. 问：您的大模型和Embedding模型都是本地化部署的吗？19. 问：您使用的云服务器是哪家厂商的？20. 问：模型部署的具体技术方案是什么？知识库是如何构建的？21. 问：您是通过爬虫获取的数据吗？获取的是网页数据还是文件数据？22. 问：您使用的Spring Boot版本是什么？23. 问：您对Spring AI和LangChain的结合了解程度如何？24. 问：Java集合框架包含哪些主要接口和类？25. 问：Map接口的实现类有哪些？它们是有序还是无序的？26. 问：List接口的实现类有哪些？它们是有序还是无序的？27. 问：您了解哪些关系型数据库？28. 问：您对数据库的使用经验如何？29. 面试官介绍：公司主要使用到的国产数据库和技术栈30. 问：MyBatis和MyBatis-Plus的区别和优缺点是什么？31. 问：如何使用MyBatis-Plus实现数据脱敏？32. 问：请说明线程的生命周期。33. 问：RESTful风格接口的参数接收方式有哪些？34. 问：POST接口的参数接收形式有哪些？35. 问：Spring MVC中常用的参数接收注解有哪些？它们的区别是什么？36. 问：@Controller和@RestController有什么区别？37. 问：@RestController等同于@Controller加什么注解？38. 问：Spring中的依赖注入方式有哪些？39. 问：@Autowired和@Resource注解的区别是什么？反问：问：我们公司在AI开发方面的具体应用场景是什么？答：做AI应用相关，在向这块转型，包括知识库、智能问述、MCP工具调用相关的等等问：实习生主要的工作内容是什么？是否会涉及前端开发？答：Java后端接口开发，辅助项目模块开发，不涉及前端

1、照例是讲了讲我的项目，以及项目亮点2、我项目中有爬虫，然后就问我在爬虫过程中遇到了什么问题?3、他接着扣了我的爬虫项目，问我，如果对于大量的url你是如何确定这个url爬没爬过?4、然后问了我，对于爬取的url怎么设置优先级，如何保证早上的新闻比晚上的新闻先爬取?5、然后问了我一个多线程的问题，就是10个线程执行，然后主线程必须等10个线程都执行完了，然后获取到10个线程的计算结果，然后才能计算出自己的结果也就是说必须等待10个线程都执行完了，我才执行，如何做?