如何快速接手一个项目

因为最近接手了新项目,用到kafka。工作需要,需要快速学习,然后扛住项目。借此,也分享一下,一个老油条是怎么处理一个新组件的。

1.了解组件的定位,明确这个组件是整个业务中处于什么角色。

2.熟悉开发部署,监控告警运维,

3.常见的debug思路,项目的相关概念。

简单介绍一下我的项目,是类似日志中心,解析一下日志,把日志丢进kafka的topic供下游业务使用。

开发部署监控告警运维这个基本上公司都有平台去操作配置,简单了解一下。其实如果不是专门做相关组件的工程师,可以不需要关注细节。

上面的内容大概看看文档,问问老同事,两三天,大概花费几小时就搞定了。

因为之前没接触过kafka,所以常见的debug思路和相关概念我是缺失的。需要花点时间去看。这里大概需要两个周末(实际上,不需要很高的效率,期间还约了两次出去浪)。

这里我选择了《kafka权威指南》,和github源代码两个对照着看,再加几个kafka群随时随地问大佬们问题。重申一下,我们的目标是了解相关概念和常见debug思路。

kafka的业务角色定位,主要在第一章,初识kafka,介绍了一下kafka的角色定位,是做高吞吐实时数据管道的。

项目部署,主要第二章描述,略过。因为用不到。kafka管理和监控略过。因为用不到。这些东西应该是专门做kafka组件的团队,或者sre团队去处理。大致浏览一下就行。

项目基本开发,第三四章,生产者开发和消费者开发,描述了最基本的东西。这个demo也比较简单,比较好理解。

常见的debug思路,一般在原理里面找。

第五章,深入kafka。主要在最宏观那层去介绍kafka的模型,不考虑细节。kafka就是处理一下生产请求和消费请求,靠zk去维护kafka集群成员关系。需要存储分区去做数据同步备份。

第六章,数据可靠性保证,因为kafka不支持幂等。所以生产者需要注意重试的副作用。消费者要注意重复消费或者丢失数据,这里全靠维护偏移量字段去做了一些玩法。验证可靠性这个,其实就是常见的容灾演练。模拟宕机,超时等等。浏览到kafka提供了一些工具支持可靠性验证,可以直接用。

第七章 讲了connect数据连接器包的内容。也是专门做数据管道的package。个人觉得这本书讲的泛泛,找了个博客,精华在深入理解connect那一小个片段。worker进程,连接器和任务三者之间的关系模型。

第八章描述了各种情况的架构,这个比较有意思的是异地双活架构。有个循环镜像问题怎么处理,和跨集群跨城市数据一致性怎么保证。思路就是路由策略尽量让请求尽量同机房同城市。然后按城市细分topic。再用mirrormaker做数据同步。

第十一章流式处理,第一次接触,有点抽象。不会。我的项目没这么复杂的业务逻辑,放着慢慢想。

写的比较泛泛,没有细节干货,提供一个快速上手项目的思路而已。

总结一下:围绕这个项目内容,有目标目的去学习了解需要的部分。没用的有个印象就行该略过略过。太难的,用不上的放着,有空再找找别的资料。项目需要那就只能啃硬骨头。

一个项目基本上就开发部署,监控告警运维,常见debug思路和业务领域概念这些模块。全部理顺就可以打完收工了。

ps.学习是增量的,基本功要扎实。

全部评论
m
点赞 回复 分享
发布于 2020-10-20 20:25
大佬前辈真优秀😝😝😝
点赞 回复 分享
发布于 2020-10-18 20:51
工作不久,感觉自己还不能熟练地curd,简单的任务也要做很久...自己挺迷茫的,找不出问题所在...只能边努力边调整了,期待锁子哥的分享。
点赞 回复 分享
发布于 2020-10-18 14:25
锁子哥好久没更新了哇,催更催更,你说过“持续的强化锁子哥这个招牌的名气”的嘛 
点赞 回复 分享
发布于 2020-10-18 14:22

相关推荐

写下这篇文章的时候,我正坐在从学校飞往北京的飞机上。就在今天,我的秋招终于算是有了结论,一共60场面试,拿到了字节百度美团等10+大厂offers,最终确认了腾讯给的机会。同时给我的这三个月,这三年以及从今天往前的所有人生做了个结。这句话写的真好,为什么这么说呢?本来挺久之前我就想写点什么,有特别多想记录的,从选择这个专业到选择这个岗位,从科研的疲惫到未来生活的期待,但总感觉这样写没个纲,乱成一团。直到我今天正式在系统中点击了三方的确认,我才突然发现这种感觉就是“不可逃避的结束”在向我走来,于是纲便有了。首先是这三个月的结果吧,或者换句话说,其实是秋招的结果。从我硕士选择了强化学习的研究方向,我就知道并不会有太多的岗位。从试错中学习,这听起来很符合人类的学习方式,但实际场景中哪来那么多试错的成本?除了游戏产业和机器人行业,我想不到特别对口的赛道,而这两个行业国内又只有寡头,让我望而生畏。整个秋招,我没法像学后端开发的同学一样投递大量的简历,我没法像学大模型的同学一样是时代的香饽饽,我只能盯着那几家公司去投,或者想方设法的在别的不太相关的算法岗上沾沾边。方向是大于努力的,但努力一定不是不重要的。秋招整体对我来说还算顺利,前文就自然变成了只有我自己懂的无病呻吟,不再赘述。从结果来说,我的秋招是非常成功的,至少我自己是满意的。命运给了我很大的惊喜,我从未想过能够在这次有多个远超期待的offer,所以我如今是心满意足。虽说很多事都是焉知非福吧,但对口的工作内容,熟悉的工作环境,我一定不会后悔。我就是这样,毕竟让我在做一百次选择也不会变,那为什么要在不可预测的未来后悔。然后是三年,三年即将过去,我的硕士生涯来到了最后一章。回想过往,我在其中反复感受井底之蛙的狭隘。从我在二十多个四点睡的凌晨产出的论文初稿开始,链式反应就这样发生了。把论文投出去,我发了一篇很长的朋友圈,那时候觉得压力真的好大,尽管其实根本没人要求我什么。那时,我第一次觉得我比本科毕业时的自己进步了太多,可以独当一面了。然后去了北京自所交流,尽管大多的时间都在修改那篇返稿的文章,但也在不一样的平台中见识了人外有人的世界。回来后,我第二次觉得自己有了很大的进步,而鄙夷去北京前的自己是如此短浅。那是11月,我开始纠结到底未来该从事开发岗还是算法岗,但时间并没有给我机会。我偷懒了,两个月根本没有做任何开发岗的准备,于是只能硬闯算法。期间只有那篇论文中了让我稍微有些自信,毕竟只有两周的理论准备时间让我心里太虚了,这甚至还算上了刷题的时间。第一面就是最想去的公司,我甚至紧张到大脑一片空白。好在后面算是有惊无险,拿到了腾讯给我的实习机会。去腾讯工作的时间是幸福的,组里氛围也很好,在公司获得的提升我觉得甚至超过了我在学校一年的量。毕竟做算法,思维的敏捷度和见识广度都是如此重要。看着同事前辈们的工作能力,和工业级的项目架构,我又一次不由得感叹曾经自己的狭隘。于是每天我只睡五小时,忙完工作忙学校,每每想到这里,我也不觉得我的成功是侥幸了。我真的建议大家离开自己舒适的环境到外面看看,鸡头或许真的不如凤尾。硕士是一个连锁反应最直接,最有力的时期。高考失利或许还能补救,考研没上岸还有第二次机会,但就业前这一年,努力就是会有回报,就一定会体现在结果中,没有侥幸。最后,也是我最想聊的。十九年的学生生涯终于快要画下句号,我其实一直觉得非常梦幻。我能回忆起每一个瞬间,有小学六年级遇到的很有个性的数学老师,有考上重点中学的快乐,有中考和提前高考而大失败的难受,有本科比赛的每个通宵的焦虑,有保研出现差错的绝望,有刚读研高压之下的崩溃。但这篇长文不会再有更多的剧情了,每个故事都让我无限回味,成为了我一生中最宝贵的财富。这些瞬间组成了我。我父亲说我是一个总抓不住机会的人,确实有很多别人没有的机会摆在我面前,我都错过了。但我心中的热爱始终没有错过,我觉得这对我来说是幸运且幸福的。我非常爱打游戏,从初中开始学编程,第一个目的就是做出属于自己的游戏,做了很多小游戏发在班级群里,被人厌烦。高中自己买了unity的书,想做自己的游戏,无奈连网络的基本知识都不懂,无功而返。到了大学,我又被强化学习吸引,我想知道能不能让人工智能来帮我打游戏呢?这一整条线我没有放弃过,拿到了游戏算法offer,我真的特别特别开心。人不是一直成功的,我经历过的失败远超过成功10倍,但那让我知道成功来之不易,让我知道失败是生活常态,让我知道真正的怯懦不是不敢失败,而是不敢尝试。言尽于此,这些都“不可逃避的结束”了。追风赶月莫停留,平芜尽处是春山。
肖先生~:追风赶月莫停留,平芜尽处是春山,passion!
我的秋招日记
点赞 评论 收藏
分享
评论
10
21
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务