一、背景 大数据时代，对数据的使用分析频繁，在数仓层面对数据的管理组织都在考虑用新的技术方案实现更快速的数据计算，算力的发展是底层引擎迭代的驱动力；从最最初的MR计算框架到现在的基于Rdd的内存计算模型，再到向量化计算优化，一步步追求更高性能的计算。数据模型的发展也是从最初的银行范式建模，到现在迭代快速的维度建模反范式建模，团队发展从最初的中台团队到现在的BP模式，都在追求极致的效率。目前，在对数据模型层面对长周期的数据进行访问都在追求避免对底层明细数据的过多扫描，从而实现模型计算效率的提升。本篇重点剖析几种数据压缩方案。主要是基于二进制压缩的方案进行数据模型的压缩。 目前，在对实体进行历史周...

这放了寒假真的好焦虑，在准备换简历的第一个项目，大概是用cursor去写的继承了ai功能的平台吧，语音转文字，文生图什么的，用的技术栈还是挺多的，前后端都涉及了，一遍也在背八股，刷算法，工程化什么的，感觉好焦虑，逛了牛客和别人面经感觉自己啥都不会，以前还信誓旦旦说寒假努努力过完年投大厂试试，现在感觉啥都不会了

实习第三天了，讲讲感受吧，mentor每天都会喊我一起去食堂吃饭，会给我推荐哪家的好吃，吃完饭还会等我，经常没事，会来问我有没有问题，有问题随时来找他。看到我就一个电脑分屏比较困难，还帮我安排了一个新的显示器，可以看下面的图，到现在都没给我派什么任务，让我先熟悉。反正，心里暖暖的

背景概述：为什么要写这个呢？虽然现在大模型很火，但对于我们工程同学来说，把大模型当一个黑盒用就好了。一开始我也是这么认为的。直到我在小红书做到了一个需求在小红书的时候有一个需求是优化组内一个 agent 项目的响应和结果优化，这个 agent 是一个复杂的商业助手，并不是说技术很难，但要分析的广告业务很复杂，有上千个指标，好几种场景，prompt非常长，如果输出的效果不好，是没有人愿意用的。用了很多优化手段，比如并发查数据等等。有一天这个项目的正职同学和我说，他和算法那边的同学交流，说可以把我们动态拼到 System prompt 的指标数据拼到用户的 query 里面，这样就可以利用模型的 ...