背景概述：为什么要写这个呢？虽然现在大模型很火，但对于我们工程同学来说，把大模型当一个黑盒用就好了。一开始我也是这么认为的。直到我在小红书做到了一个需求在小红书的时候有一个需求是优化组内一个 agent 项目的响应和结果优化，这个 agent 是一个复杂的商业助手，并不是说技术很难，但要分析的广告业务很复杂，有上千个指标，好几种场景，prompt非常长，如果输出的效果不好，是没有人愿意用的。用了很多优化手段，比如并发查数据等等。有一天这个项目的正职同学和我说，他和算法那边的同学交流，说可以把我们动态拼到 System prompt 的指标数据拼到用户的 query 里面，这样就可以利用模型的 ...

零实习进大厂，本质上是因为他们的简历证明了他们不需要通过实习来证明能力。很多同学在大二大三就参加过ACM-ICPC等顶级算法竞赛，拿过金银牌，这种含金量远超一份在大厂里偶尔修修边角的实习经历。面试官在招人时，逻辑非常简单：实习经历是证明“你做过类似的事”，而竞赛成绩和高质量的开源项目证明的是“你具备极强的学习和解决问题的潜力”。在大厂看来，潜力往往比经验更值钱，因为经验可以积累，但那种极客般的敏锐度是很难培养出来的。

思维链（CoT）方法依赖于一组固定的人工注释范例。问题在于，这些范例可能不是不同任务的最有效示例。为了解决这个问题，Diao 等人（2023）最近提出了一种新的提示方法，称为 Active-Prompt，以适应 LLMs 到不同的任务特定示例提示（用人类设计的 CoT 推理进行注释）。下面是该方法的说明。第一步是使用或不使用少量 CoT 示例查询 LLM。对一组训练问题生成 k 个可能的答案。基于 k 个答案计算不确定度度量（使用不一致性）。选择最不确定的问题由人类进行注释。然后使用新的注释范例来推断每个问题。图片来源：Diao等人（2023）