前言 你问大模型一句:“今天天气如何?”,它可能给你查一下本地今天的天气。 你再问它:“那北京的呢?”,他开始科普起了北京,完全忘了上文中的对话,推算出我们是需要他接着回答北京的天气。 以上是发生在早期各家 AI 助手中出现的问题,丢失上下文记忆。随着技术的发展,模型越来越“大”,这个问题出现的时间点(对话轮数)也越来越靠后。那么问题来了,模型是如何记住上下文的?我们该如何优化,在有限上下文中做更多事情? 大模型根本不记 下面是我在开发AI应用的一个简单的解析图 是的,没错。我们每次的对话,包括之前的内容,都要一起发送给大模型。大模型本身不会去存储这些内容。既然不用存储,那如果不限制时间,岂...