模型注意力热力图 (Lost in the Middle)

这个现象有一个配套的真实 Benchmark:大海捞针(Needle in a Haystack)—— 在百万字级别的超长文本中随机插入一句(或多句)needle, 看模型能否准确复述它。迄今为止,没有任何一家模型做到 100%。  → 查看 Benchmark(英文)

拉长文档,观察中间区域注意力是如何坍塌的。
目标线索召回率 (Recall Rate)
98.5%
线索位于强注意力区域,大模型几乎必定能准确提取并遵循该指令。