编辑“︁RWKV”︁（章节）

==== 核心问题：Transformer 模型的效率瓶颈 ====
目前，像 GPT 这样最主流的 AI 模型建立在一种叫做 '''Transformer''' 的架构上。Transformer 非常强大，但它有一个根本性的“扩展”问题：

* '''工作方式：''' 当它处理一个新词时，它必须“回头看”并计算与 ''之前所有'' 词语的关系（这称为“注意力”）。
* '''问题：''' 这导致了“二次方计算复杂度” <math>O(N^2)</math>。简单来说，如果文本长度增加10倍，计算量和内存占用可能会增加近100倍。这在处理非常长的文档或对话时，成本高得惊人。