开发者生态
morning
矩阵正交化可改善循环模型中的记忆
2026-07-01
1 阅读
约7分钟阅读
at2005
字号:
矩阵正交化改善循环模型中的记忆 06-30-2026 这项工作由 Paradigm 资助。 Transformer 展现出卓越的联想回忆 (AR) 能力:注意力使每个标记能够直接访问其前面的标记,这是其他架构(例如循环神经网络 (RNN))难以匹敌的机制。但对于某些领域,我们无法承受变压器的二次注意力开销。一个例子是梦想家风格的长视野强化学习。对于此类应用,我们需要使循环神经网络发挥作用,但又不想放弃联想回忆。用于联想回忆的最著名的 RNN 是 mLSTM,它是 LSTM 的一种变体,可维护矩阵记忆。 mLSTM 在一项基准测试 MQAR 上表现出与基线相比显着提高的召回率。但纯粹的回忆可能不足以衡量经常性的表现。在环境转换可能充满噪音的领域,一个有用的代理测试是噪音联想召回(NAR)。由于 MQAR 不测量 NAR,因此我们可以查看 MAD 的嘈杂 AR 任务套件。以下是任务的示例: 0 9 3 10 12 13 15 14 0 9 5 8 2 9 这里,键 0 映射到值 9 ,键 3 映射到值 10 等。MAD 生成器对键、值和干扰项使用不同的标记范围。因此,如果键是 0-5 ,那么标记 12-15 就是干扰项。擅长 NAR 的模型应该在第 10 位预测 9,在开始时看到 0 -> 9,同时忽略交错的干扰标记。那么我们如何改善复发性NAR呢?我们可以借鉴 Muon 的一些想法,Muon 是一种在语言建模方面非常成功的优化器。 μ 子使其动量正交,充当所表示方向的均衡器。它可以防止一些强方向主导更新,并提升较弱的方向。特别相关的是最近的研究表明 Muon 在尾端联想记忆学习方面优于 Adam。这个想法是,这种均衡可以防止较弱的记忆被挤出。受此启发,我们决定测试在读取期间正交化 mLSTM 内存矩阵以及使用此附加过程进行训练是否可以提高 NAR 性能。我们使用 MAD 噪声 AR 样本将 mLSTM 基线与其下一个标记预测的正交变体进行比较。对于训练和评估,我们使用 MAD 噪声召回,在一系列词汇大小和序列长度上将 frac_noise 设置为 0.8。所有模型均使用 AdamW(betas = 0.9、0.999、weight_decay = 0.01)以 64 的批量大小训练 2k 步骤。通过为每个任务设置扫描 3e-4 、 1e-3 、 3e-3 和 1e-2 选择学习率。我们在每个步骤中生成一个新批次进行训练,并为每个实验维护一个单独的固定验证集。对于正交化,我们通过 Frobenius 范数 ( eps = 1e-6 ) 进行归一化,并应用五次 Newton-Schulz 迭代。我们允许梯度贯穿整个过程。至关重要的是,我们不会将正交化内存写回,因为我们发现性能下降了。我们仅将其用于读数。我们的实验的完全可重现的代码可以在这里找到。图 1.正交化 mLSTM 算法。图 2. 训练步骤与验证准确性。 $$ \small \begin{array}{lccc} \hline \text{Regime} & \text{正交化} & \text{基线} & \Delta \\ \hline \text{vocab 80, len 512} & 87.5 \pm 12.4\ (20/24) & 69.1 \pm 17.8\ (17/24) & +18.4 \pm 18.1 \\ \text{词汇 80, len 768} & 91.7 \pm 11.4\ (22/24) & 75.9 \pm 12.0\ (13/24) & +15.7 \pm 16.8 \\ \text{词汇 80, len 1024} & 98.5 \pm 2.4\ (23/24) & 83.3 \pm 13.6\ (19/24) & +15.2 \pm 14.0 \\ \text{vocab 96, len 768} & 62.4 \pm 18.4\ (14/24) & 22.0 \pm 14.4\ (4/24) & +40.4 \pm 17.6 \\ \text{vocab 96, len 1024} & 68.5 \pm 18.3\ (16/24) & 23.1 \pm 15.3\ (4/24) & +45.4 \pm 18.6 \\ \hline \end{array} $$ 图 3. MAD 噪声召回结果。条目是 2k 步骤的最终验证准确性,24 个种子的平均值 +/- 95% CI;括号表示种子含量高于 80%。 Delta 通过种子配对。词汇 80 的参数为 77,716,词汇 96 的参数为 80,740。正交运行使用 LR 3e-3;基线仅对词汇 80、seq len 768 使用 LR 1e-2,否则使用 LR 3e-3。我们发现正交化全面提高了成功率和平均准确性。有趣的是,当我们进入 vocab-96 体系时,差距似乎在扩大,这表明正交化对于原始 mLSTM 难以胜任的困难 NAR 任务有最大帮助。在后两种情况(vocab 96,seq len 768/1024)中,正交化使 mLSTM 从失败的边缘(4/24 已解决的种子)转变为更加可靠的性能(14-16 已解决的种子)。这对于我们原本打算进行的小规模干预来说是惊人的。 Newton-Schulz 在固定参数数量下为我们带来了额外的收益,权衡了额外的失败次数和挂钟时间。我们应该谨慎,不要过多解读这些结果。它们保持在一个小模型体系中,而 NAR 是一项综合任务。值得研究的是 NAR 收益是否会转化为现实世界基准的收益
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱