Olmo Hybrid

Olmo Hybrid 是一个完全开放的 7B 模型，它将 Transformer Attention 与线性 RNN 层相结合。利用门控 DeltaNet 的 3:1 模式进行注意力，它与 MMLU 上的 Olmo 3 的准确性相匹配，同时使用的标记数量减少了 49%。