OpenAI模型参数量揭秘

AI前哨 独家获悉OpenAI GPT模型系列参数量。相关内容真伪自辨。

• 初始发布的 GPT 4o 参数量超过500B，4o mini为总参数量150B MoE。
• 在2024年7月，主要以A100和H100为推理卡的前提之下，GPT 4o mini 模型的定价仅为0.15/0.6美元百万token输入/输出，成本压力很大，甚至一定程度上是亏钱推理。
• GPT 4o 仅仅是面向消费者的商品名，实际指向的模型架构和训练流程经过数十次变更，后续参数有很大变化。
• GPT 4.1 模型参数量为100B左右的MoE。
• GPT 4.1 模型参数量相比于其 2/8 美元，明显偏小。这主要是因为支持100万上下文，会对于显存带来更大压力。作为对比，Claude和Gemini模型对于100万窗口上下文的模型API，都收取了更高的费用，输入价格通常翻倍，输出价格通常加价50%。如果参照比例将 GPT 4.1 还原为128K上下文，则实际价格为 1/5 美元。
• 从GPT 4的1.8T，到GPT 4o的500B，再到GPT 4.1的100B，参数变小，模型能力变强，体现了模型进步优化空间巨大。
• GPT 4.5 总参数量超过10T。