人工智能公司Thinking Machines发布首篇研究博客,探讨大语言模型推理中的不确定性问题,指出批次不变性是难以复现推理结果的主要原因。

闻乐 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI刚刚,0产出估值就已冲破120亿美元的Thinking Machines,终于发布 首篇研究博客。创始人、OpenAI前CTO Mira Murati亲自宣发,翁荔等一众公司大佬纷纷转推: [图片] 研究主题是“Defeating Nondeterminism in LLM Inference”, 克服大语言模型推理中的不确定性。主要讨论的内容就是,为什么大模型每次的推理结果总是难以复现?根源在于批次不变性。 [图片] 不鸣则已,一鸣就是万字长文,并且,Thi… (全文不可用)