阿联酋MBZUAI与G42 AI合作推出开源大模型K2 Think,速度达到每秒2000个tokens,吞吐量远超典型GPU部署。

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 全球最快的开源大模型来了——速度达到了每秒2000个tokens!虽然只有320亿参数(32B),吞吐量却是超过典型GPU部署的10倍以上的那种。 [图片] 它就是由阿联酋的穆罕默德·本·扎耶德人工智能大学(MBZUAI)和初创公司G42 AI合作推出的 K2 Think。名字是不是有点熟悉? 没错,它和月之暗面前不久推出的Kimi K2在命名上是有点小撞车,不过阿联酋这个多了个“Think”。 但非常有意思的一点是,在… (全文不可用)