本文介绍了作者对国产大模型进行 OpenAI 兼容性测试的经验和资源，包括测试脚本、模型信息和公司信息。作者还分享了测试过程中遇到的问题和一些解决方案，并计划继续更新测试结果和文档。

😄 作者为了方便测试不同国产大模型的 OpenAI 兼容性，创建了两个 JSON 文件：`models_info.json` 包含了模型信息，例如品牌、费用、最大上下文长度等；`companies_info.json` 包含了提供这些模型的公司信息，例如用于 OpenAI SDK 的 `base_url`。

😊 作者还提供了使用 `requests` 库获取这些 JSON 文件的 Python 代码，方便用户直接调用。

😉 作者在测试过程中发现一些问题，例如有些模型的文档没有提供具体数值，需要手动测试才能更新。作者还计划更新文档，并提供更清晰的文档，帮助用户更好地使用这些模型。

😎 作者还计划将更多支持 OpenAI SDK 的模型加入到测试中，并持续更新测试结果和文档。

原创 金色传说大聪明 2024-07-22 21:40 广东

最好、最新的内容，总在赛博禅心

前情提要：

全军覆没：国产大模型，都没做好 OpenAI 兼容

大模型真实速度一览（附：测试脚本）

这段时间

我在疯狂测各种接口

本着不重复造轮子的原则

我把测试用的配置放 git 了

就是各模型 name 和 base_url

https://github.com/CocoSgt/LLMs_info

包含俩文件

models_info.json

包含不同大预言模型的信息

如品牌、费用和最大上下文长度，类似：

{    "Baichuan": {        "base_url": "https://api.baichuan-ai.com/v1",        "chinese_name": "百川"    },    "DeepSeek": {        "base_url": "https://api.deepseek.com",        "chinese_name": "深度求索"    },    "Moonshot": {        "base_url": "https://api.moonshot.cn/v1",        "chinese_name": "月之暗面"    }...}

companies_info.json

包含提供这些模型的公司的信息

包括用于 OpenAI SDK 的 base_url，类似：

{    "Baichuan3-turbo": {        "brand": "Baichuan",        "input_cost": 12,        "output_cost": 12,        "currency": "CNY",        "max_context_length": 32768,        "max_output_length": 2048    },...}

写代码的时

可直接 requests.get(url) 拿 raw 文件

来获取这些信息，然后调用

import requestsimport json
def fetch_json_from_url(url):  response = requests.get(url)  return json.loads(response.text)
models_info = fetch_json_from_url("https://raw.githubusercontent.com/CocoSgt/LLMs_info/main/models_info.json")companies_info = fetch_json_from_url("https://raw.githubusercontent.com/CocoSgt/LLMs_info/main/companies_info.json")

有啥用

方便批量测试，无需到处找文档

（API 还得用自己的）

比如这个：）

‍

后续

数据还不全，我会把他更新好

持续更新: 

有些模型，在文档里没找到具体数值，得手动测试才能更新。

比如，4k 指的是 4095，4096，还是 4000？

更多模型: 

如有更多模型支持 OpenAI SDK，我也会同步更新上

打算写一份更清晰的文档

很多模型的文档不好找（比如：Qwen），我打算重写一份，分享给大家

估摸要花点时间，因为很多的文档行为是错的，甚至 OpenAI 的文档也有不少错误，得人工修正