AxonHub v0.4.0版本正式发布,旨在为AI产品开发者提供更便捷的模型对接与强大的开发监控能力。核心功能包括OpenAI/Anthropic请求格式互转,使得开发者只需对接一种格式即可接入多种大语言模型,显著降低开发成本。平台提供完善的控制面板,支持渠道、项目、权限、用户及API Key管理。其低侵入的LLM API Trace功能,无需SDK即可追踪对话的多个请求,并保存Request和Response内容,极大地方便了问题排查。本次更新新增了trace/threads功能,可追踪同一任务的多个请求,并支持Claude Code Trace,清晰展示token使用情况。此外,还支持将request/response及SSE events保存至外部对象存储,以减轻数据库压力。未来规划包括Prompt Evaluation和Agent开发支持。
🚀 **模型格式互转,降低开发门槛**:AxonHub支持OpenAI和Anthropic请求格式的互转,这意味着开发者只需熟悉并集成一种API格式,就能灵活对接市面上多种不同的LLM模型,极大地简化了多模型接入的复杂性,有效降低了开发成本和时间投入。
🔧 **全面的管理控制面板**:项目提供了一个集成的控制面板,集成了渠道管理、项目管理、权限控制、用户管理以及API Key管理等功能。这使得开发者能够集中、高效地管理其AI应用所需的基础设施和访问权限,确保了系统的安全性和可维护性。
🔍 **低侵入的LLM API Trace功能**:AxonHub的核心亮点之一是其低侵入性的LLM API Trace。该功能无需修改现有SDK,即可追踪一次对话中的多个请求,并能够保存完整的Request和Response内容,为开发者提供了强大的调试和问题排查工具,能够快速定位并解决API交互中的潜在问题。
💡 **v0.4.0新增Trace/Threads与外部存储支持**:此次v0.4.0版本更新,重点增加了trace/threads功能,允许用户追踪同一任务下的多个请求,并支持Claude Code Trace,详细展示token消耗。同时,支持将请求、响应及SSE事件保存至S3、GCS等外部对象存储,有效减轻数据库负载,提升系统扩展性。
📅 **面向AI产品开发者的未来规划**:AxonHub着眼于AI产品开发者的长远需求,未来规划包括Prompt Evaluation,旨在自动化回归测试以确保Prompt的有效性;以及Agent开发支持,进一步扩展其在复杂AI系统开发中的应用能力。
项目地址:https://github.com/looplj/axonhub
感兴趣的可以看看,觉得有用的话,欢迎点个✨。
详细介绍一下核心能力:
OpenAI/Anthropic 请求格式互转,业务开发只要接一种格式,就可以对接各种不同的模型,减少开发成本完善的控制面板,渠道管理,项目管理,权限控制,用户管理,API Key 管理等低侵入 LLM API Trace ,支持不需要 SDK 就可以 trace 一次对话的多个 request ,以及保存 Request 和 Response 内容,方便排查问题
本项目和 new-api 等项目的不同,本项目目标用户是 AI 产品开发者,不是中转服务商,所以会有更多开发监控相关能力,比如 Trace 。
项目核心代码都有单测覆盖,并且技术选型比较新颖
后端:Go + ent + gqlgen前端:React + TypeScript + Shadcn + Graphql
本项目已经迭代了好几个版本了,本次正式发布 v0.4.0 ,主要添加功能
1.trace/threads 可以 trace 并且查看同一个任务的多个请求,并且可以开启 claude code trace 支持,了解自己本次任务到底用了多少 token 等。
2.支持配置保存 request/response 以及 response 的 SSE events 到外部 s3,gcs 等存储,减少数据库压力
未来规划:
Prompt Evaluation ,修改了 prompt 可以批量自动化回归是否有问题Agent 开发支持等
更多信息大家可以看看项目 README ,有什么其他问题的欢迎提问或者创建 issue 。
上文可见:
https://v2ex.com/t/1164472
https://v2ex.com/t/1160378