高通公司推出了基于AI200和AI250芯片的新一代数据中心AI推理优化解决方案，包括加速卡和机架。AI200专为机架级AI推理设计，提供低TCO和优化的LLM、LMM推理性能，支持768GB LPDDR内存。AI250则采用近内存计算架构，显著提升内存带宽并降低功耗。两款解决方案均支持直接液冷、PCIe及以太网扩展、机密计算，并具备160kW的机架级功耗。高通的超大规模AI软件栈为端到端优化，支持主流ML框架和生成式AI，并提供Hugging Face模型一键部署。AI200和AI250预计分别于2026年和2027年商用，发布后高通股价大涨20%。

🚀 **新一代AI推理硬件发布**：高通发布了基于AI200和AI250芯片的数据中心AI推理优化解决方案，包括加速卡和机架。AI200专为大型语言模型（LLM）和多模态模型（LMM）推理设计，强调低拥有总成本（TCO）和优化性能，并提供高达768GB的LPDDR内存以满足大容量需求。

💡 **创新内存架构与能效提升**：AI250解决方案引入了近内存计算（near-memory computing）的创新内存架构，旨在通过提供超过10倍的内存带宽提升和降低功耗，为AI推理工作负载带来更高的效率与性能，进一步推动AI计算的能效比。

💧 **散热与安全特性**：两款机架级解决方案均采用了直接液冷技术，以显著提高散热效率，保证高性能AI工作负载的稳定运行。同时，它们还支持PCIe和以太网扩展、机密计算等功能，以保障AI工作负载的安全性和灵活性。

💻 **全面的软件栈支持**：高通提供了覆盖从应用层到系统软件层的端到端超大规模AI软件栈，专为AI推理进行了优化。该软件栈支持主流的机器学习框架、推理引擎、生成式AI框架，并提供Hugging Face模型的平滑上载和一键部署功能，极大便利了开发者。

📈 **市场反响与商用展望**：此次发布引起了市场的积极反响，高通公司股价大涨20%。AI200和AI250解决方案预计分别于2026年和2027年实现商用，预示着高通在数据中心AI领域的重要布局和未来发展潜力。

IT之家 10 月 27 日消息，高通公司今日发布其新一代数据中心 AI 推理优化解决方案：基于高通 AI200 和 AI250 芯片的加速卡和机架。

高通 AI200 推出一款专为机架级 AI 推理设计的解决方案，旨在提供低拥有总成本（TCO）和优化的性能，用于大型语言和多模态模型（LLM、LMM）推理和其他 AI 工作负载。每张卡支持 768GB 的 LPDDR 内存，以实现更高的内存容量和更低的成本。

高通 AI250 解决方案将采用基于近内存计算（near-memory computing）的创新内存架构，通过提供超过 10 倍的内存带宽提升和降低功耗，为 AI 推理工作负载带来更高的效率与性能。

这两种机架解决方案均采用直接液冷技术以提高散热效率，支持 PCIe 扩展、以太网扩展、机密计算以保障 AI 工作负载安全，以及 160 kW 的机架级功耗。

高通的超大规模 AI 软件栈，从应用层到系统软件层覆盖端到端，专为 AI 推理进行了优化。该栈支持领先的机器学习（ML）框架、推理引擎、生成式 AI 框架，以及 LLM / LMM 推理优化技术（如解耦合服务）。开发者可借助高通技术的 Efficient Transformers Library 和高通 AI 推理套件，实现模型的平滑上载和 Hugging Face 模型的一键部署。高通的软件提供即用型 AI 应用和代理、全面的工具、库、API 和服务，用于 AI 的运营。

高通 AI200 和 AI250 预计分别于 2026 年和 2027 年商用。

截至IT之家发文，高通公司股价大涨 20%。