IonRouter

团队使用 IonRouter 作为嵌入式 OpenAI 兼容 API，以一半的市场价格获得 LLM、视觉、视频和 TTS 的最佳开放模型。您可以运行代理和多模式应用程序，并在我们的机群上部署您的微调，同时我们在后台处理优化和扩展。在底层，IonRouter 运行专为 NVIDIA Grace Hopper 构建的自定义推理引擎 (IonAttention)，从而降低工作负载的价格和延迟。