BaseRT

BaseRT

比 llama.cpp 快 6.4 倍,比 MLX 快 3.9 倍

Product screenshot

关于产品

BaseRT 是 Apple Silicon 上最快的 LLM 运行时。使用一个命令安装它并在您自己的设备上运行本地模型。