基于 llama.cpp 搭建本地 LLM API 服务
最佳实践
21 分钟阅读
本文介绍如何用 llama.cpp 在自己的机器上搭建一个 OpenAI 兼容的 LLM API 服务——安装、下载模型、启动,三步搞定。
💡 不熟悉 GGUF、量化、推理引擎、tok/s 等概念?建议先阅读 LLM 本地部署核心概念图解,了解这些组件的关系后再动手。
为什么选 llama.cpp在不需要聊天界面、只需要 API 的场景下...
阅读全文