Ollama

一条命令在本地运行开源模型，并提供熟悉的 API。

适合谁

希望用本地推理做原型、处理私有数据或离线运行、又不想自己折腾模型运行时的开发者。

为什么值得关注

Ollama 安装本地运行时，从模型库拉取 Llama、Gemma、Qwen、DeepSeek 等模型，并通过简洁的 CLI 与兼容 OpenAI 聊天格式的 REST API 提供服务。它负责模型下载、量化、GPU 加速与上下文设置，支持 macOS、Windows 与 Linux。软件采用 MIT 许可，本地使用免费；可选的云服务按量或订阅提供更大模型。代价是它以命令行为主：图形聊天需要另配 Open WebUI 之类的前端，大模型仍需要足够的 RAM 或显存，每个模型也有各自的许可条款。