Ollama

一條命令在本地執行開源模型，並提供熟悉的 API。

適合誰

希望用本地推理做原型、處理私有資料或離線執行、又不想自己折騰模型執行時的開發者。

為什麼值得關注

Ollama 安裝本地執行時，從模型庫拉取 Llama、Gemma、Qwen、DeepSeek 等模型，並通過簡潔的 CLI 與相容 OpenAI 聊天格式的 REST API 提供服務。它負責模型下載、量化、GPU 加速與上下文設定，支援 macOS、Windows 與 Linux。軟體採用 MIT 許可，本地使用免費；可選的雲服務按量或訂閱提供更大模型。代價是它以命令列為主：圖形聊天需要另配 Open WebUI 之類的前端，大模型仍需要足夠的 RAM 或視訊記憶體，每個模型也有各自的許可條款。