Langfuse

面向生產環境 LLM 應用的開源追蹤、評估與提示詞管理平臺。

適合誰

上線了 LLM 功能、需要看清每次呼叫做了什麼、花了多少、為何失敗的團隊。

為什麼值得關注

Langfuse 把每次 LLM 請求記錄成帶巢狀 span 的 trace，包含提示詞、輸出、token 數與延遲，因此排查一個壞回答或失控成本時開啟一條 trace 就夠了，不必翻日誌。它還提供提示詞版本管理與演練場、資料集與自動評估，以及成本與質量隨時間變化的看板。它相容 OpenTelemetry，並有 Python、TypeScript 與主流框架的 SDK。自託管是一套包含 Postgres、ClickHouse 與 Redis 的 Docker Compose 棧；雲端有可用的免費檔。GitHub 約 3.7 萬星，幾乎每週都有新版本。要注意：自託管是真實的多服務部署，評估功能也需要一些配置上的自律。