支援與協助

LocalModel Bridge

使用本機大型語言模型需要協助嗎？

歡迎來到 LocalModel Bridge 的支援頁面。這個應用程式讓你完全離線地運行生成式 AI 模型。關於載入模型、設定捷徑或架設本機 API 伺服器的疑問，我們樂意為你解答。

協助

開啟應用程式的「設定」面板，選擇「模型」分頁，按「+」建立設定檔。你可以輸入 Hugging Face 儲存庫 ID（例如 mlx-community/Qwen2.5-1.5B-Instruct-4bit），也可以選擇 Mac 上的本機權重資料夾。按「建立設定檔」，再從狀態列彈出視窗載入。

LocalModel Bridge 100% 離線運作。用戶端的網絡存取只用於從 Hugging Face Hub 查詢並下載模型權重；伺服器端的網絡存取只用於在你自己的機器（localhost）上，於所選連接埠（例如 8080）架設與 OpenAI 相容的本機 HTTP 伺服器。

LocalModel Bridge 為 macOS 內建的「捷徑」應用程式提供原生動作。開啟「捷徑」，新增一個流程，在動作庫中搜尋「LocalModelBridge」。「查詢本機模型」這個動作接收提示詞，並回傳運行中的模型所生成的文字。

在「設定」的「一般」分頁中，可開啟「啟用本機 HTTP API 伺服器」。這會在 http://localhost:8080/v1/chat/completions提供與 OpenAI 相容的補全 API，讓開發工具（例如 Cursor 編輯器）查詢你的本機模型。

生成式 AI 模型會佔用大量記憶體。為免拖慢系統，LocalModel Bridge 會在可設定的閒置時間後，自動把模型從 Apple 晶片的統一記憶體卸載，並清理系統的 Metal 快取。

若常見問題未能解答你的疑問，歡迎電郵給我們，並附上以下資料：