Support & Hilfe
Willkommen auf der Support-Seite von LocalModel Bridge. Diese Anwendung ermöglicht es Ihnen, generative KI-Modelle vollständig offline auszuführen. Wenn Sie Fragen zum Laden von Modellen, zur Konfiguration von Kurzbefehlen oder zur Einrichtung des lokalen API-Servers haben, sind wir für Sie da.
Unterstützung
Öffnen Sie die Einstellungen der App und wählen Sie den Tab „Modelle“ (Models). Klicken Sie auf das „+“ Symbol, um ein Profil zu erstellen. Sie können eine Hugging Face Repository-ID eingeben (z. B. mlx-community/Qwen2.5-1.5B-Instruct-4bit) oder einen lokalen Gewichtungsordner auf Ihrem Mac auswählen. Klicken Sie auf „Profil erstellen“ und laden Sie es über das Statusmenü in der Menüleiste.
LocalModel Bridge arbeitet standardmäßig 100 % offline. Der Client-Netzwerkzugriff wird ausschließlich verwendet, um Modellgewichtungen vom Hugging Face Hub abzufragen und herunterzuladen. Der Server-Netzwerkzugriff dient ausschließlich dem Hosten des lokalen OpenAI-kompatiblen HTTP-Servers auf einem ausgewählten Port (z. B. 8080) auf Ihrer eigenen Maschine (localhost).
LocalModel Bridge integriert sich nativ in die Apple Kurzbefehle-App (Shortcuts) unter macOS. Öffnen Sie die Kurzbefehle-App, erstellen Sie einen neuen Kurzbefehl und suchen Sie in der Aktionsbibliothek nach „LocalModelBridge“. Die Hauptaktion „Lokales Modell abfragen“ akzeptiert einen Prompt und gibt den vom laufenden Modell generierten Text zurück.
Im Allgemein-Tab (General) der Einstellungen können Sie „Lokalen HTTP-API-Server aktivieren“ einschalten. Dadurch wird eine OpenAI-kompatible Completion-API unter http://localhost:8080/v1/chat/completions bereitgestellt, so dass Entwicklungstools (wie z. B. der Cursor-Editor) Ihre lokalen Modelle abfragen können.
Generative Sprachmodelle (LLMs) belegen erheblichen Arbeitsspeicher (RAM). Um Systemverlangsamungen zu vermeiden, entlädt LocalModel Bridge Modelle nach einer konfigurierbaren Inaktivitätsdauer automatisch aus dem gemeinsamen Apple-Silicon-Speicher und leert den Metal-Cache.
Wenn die FAQ Ihre Frage nicht beantwortet, können Sie uns gerne eine E-Mail senden. Bitte geben Sie folgende Details an: