Binde einen OpenAI-compatible Endpoint in LiteLLM ein
LiteLLM spricht standardmäßig OpenAI. Registriere dieses Gateway als OpenAI-compatible provider — eine base URL, ein Key — und route GPT, Claude, Gemini, Kimi, GLM und DeepSeek über dein bestehendes LiteLLM-Setup.
Dieses Gateway als LiteLLM provider vs. jeden Anbieter einzeln verdrahten
LiteLLM kann mit vielen Anbietern sprechen, aber jeder braucht eigene Zugangsdaten und Konfiguration. Es auf ein einziges kompatibles Gateway zu richten, reduziert das alles auf einen einzigen Eintrag.
| Dieses Gateway in LiteLLM | Jeder Anbieter einzeln in LiteLLM | |
|---|---|---|
| Zu konfigurierende Anbieter-Einträge | Ein OpenAI-compatible Eintrag | Ein Block pro Anbieter mit eigenen Keys |
| Zu rotierende Zugangsdaten | Ein einziger Key | Ein Key pro vorgelagertem Anbieter |
| Modell-Routing | Wechsel per Modell-String unter einer base URL | Jedes Modell auf seine Anbieter-Config mappen |
| Chinesische Modelle | Kimi, Qwen, GLM, DeepSeek im selben Eintrag | Separates Setup, manche nicht nativ unterstützt |
| Abrechnung | Prepaid-Guthaben in CNY, ohne Verfall | Jeder Anbieter wird separat abgerechnet |
| Anbieter-native Eigenheiten | Gängige OpenAI-Oberfläche | Volle Parameterunterstützung je Anbieter |
Für wen das ist
Gut geeignet, wenn du
- Bereits LiteLLM (Bibliothek oder Proxy) betreibst und weniger Anbieter-Configs willst
- Einen Key und eine base URL für Frontier- und chinesische Modelle willst
- Lieber einen einzigen Zugang rotierst statt vieler Anbieter-Keys
- Prepaid-Guthaben statt mehrerer abgerechneter Rechnungen willst
Nicht geeignet, wenn du
- Brauchst, dass LiteLLM anbieter-native Parameter durchreicht, die dieses Gateway nicht bereitstellt
- Die direkte Abrechnung je Anbieter zur Kostenzuordnung behalten musst
- USD-Rechnungen für die Beschaffung benötigst
- Von einem Modell abhängst, das das Gateway nicht routet
Ehrliche Einschränkungen
Was zu erwarten ist, wenn LiteLLM auf ein kompatibles Gateway zeigt.
- Die anbieterspezifischen Funktionen von LiteLLM funktionieren nur, wenn die zugrunde liegende Oberfläche sie bereitstellt; ein kompatibler Endpoint deckt die gängigen OpenAI-Parameter ab.
- Abrechnung und Prepaid-Guthaben sind in CNY; das Kostentracking von LiteLLM spiegelt die Gateway-Preise wider, nicht die des vorgelagerten Anbieters.
- Rate Limits gelten pro Key — konfiguriere die Retries und das Backoff von LiteLLM für HTTP 429.
- Wir veröffentlichen keine Latenzzahlen, die wir nicht gemessen haben. Mach einen Benchmark über dein LiteLLM-Setup, bevor du dich festlegst.
Was du in LiteLLM registrierst
Die konkreten Werte für einen OpenAI-compatible provider-Eintrag. Multiplikatoren gelten auf einer Basis von 0.4 CNY pro 1M Token.
Durchsatz und Latenz über LiteLLM hängen von deinem Deployment und deiner Region ab. Wir veröffentlichen keine ungemessenen Zahlen — führe deinen eigenen LiteLLM-Benchmark gegen den Doku-Endpoint aus.
LiteLLM-kompatible API — FAQ
Wie füge ich dieses Gateway zu LiteLLM hinzu?
Registriere einen OpenAI-compatible provider mit api_base auf https://new.weeanno.shop/v1 gesetzt und deinem Key als api_key. Referenziere die Modelle dann über ihren Gateway-Modell-String.
Funktioniert es sowohl mit der LiteLLM-Bibliothek als auch mit dem Proxy?
Ja. Alles, was eine OpenAI-compatible base URL und einen Key akzeptiert, funktioniert — die Python-Bibliothek, der Proxy-Server und Frameworks, die LiteLLM kapseln.
Kann LiteLLM chinesische Modelle darüber routen?
Ja. Da sie eine OpenAI-compatible base URL teilen, erreicht LiteLLM Kimi, Qwen, GLM und DeepSeek per Modell-String ohne separates Anbieter-Setup.
Wie werden die Kosten erfasst?
LiteLLM erfasst die Nutzung anhand der Pro-Modell-Raten des Gateways (ein fester Multiplikator auf einer Basis von 0.4 CNY pro 1M Token), bezahlt aus Prepaid-Guthaben, das nie verfällt.
Ein LiteLLM provider, jedes Modell
Kauf einen Key, füge einen OpenAI-compatible Eintrag hinzu und route alles über LiteLLM.