LiteLLM互換API

1つのOpenAI互換エンドポイントをLiteLLMに接続

LiteLLMは標準でOpenAI形式を扱います。このゲートウェイをOpenAI互換プロバイダーとして登録すれば、1つのbase URLと1つのキーで、既存のLiteLLM環境からGPT、Claude、Gemini、Kimi、GLM、DeepSeekをルーティングできます。

キーを購入ドキュメントを読む

LiteLLMでこのゲートウェイを使う場合と各プロバイダーを個別接続する場合

LiteLLMは多くのプロバイダーに接続できますが、それぞれに認証情報と設定が必要です。1つの互換ゲートウェイを指定すれば、設定を1エントリにまとめられます。

LiteLLM内のこのゲートウェイLiteLLM内の個別プロバイダー
設定するプロバイダーエントリOpenAI互換エントリ1つプロバイダーごとに個別キーを持つ設定ブロック
ローテーションする認証情報キー1つ上流プロバイダーごとに1つのキー
モデルルーティング同じbase URLでモデル文字列を切り替え各モデルをプロバイダー設定に割り当て
中国系モデルKimi、Qwen、GLM、DeepSeekを同じエントリで利用個別設定が必要で、一部はネイティブ非対応
課金CNYのプリペイドクレジット、有効期限なしプロバイダーごとに個別請求
プロバイダー固有機能共通のOpenAIインターフェースプロバイダー固有パラメーターを完全サポート

この構成が適している人

次に当てはまる場合に最適

  • すでにLiteLLM（ライブラリまたはプロキシ）を運用しており、プロバイダー設定を減らしたい
  • 1つのキーとbase URLで先端モデルと中国系モデルを利用したい
  • 多数のプロバイダーキーではなく、1つの認証情報だけをローテーションしたい
  • 複数の従量課金請求ではなくプリペイドクレジットを使いたい

次の場合には適していません

  • このゲートウェイが公開していないプロバイダー固有パラメーターをLiteLLMから渡す必要がある
  • コスト配賦のため、プロバイダーごとの直接請求を維持する必要がある
  • 調達にUSD建て請求書が必要
  • ゲートウェイがルーティングしないモデルに依存している

正直な制約

LiteLLMから互換ゲートウェイを指定するときに理解しておくべき点。

  • LiteLLMのプロバイダー固有機能は、基盤インターフェースが公開している場合にのみ動作します。互換エンドポイントが扱うのは共通のOpenAIパラメーターです。
  • 課金とプリペイドクレジットはCNY建てです。LiteLLMのコスト追跡には、上流ベンダー価格ではなくゲートウェイ価格が反映されます。
  • レート制限はキー単位です。HTTP 429に備えてLiteLLMのリトライとバックオフを設定してください。
  • 実測していないレイテンシー値は公開しません。導入前にご自身のLiteLLM環境でベンチマークしてください。

LiteLLMに登録する値

OpenAI互換プロバイダーエントリに必要な具体的な値です。倍率は1Mトークンあたり0.4 CNYを基準に適用されます。

Base URLhttps://new.weeanno.shop/v1openai-compatible LiteLLMプロバイダーのapi_baseとして使用します。
Chatエンドポイント/v1/chat/completions完全なURL：https://new.weeanno.shop/v1/chat/completions。
認証ヘッダーBearer keyAuthorization: Bearer sk-your-api-key。
モデル12+ familiesGPT、Claude、Gemini、Kimi、Qwen、GLM、DeepSeek、MiniMax、MiMo、StepFun。
最低料金0.04 CNY / 1M低コスト・大容量ルーティング向けの0.1xモデル。
キャッシュ入力from 0.1xキャッシュヒットは通常のトークン単価の10%から課金されます。

LiteLLM経由のスループットとレイテンシーは、デプロイ環境と地域によって異なります。実測していない数値は公表しません。ドキュメント記載のエンドポイントで独自のLiteLLMベンチマークを実行してください。

LiteLLM互換API — よくある質問

このゲートウェイをLiteLLMに追加するには？

OpenAI互換プロバイダーを登録し、api_baseをhttps://new.weeanno.shop/v1に、api_keyをご自身のキーに設定します。その後、ゲートウェイのモデル文字列でモデルを指定してください。

LiteLLMライブラリとプロキシの両方で動作しますか？

はい。OpenAI互換のbase URLとキーを受け付けるものなら、Pythonライブラリ、プロキシサーバー、LiteLLMをラップするフレームワークのいずれでも動作します。

LiteLLMから中国系モデルをルーティングできますか？

はい。1つのOpenAI互換base URLを共有するため、プロバイダーを個別設定せずに、モデル文字列でKimi、Qwen、GLM、DeepSeekを呼び出せます。

コストはどのように追跡されますか？

LiteLLMはゲートウェイのモデル別料金（1Mトークンあたり0.4 CNYを基準とする固定倍率）に基づいて利用量を追跡し、有効期限のないプリペイドクレジットから支払われます。

1つのLiteLLMプロバイダーで全モデルを利用

キーを購入し、OpenAI互換エントリを1つ追加して、すべてをLiteLLM経由でルーティングできます。

キーを購入ドキュメントを読む