LiteLLM에서 이 게이트웨이 사용 vs 각 공급자 개별 연결
LiteLLM은 많은 공급자와 통신할 수 있지만 각각 별도의 인증 정보와 설정이 필요합니다. 하나의 호환 게이트웨이를 지정하면 이를 단일 항목으로 줄일 수 있습니다.
| LiteLLM의 이 게이트웨이 | LiteLLM의 개별 공급자 | |
|---|---|---|
| 설정할 공급자 항목 | OpenAI 호환 항목 하나 | 공급자별 개별 키와 설정 블록 |
| 교체할 인증 정보 | 키 하나 | 업스트림 공급자별 키 하나 |
| 모델 라우팅 | 하나의 base URL에서 모델 문자열로 전환 | 각 모델을 공급자 설정에 매핑 |
| 중국 모델 | Kimi, Qwen, GLM, DeepSeek를 동일한 항목에서 사용 | 개별 설정 필요, 일부는 기본 지원하지 않음 |
| 결제 | CNY 선불 크레딧, 유효기간 없음 | 공급자별 별도 청구 |
| 공급자 고유 기능 | 공통 OpenAI 인터페이스 | 공급자별 매개변수 완전 지원 |
이 구성에 적합한 사용자
다음에 해당하면 적합합니다
- 이미 LiteLLM(라이브러리 또는 프록시)을 운영하며 공급자 설정을 줄이고 싶은 경우
- 하나의 키와 base URL로 프런티어 모델과 중국 모델을 함께 사용하고 싶은 경우
- 여러 공급자 키 대신 하나의 인증 정보만 교체하고 싶은 경우
- 여러 건의 사용량 청구서 대신 선불 크레딧을 원하는 경우
다음의 경우에는 적합하지 않습니다
- 이 게이트웨이가 노출하지 않는 공급자 고유 매개변수를 LiteLLM에서 전달해야 하는 경우
- 비용 귀속을 위해 공급자별 직접 청구를 유지해야 하는 경우
- 구매 절차에 USD 청구서가 필요한 경우
- 게이트웨이가 라우팅하지 않는 모델에 의존하는 경우
솔직한 제한 사항
LiteLLM이 호환 게이트웨이를 가리킬 때 예상해야 할 점.
- LiteLLM의 공급자별 기능은 기본 인터페이스가 해당 기능을 노출할 때만 작동합니다. 호환 엔드포인트는 공통 OpenAI 매개변수를 지원합니다.
- 결제와 선불 크레딧은 CNY 기준입니다. LiteLLM 비용 추적에는 업스트림 공급자 가격이 아닌 게이트웨이 가격이 반영됩니다.
- 요청 제한은 키 단위입니다. HTTP 429에 대비해 LiteLLM 재시도 및 백오프를 설정하세요.
- 측정하지 않은 지연 시간 수치는 공개하지 않습니다. 도입 전에 직접 LiteLLM 설정에서 벤치마크하세요.
LiteLLM에 등록할 값
OpenAI 호환 공급자 항목에 필요한 구체적인 값입니다. 배수는 1M 토큰당 0.4 CNY 기준에 적용됩니다.
Base URLhttps://new.weeanno.shop/v1openai-compatible LiteLLM 공급자의 api_base로 사용합니다.
Chat 엔드포인트/v1/chat/completions전체 URL: https://new.weeanno.shop/v1/chat/completions.
인증 헤더Bearer keyAuthorization: Bearer sk-your-api-key.
모델12+ familiesGPT, Claude, Gemini, Kimi, Qwen, GLM, DeepSeek, MiniMax, MiMo, StepFun.
최저 요금0.04 CNY / 1M저렴한 대용량 라우팅을 위한 0.1x 모델.
캐시 입력from 0.1x캐시 적중은 일반 토큰당 요금의 10%부터 과금됩니다.
LiteLLM을 통한 처리량과 지연 시간은 배포 환경과 지역에 따라 다릅니다. 측정하지 않은 수치는 공개하지 않습니다. 문서 엔드포인트를 대상으로 직접 LiteLLM 벤치마크를 실행하세요.
LiteLLM 호환 API — 자주 묻는 질문
이 게이트웨이를 LiteLLM에 어떻게 추가하나요?
OpenAI 호환 공급자를 등록하고 api_base를 https://new.weeanno.shop/v1로, api_key를 보유한 키로 설정하세요. 그런 다음 게이트웨이 모델 문자열로 모델을 참조하면 됩니다.
LiteLLM 라이브러리와 프록시 모두에서 작동하나요?
예. OpenAI 호환 base URL과 키를 받는 모든 구성에서 작동합니다. Python 라이브러리, 프록시 서버, LiteLLM을 감싸는 프레임워크가 포함됩니다.
LiteLLM에서 중국 모델을 라우팅할 수 있나요?
예. 하나의 OpenAI 호환 base URL을 공유하므로 공급자별 설정 없이 모델 문자열만으로 Kimi, Qwen, GLM 및 DeepSeek에 연결할 수 있습니다.
비용은 어떻게 추적하나요?
LiteLLM은 게이트웨이의 모델별 요금(1M 토큰당 0.4 CNY 기준의 고정 배수)에 따라 사용량을 추적하며 유효기간 없는 선불 크레딧에서 결제됩니다.
하나의 LiteLLM 공급자로 모든 모델 사용
키를 구매하고 OpenAI 호환 항목 하나를 추가하여 모든 요청을 LiteLLM으로 라우팅하세요.