NVIDIA
NVIDIA 는https://integrate.api.nvidia.com/v1 에서 Nemotron 및 NeMo 모델용 OpenAI 호환 API 를 제공합니다. NVIDIA NGC 의 API 키 로 인증하세요.
CLI 설정
키를 한 번 export 한 뒤, onboarding 을 실행하고 NVIDIA 모델을 설정합니다.--token 을 전달한다면 셸 히스토리와 ps 출력에 남는다는 점을 기억하세요. 가능하면 env var 를 우선하세요.
설정 예시
Model IDs
nvidia/llama-3.1-nemotron-70b-instruct(기본값)meta/llama-3.3-70b-instructnvidia/mistral-nemo-minitron-8b-8k-instruct
메모
- OpenAI 호환
/v1엔드포인트이며, NVIDIA NGC 의 API 키 를 사용합니다. NVIDIA_API_KEY가 설정되면 프로바이더 가 자동 활성화되며, 정적 기본값(131,072 토큰 컨텍스트 창, 4,096 최대 토큰)을 사용합니다.