https://integrate.api.nvidia.com/v1 で提供しています。 NVIDIA NGC の API キーを使用して認証します。
CLI セットアップ
キーを一度エクスポートしてから、オンボーディングを実行して、NVIDIA モデルを設定します。--token を渡す場合は、それがシェル履歴と ps 出力に記録されることを覚えておいてください。可能であれば、環境変数を使用してください。
構成スニペット
モデル ID
nvidia/llama-3.1-nemotron-70b-instruct(デフォルト)meta/llama-3.3-70b-instructnvidia/mistral-nemo-minitron-8b-8k-instruct
注意事項
- OpenAI 互換の
/v1エンドポイント。 NVIDIA NGC の API キーを使用します。 NVIDIA_API_KEYが設定されている場合、プロバイダーは自動的に有効になります。静的なデフォルト (131,072 トークンのコンテキスト ウィンドウ、最大トークン 4,096) を使用します。