メインコンテンツへスキップ
NVIDIA は、Nemotron および NeMo モデル用の OpenAI 互換 API を https://integrate.api.nvidia.com/v1 で提供しています。 NVIDIA NGC の API キーを使用して認証します。

CLI セットアップ

キーを一度エクスポートしてから、オンボーディングを実行して、NVIDIA モデルを設定します。
それでも --token を渡す場合は、それがシェル履歴と ps 出力に記録されることを覚えておいてください。可能であれば、環境変数を使用してください。

構成スニペット

モデル ID

  • nvidia/llama-3.1-nemotron-70b-instruct (デフォルト)
  • meta/llama-3.3-70b-instruct
  • nvidia/mistral-nemo-minitron-8b-8k-instruct

注意事項

  • OpenAI 互換の /v1 エンドポイント。 NVIDIA NGC の API キーを使用します。
  • NVIDIA_API_KEY が設定されている場合、プロバイダーは自動的に有効になります。静的なデフォルト (131,072 トークンのコンテキスト ウィンドウ、最大トークン 4,096) を使用します。