評価ベンチマークカタログ

このページでは、LLM 評価ジョブ で利用可能な評価ベンチマークを、カテゴリ別にまとめて掲載しています。実行可能なベンチマークの確認、各ベンチマークのタスク ID の特定、追加の認証情報が必要かどうかの確認に使用できます。 一部のベンチマークでは追加の認証情報が必要です。チームのメンバーが評価ジョブでそれらのベンチマークを使用する前に、チーム管理者がそれらの認証情報をチームスコープのシークレットとして追加する必要があります。

• OpenAI スコアラー 列が Yes のベンチマークでは、スコアリングに OpenAI のモデルを使用します。組織管理者またはチーム管理者は、OpenAI APIキーをチームシークレットとして追加する必要があります。この要件があるベンチマークで評価ジョブを設定する場合は、Scorer API key フィールドにそのシークレットを指定します。
• アクセス制限付き HF データセット 列にリンクがあるベンチマークでは、アクセス制限付き HF データセットへのアクセスが必要です。組織管理者またはチーム管理者は、Hugging Face でそのデータセットへのアクセスをリクエストする必要があります。その後、管理者は Hugging Face のユーザーアクセストークンを作成し、そのトークンを使ってチームシークレットを設定します。この要件があるベンチマークを設定する場合は、Hugging Face Token フィールドにそのシークレットを指定します。

科学、言語、一般的な推論など、さまざまな分野にわたる事実知識を評価します。 論理的思考、問題解決、および常識に基づく推論能力を評価します。 初等レベルから競技レベルまで、さまざまな難易度の数学の問題解決能力を評価します。 デバッグ、コード実行結果の予測、関数呼び出しなど、プログラミングやソフトウェア開発の能力を評価します。 複雑なテキストに対する読解力と情報抽出を評価します。 情報検索やパターン認識を含め、長文コンテキストを処理して推論する能力を評価します。 アラインメント、バイアス検出、有害コンテンツへの耐性、真実性を評価します。 医学、化学、法律、生物学、その他の専門分野における専門知識を評価します。 画像入力とテキスト入力を組み合わせた、視覚と言語の理解を評価します。 特定の指示や書式要件への準拠を評価します。 基本的なシステムの検証と事前チェック。

• モデル チェックポイントを Evaluate する
• ホスト型 API モデルを Evaluate する
• 特定のベンチマークの詳細は、AISI Inspect Evals をご覧ください