Benchmark Evaluation
TanakaSun Pro Benchmark Registry
最終更新日: 2026年6月24日
本ページは、TanakaSun Pro / Crucibleの性能評価を、公開ベンチマークと社内実行ログに基づいて整理するための評価台帳です。 現時点ではGPQA Diamondを掲載し、今後、科学推論、一般知識、数学、コーディング、事実性、ツール利用などの代表的ベンチマークを順次追加します。
評価一覧
スコアが確定したベンチマークは結果を掲載し、実行予定のベンチマークは評価枠として保持します。 各行は、データセット、評価対象、採点方法、実行日、根拠ログを後から追記できる構造です。
| Benchmark | Domain | Status | TanakaSun Pro | Evidence |
|---|
掲載中の評価
評価方法の記録方針
ベンチマーク結果は、単なる宣伝値ではなく、後から検証できる評価記録として管理します。 各ベンチマークについて、少なくとも以下の項目を保持します。
評価方法、実行ログ、追試APIは順次公開します。公開済みの項目から、本ページに根拠情報として追加します。
- Dataset
- データセット名、問題数、バージョン、公開元、取得日。
- Protocol
- 実行条件、採点ルール、失敗時の扱い、再試行条件、除外条件。
- Run Log
- 実行日、構成名、採点結果、未完了数、エラー数、保存された成果物。
- Comparison
- 公開リーダーボード、第三者評価、同一ベンチマーク内の比較対象。
今後追加する代表的ベンチマーク
以下は評価枠として先に用意しています。結果が確定したものから、同じ形式で掲載します。