2026/09/04Codex

ツール比較AI活用導入・運用

GPT-6 Astraのベンチマーク結果と、その読み方

「GPT-6 Astraは本当にすごいのか」「ベンチマークの数字がずらっと並んでいるけれど、どこを見ればいいのか分からない」——新しいモデルが出るたびに、この迷いに突き当たります。

結論から言うと、OpenAIが発表した数字だけを見て「最強」と判断するのは早計です。公式発表のスコアと、第三者機関による独立集計を並べると、同じGPT-6 Astraでも評価が食い違う項目があります。しかもAstraが負けている項目も実在し、その一部は発表本文でほとんど触れられていません。

株式会社Fyveは中小企業のAI活用を支援しており、モデルの性能を実務判断に落とし込む機会が日常的にあります。この記事では、OpenAI公式の数字と独立系の集計を出所別に分けたまま並べ、GPT-6 Astraのベンチマーク結果をどう読めばいいのかを整理します。

公式ベンチマークを見る前に——「最大effortでの測定」という前提

GPT-6 Astraは2026年9月3日（米国時間・日本時間9月4日）に発表されました。前世代のGPT-5.6 Solから、思考の深さを表すeffortに新しくmaxが追加され、low medium high xhigh maxの5段階になっています。

ここで見落とせない前提があります。OpenAIが公表した公式ベンチマークは、原則としてすべて最大effortでの測定です。effortを上げるほどスコアは伸びますが、同時にレイテンシとトークン消費も膨らみます。つまり公式スコアは「一番手間をかけたときの上限値」であって、日常的な設定でそのまま出てくる数字ではありません。以降の表を見るときは、常にこの前提を差し引いて読んでください。

発表の原文はこちらです。

OpenAI公式発表：Introducing GPT-6 Astra

公式値①：コンピュータ操作と業務・コーディング（OpenAI発表）

まずはOpenAI自身が発表した数字です。ここから独立系の集計（後述）までは、出所を混ぜずに別の章・別の表として見ていきます。

コンピュータ操作

ベンチマーク	Astra	Sol
OSWorld 2.0	72.6%（約40分/タスク）	65.7%（約75分/タスク）
ScreenSpot-Pro	92.7%	76.9%
Mind2Web	Sol比 1.9倍速	—
Agents' Last Exam	59.3	53.6（Opus 5=55.5）

OSWorldは同じタスクを約47%短い時間でこなせるようになったという意味です。パソコン操作の自律実行は、今回の発表でOpenAIが特に強調していた領域です。

業務・コーディング

ベンチマーク	Astra	Fable 5.1	Fable 5	Opus 5	Sol
AutomationBench	41.4%	31.4%	—	26.9%	18.1%
BenchCAD	95.9%	84.3%	—	—	83.3%
Terminal-Bench 4.0	約58%	55.8%	42.0%	52.3%	37.3%
DeepSWE v1.1	74.1%	—	—	—	72.7%
FrontierCode 1.1拡張	64.5%	—	64.9%	—	—
FrontierCode本体	53.3%	—	53.5%	53.4%	—
BrowseComp	91.5%	—	—	—	90.4%

Terminal-Bench 4.0は、報道によって57.7%と57.9%に数字が割れているため、この記事では約58%と表記します。前世代のSolが37.3%だったことを踏まえると、Astraの約58%は大幅な伸びに見えます。ただしFable 5.1の55.8%とは2ポイント程度の差で、こちらは「大きく引き離した」とまでは言えません。AutomationBenchも同じ傾向で、Sol（18.1%）比では大きく伸びている一方、Fable 5.1（31.4%）との差は10.0ポイント、Opus 5（26.9%）との差は14.5ポイントと、Solとの差ほどには開いていません。

ここで見落とせないのがFrontierCode本体です。拡張版ではAstraが64.5%と高いスコアを出していますが、本体のスコアは53.3%で、Claude Fable 5の53.5%・Opus 5の53.4%をどちらも下回っています。差は0.1〜0.2ポイントとわずかですが、Astraが公式発表の表の中でも負けている項目が実在するという事実は、この記事で最初に押さえておきたい点です。

読者特典・無料ダウンロードCodexに「課金」する前に読む本無料でダウンロード →

公式値②：学術・サイバーセキュリティ・長文・整合性（OpenAI発表）

学術

ベンチマーク	Astra	Fable 5.1	Fable 5	Opus 5	Sol
FrontierMath Tier 4 (v2)	97.6%	87.8%	87.8%	73.2%	80.5%
ARC-AGI-3	99.9%	—	—	30.2%	7.8%
GPQA Diamond	96.0%	—	—	—	—
Humanity's Last Exam（ツールあり）	57.2%	65.0%	63.8%	63.6%	—

学術系4項目のうち3つはAstraが最上位ですが、Humanity's Last Examだけは逆です。Astraの57.2%に対し、Claude Fable 5.1は65.0%、Fable 5は63.8%、Opus 5は63.6%と、Anthropic側の3モデルすべてに負けています。しかもこの数字は、発表本文の文章ではほとんど触れられていません。ベンチマーク一覧の表に数字として載っているだけで、地の文で「この項目では及ばなかった」と説明されている箇所は見当たりませんでした。負けている項目を大きく扱わないのは珍しいことではありませんが、数字だけを追う側は見落とさないようにしたいところです。

サイバーセキュリティ

ベンチマーク	Astra	Fable 5.1	Sol
ExploitBench（両者セーフガード無し）	100.0%	70.0%	78.5%
ExploitGym（時間制限を撤廃して測定）	42.4%	30.4%	30.3%
SRE-Bench（1回で解けた率）	88.0%	12.5%	55.9%

サイバーセキュリティ領域はAstraが全項目で上回っています。特にSRE-Benchは、Fable 5.1が12.5%にとどまる一方でAstraは88.0%と、7倍以上の開きです。この領域はOpenAIが「サイバーセキュリティで初めてCritical相当の閾値に達したモデル」と説明している通り、今回の発表で最も力点が置かれた部分です。ただしExploitGymは通常の6時間制限を撤廃した特別な測定条件であることは、このあと触れます。

Preparedness Framework——なぜサイバー領域だけ「判定基準」の話が出てくるのか

サイバーセキュリティのスコアが突出している背景には、OpenAI自身の安全性評価枠組み「Preparedness Framework」があります。公式の判定基準は「堅牢化された重要システムのゼロデイを人の介在なしに特定し、動作するエクスプロイトを開発できる」または「高レベルの目標だけで新規のサイバー攻撃戦略をエンドツーエンドで実行できる」というものです。Astraはこの基準に照らして、サイバーセキュリティで初めてCritical相当の閾値に達したモデルとされています。

評価の過程で、内部のV8ベンチマークにおいて未知のゼロデイ脆弱性を2件発見したとも公表されています。任意コード実行の成功率はAstraが39.0%、Solが5.5%でした。数字が強い分、高度なサイバー機能は一般提供されず、サイバー防御プログラムであるDaybreakの参加組織に限定されています。ホワイトハウスによる任意の事前レビューを経たとも説明されていますが、詳細は非公開です。ベンチマークの数字だけを見ると圧倒的ですが、その強さゆえに一般ユーザーが直接触れられる範囲は限定されている、という構造を理解しておく必要があります。

長文コンテキスト

ベンチマーク	Astra	Sol
MRCR v2 8-needle 256K〜512K	100%	91.5%
MRCR v2 8-needle 512K〜1M	96.3%	73.8%

105万トークンという長いコンテキストの、しかも後半（512K〜1M）の精度が前世代より大きく改善しています。256K〜512Kの範囲ではAstraが100%とSolの91.5%を8.5ポイント上回り、512K〜1Mの範囲では96.3%対73.8%と差はさらに広がっています。長い資料や複数ファイルをまとめて読み込ませる用途では、体感しやすい差になりそうです。

整合性・安全性

項目	Astra	Sol
サイバー系ジェイルブレイクの拒否率	91.5%	59%
内部ハルシネーション率（低いほど良い）	4.2%	12.2%
コンピュータ操作の安全性（低いほど良い・内部ベンチ）	2.4%	22.0%

数字が意味するところを整理すると、サイバー系ジェイルブレイクの拒否率は59%から91.5%へ32.5ポイント上昇し、内部ハルシネーション率は12.2%から4.2%へおよそ3分の1の水準まで下がっています。コンピュータ操作の安全性（低いほど良い）は22.0%から2.4%へと、およそ9分の1まで縮小しました。ここは前世代からの改善幅としては最も大きい部類に入ります。ただしこの3項目はOpenAIの前世代（Sol）との比較のみが公表されており、Claude系モデルとの直接比較データはありません。

独立系（第三者）の集計では、結論が変わる

ここからは出所を変えます。OpenAIの発表ではなく、独立系の第三者機関が測定した集計です。ここまでの公式値とは混ぜず、別の表として見てください。

指標	Astra	Fable 5.1	Opus 5	Fable 5	Sol
Artificial Analysis Intelligence Index v4.1.1	61.2	65.7	63.1	62.1	60.9
Artificial Analysis Coding Agent Index	67.0%	67.2%	—	68.1%	—

総合知能を測るIntelligence Indexでは、Astraの61.2は、Fable 5.1の65.7・Opus 5の63.1・Fable 5の62.1のいずれも下回ります。並んでいる5モデルのうち、Astraより低いのは前世代のSol（60.9）だけで、その差はわずか0.3ポイントです。新しい看板モデルが、Anthropicの現行3モデルすべてに総合スコアで及ばず、自分の前世代とほぼ並んでいる——これがOpenAIの公式発表とはまったく違う像です。Artificial Analysisの集計では、Astraは掲載された202モデル中8位でした。

コーディングに絞ったCoding Agent Indexでは、Astra 67.0%・Fable 5.1 67.2%・Fable 5 68.1%と、差は1ポイント前後で実質横並びです。総合指標ほどの開きはありません。

なお、AstraとClaude Fable 5.1は、API料金が入力$10・出力$50（100万トークンあたり、2026年9月4日時点）で完全に同額です。同じ値段で総合スコアの序列が入れ替わっているという事実は、価格の違いでは説明できません。

なぜ公式と独立系で結論が割れるのか——反例を探した跡

ここまでの数字を「OpenAIの発表は盛っている」と単純化するのも早計です。Astraに有利に働きうる留保も含めて、見つかったものを並べておきます。

公式値は最大effortでの測定：独立系の集計がどのeffort設定で測っているかは公表の粒度が異なり、単純な横並び比較には注意が要ります
FrontierMathは運営元がOpenAIから資金を受けている：運営するEpoch AIは「OpenAIが開発資金を出し、一部の問題に独占アクセスを持つ」と自ら明示しています。97.6%という高スコアの評価者に、この利害関係があることは知っておく必要があります
BenchCADは評価条件が揃っていない：OpenAI自身が「Claude側は評価設定を変更して実行した」と注記しています。95.9%対84.3%という差の一部は、条件の違いを反映している可能性があります
ExploitGymは通常の制限を外した特別条件：両モデルとも、通常の6時間制限を撤廃した状態で測定されています。実運用の制約下での差は、この数字より縮まる可能性があります
ARC-AGI-3は報道によって値が割れている：OpenAI発表は99.9%ですが、The New Stackは別の測定条件下で98.6%と報じています
OpenAI自身が監視性能の低下を開示している：Solと比べて「監視可能性（monitorability）は低下した」と公式が認めており、監視が誤作動して正当な作業を止めうるとも書かれています。安全機構が絡む数字は、この自己開示とセットで読む必要があります

これらは「だからAstraは弱い」と結論づけるための材料ではありません。強い項目にも弱い項目にも、それぞれ割り引いて読むべき事情があるという以上のことは、この記事では言えません。

この数字を、どう判断に使うか

1つのベンチマークの抜粋から「あらゆる用途で最強」という結論は作らないでください。用途によって、見るべき指標が変わります。

パソコン操作の自律実行を任せたい場合：OSWorld・ScreenSpot-Proの伸びは大きく、公式・独立系のどちらから見ても方向性は一致しています。この領域は素直に評価してよさそうです
コーディング・エージェント作業が中心の場合：Terminal-Bench 4.0では上回っていますが、FrontierCode本体ではわずかに下回り、独立系のCoding Agent Indexでは実質横並びです。「圧倒的」ではなく「僅差」で受け止めるのが実態に近いです
総合的な知的タスクの安定性を重視する場合：独立系のIntelligence Indexでは、現行のAnthropic3モデルすべてに劣後しています。ここを重視するなら、Astra単体で決めず他モデルとの比較検証を挟むべきです
サイバーセキュリティ領域の検証・防御用途：公式値は圧倒的ですが独立系の裏付けは薄い分野です。Preparedness Frameworkで初めてCritical相当と判定された領域でもあり、高度な機能はDaybreakプログラムに限定提供されています。一般利用の立場では、まだ全容を検証しきれません
日常の軽い作業が中心の場合：公式スコアは最大effortでの測定です。日々の下書き・要約・簡単な質問応答のような軽い用途では、そもそもeffortを最大まで上げて使うことがほとんどありません。ベンチマークの差がそのまま体感差になるとは限らない、という前提を忘れないでください

単価が同額である以上、「価格が同じだから性能で選ぶ」という発想自体は成り立ちます。ただしその「性能」が指すものが公式値なのか独立系の集計なのかによって、選ぶべき結論が変わることは覚えておいてください。

ベンチマーク表を見るときの実務チェック

今回GPT-6 Astraの数字を整理して分かったのは、ベンチマーク表そのものより、その周辺情報のほうが判断を左右するということです。次に新しいモデルの発表を読むときは、この手順で見てください。

その数字はどのeffort・条件で測定されたかが明記されているか（最大effortなのか、既定設定なのか）
比較対象（他社モデル）は同じ評価条件で測定されたと明記されているか。「評価設定を変更して実行した」のような注記がないか
ベンチマークの運営元と発表元の間に、資金関係や独占アクセスがないか
負けている項目が表からすっぽ抜けていないか。発表本文の文章だけでなく、添付の表・脚注まで開いて確認する
可能であれば独立系の集計（第三者ベンチマーク）を探し、公式発表と突き合わせる

私たちが実際に手元で確かめたのは、Codex CLI経由でGPT-6 Astraを呼び出せるかどうかという別の話です。ChatGPTアカウント認証のCodex CLI（0.137.0）でAstraを指定すると、the model is not supported when using Codex with a ChatGPT accountという400エラーが返り、実行できませんでした。この検証と手順は別記事にまとめています。

CodexCodexでGPT-6 Astraを使う手順

よくある質問

GPT-6 Astra（アストラ）のベンチマークは、どこで一次情報を確認できますか

OpenAI公式のモデルページと発表ページに、この記事で扱った公式値の出典があります。公式値だけで判断せず、Artificial Analysisのような独立系の集計もあわせて確認することをおすすめします。ChatGPT 6・GPT-6・ジーピーティー6といった呼び方をされることもありますが、公式のモデル名はGPT-6 Astra、APIのモデルIDはgpt-6-astraです。

GPT6 Astraは前世代のGPT-5.6 Solより性能が上がっていますか

OpenAIが公表した項目の大半では上回っています。コンピュータ操作・学術・サイバーセキュリティ・長文コンテキストのいずれもSol比で明確な伸びが確認できます。ただし、これらはすべて最大effortでの測定であること、独立系の総合指標では現行のClaude 3モデルすべてに下回っていることは、あわせて押さえておく必要があります。

Astraのベンチマークで、特に注意して読むべき項目はどれですか

この記事で扱った中では、Humanity's Last Exam（学術・Astraが唯一負けている項目）、FrontierCode本体（僅差でFable 5・Opus 5を下回る）、Artificial Analysis Intelligence Index（独立系の総合指標でAstraが最下位に近い）の3つです。いずれも公式発表の本文ではあまり強調されていない数字なので、表を直接確認することをおすすめします。

まとめ——ベンチマークを読むときのチェックリスト

公式ベンチマークは原則すべて最大effortでの測定。日常設定でそのまま出る数字ではない
公式値ではコンピュータ操作・サイバーセキュリティ・学術の大半でAstraが上位。ただしHumanity's Last Exam（57.2%、Fable 5.1は65.0%）とFrontierCode本体（53.3%、Fable 5は53.5%）ではAnthropic側に負けている
独立系のArtificial Analysis Intelligence IndexではAstra 61.2はFable 5.1・Opus 5・Fable 5の3モデルすべてを下回る（202モデル中8位）
Terminal-Bench 4.0は報道で57.7%と57.9%に割れており、この記事では約58%と表記した
FrontierMathの資金関係・BenchCADの評価条件差・ExploitGymの時間制限撤廃・ARC-AGI-3の値の割れ・監視性能低下の自己開示など、割り引いて読むべき留保が複数ある
1つのベンチマークから「あらゆる用途で最強」という結論は作らない。用途ごとに見る指標を変える

GPT-6 Astraの全体像——できること、料金、プランごとの提供状況は、こちらにまとめています。