GPT-6 Astraのパソコン操作は何が変わったのか

「パソコンをかわりに操作してくれるAIが来た」と聞いても、フォーム入力ひとつ任せていいものか、実際のところ判断がつきません。

結論から言うと、GPT-6 Astraは「画面を見て操作する」という課題を、前世代のGPT-5.6 Solより速く、より正確にこなせるようになりました。ただし画面操作を最後までやり切れる割合は7割強にとどまり、丸ごと放置していい段階ではありません。

株式会社Fyveは中小企業のAI活用を月額で伴走支援しています。この記事では、OpenAIが公表したベンチマークの数字を実際の業務の言葉に翻訳しながら、何が任せられるようになったのか、何に注意すべきかを整理します。なお私たちはAstraのコンピュータ操作機能を自社で実測してはいません。ここに書くのは公式発表と第三者の報道から確認できる事実です。

「パソコン操作を代行する」とは、具体的に何を指すのか

GPT-6 Astraが対応するツールの一覧には、web_search・file_search・image_generation・code_interpreter・hosted_shell・apply_patch・skills・mcp・tool_searchと並んで、computer_useが含まれています（2026年9月3日発表・日本時間9月4日）。これが今回のパソコン操作機能の正体です。

computer_useは、名前のとおり画面を見て、人と同じようにマウス操作やキー入力で作業を進める仕組みです。API連携が用意されていない古いシステムや、社内独自のツールでも、画面さえ見えていれば操作の対象にできる、という考え方に立っています。

一般的に「コンピュータ操作」型のAI機能は、画面のスクリーンショットを読み取り、次にどこを操作すべきかを判断し、実行して結果を確認する、というやり取りを繰り返す仕組みで動きます。Astraがこの一般的な枠組みをどのように実装しているかという詳細な技術仕様は公表されていませんが、対応ツールにcomputer_useが明記されている以上、同種の操作能力を指すと考えられます。

実務に置き換えると、次のような作業が対象になります。

• フォーム入力：行政手続きや会員登録など、複数ページにまたがる入力フォームを埋める（例：各種届出書類、許可申請フォームの入力）
• 表計算の更新：会計ソフトや業務システムの画面上で、数字を転記・更新する（例：日々の売上・経費データを会計ソフトへ手入力する経理業務）
• 画面を見ながらの転記：レガシーシステムから新しいシステムへ、データを一件ずつ移す（例：紙の記録や旧システムの画面をもとにした新システムへの入力）
• ブラウザでの繰り返し作業：複数のサイトを開いて情報を集める、同じ入力パターンを件数分繰り返す（例：複数の調達サイトから価格を集めて比較表を作る）

どれも「API連携すれば自動化できるのに」という業務ではなく、「連携する手段がないから、人が画面を見ながら手を動かしている」業務です。この領域が自動化の対象として広がった、というのが今回の変化の実務上の意味です。検索エンジンの活用やファイル操作といった既存のツールに加えて、画面操作そのものが選択肢に加わったことで、任せられる業務の幅は一段広がったことになります。

なぜ非エンジニアにとって意味があるのか

従来の業務自動化は、対象のシステムがAPIを公開していることが前提でした。APIがなければ、エンジニアが画面の構造を解析して専用の連携プログラムを書くか、あきらめて人がやり続けるかの二択です。中小企業の現場で使われている会計ソフトや業界特化の業務システムは、そもそも外部連携を想定していないものが少なくありません。

computer_useが前提にしているのは「画面が見えていれば操作できる」という発想です。裏側のAPI仕様を調べる必要も、専用の連携コードを書く必要もありません。新しく入った人に業務を教えるときと同じように、「この画面のこのボタンを押して、この項目にこの数字を入れてください」という言葉での指示だけで操作を進められます。

これまでであれば「エンジニアに見積を取って、開発してもらう」までの距離があった業務が、画面操作の手順さえ言葉にできれば試せる距離まで近づいた、というのが今回の変化です。IT部門を持たない会社ほど、この距離の縮まり方が大きく効きます。逆に言えば、手順を言葉にできない・毎回判断基準が変わるような業務は、今のところこの延長線上では任せにくい、ということでもあります。

ただし「エンジニアがいらない」と「誰も何も考えずに使える」は同じではありません。操作の手順や判断基準を言葉にする作業は、結局のところ業務を理解している人にしかできません。computer_useが変えたのは「言葉にできれば動かせる」という距離であって、「言葉にする手間」そのものがなくなったわけではありません。

読者特典・無料ダウンロードCodexに「課金」する前に読む本無料でダウンロード →↓

公式ベンチマークが示す3つの数字（2026年9月3日発表）

OpenAIはAstraの発表にあわせて、パソコン操作に関する複数のベンチマーク結果を公表しました。まず数字を確認します。🔴公式のベンチマーク値は、原則としてeffort（思考の深さ）を最大にした条件での測定です。スコアは上がりますが、その分だけ応答に時間がかかり、消費するトークンも増える点は割り引いて読む必要があります。

出所：OpenAI公式発表（openai.com/index/gpt-6-astra）。ここから先は、それぞれの数字が実務で何を意味するかを見ていきます。

OSWorld 2.0｜画面操作を最後までやり切れる割合と、かかる時間

OSWorldは、実際のデスクトップ環境で複数手順の作業を最後まで完了できるかを測るベンチマークです。ファイルを開く、必要な項目を入力する、保存する、といった一連の流れを人の代わりにやり切れるかを見ています。単発の質問に答える精度ではなく、「最後までやり通せるか」を測っている点が、日常のオフィス作業に近い評価軸です。

Astraの完了率は72.6%。Solの65.7%より高くはなっていますが、裏を返せば10回試して3回近くは最後までやり切れないという数字でもあります。フォーム入力を丸ごと任せて放置していい水準ではなく、完了したかどうかを人が確認する工程は残ります。

一方で、1タスクあたりの所要時間はAstraが約40分、Solが約75分で、約47%の短縮です。たとえば、複数システムをまたいで情報を転記するような作業に1時間以上かかっていたとすれば、それが30分強で終わる計算になります。同じパターンの業務を1日に何件もこなす担当者ほど、この時間差は積み上がっていきます。

ScreenSpot-Pro｜画面の「ここ」を正しく指させる精度

ScreenSpot-Proは、指示された操作対象を画面上で正しくクリックできるかを測るベンチマークです。専門的な業務ソフトはアイコンが小さく、似たようなボタンが並んでいることが多いため、人でも操作を間違えることがあります。

ここでAstraは92.7%、Solは76.9%です。Solの精度では4回に1回近くは違う場所を指してしまう計算になりますが、Astraではその誤りが14回に1回程度まで減ります。使い慣れていない業務システムや、見た目が古い官公庁系の画面ほど、この精度差が誤操作のリスクとして効いてきます。項目のズレに気づかず数字を入力し続けてしまう、といった事故を減らせる方向の改善です。

Mind2Web｜ブラウザ作業の速度

Mind2Webは、実在のWebサイトを使ったブラウザ操作の完了速度を見るベンチマークです。AstraはSol比で1.9倍速くブラウザ作業を終えると公表されています。

複数ページにわたる申込みフォームの入力、複数サイトを横断した情報収集、同じ入力パターンを件数分繰り返す作業など、ブラウザ上で完結する定型作業ほど、この速度差の恩恵を受けやすくなります。1件あたり数分の作業でも、件数が多い業務ほど積み上がる時間は大きくなります。たとえば、50件のデータ入力に2時間かかっていたとすれば、単純計算では1時間強まで縮む可能性がある、という水準の差です。

Agents' Last Exam｜エージェントとしての総合力

Agents' Last Examは、パソコン操作に限らず、エージェントとしての総合的な作業遂行力を測る指標です。Astraは59.3で、Opus 5の55.5、Solの53.6を上回りました。

ただし差は数ポイントにとどまり、圧勝と呼べるほどの開きではありません。パソコン操作の精度・速度で見えた差ほど、この指標では極端な差は出ていない、と捉えておくのが実態に近い読み方です。抜き出した1つのベンチマークだけを根拠に「あらゆる作業で最強」と考えるのは、この数字の使い方としては無理があります。

4つの数字をひとことで言うと

実務では何が任せられるようになったのか

たとえば、複数の申込みサイトから情報を集めて社内の管理表に転記する、といった業務を考えます。1件ごとにサイトを開き、必要な項目を探して、表計算ソフトに書き写す——こうした「画面を見ながら手を動かす」作業が、今回のcomputer_useが最も得意とする領域です。ここまでの数字を踏まえると、任せる価値があるかどうかは業務の性質によって条件分岐します。件数が多いほど、1件あたりの数秒・数十秒の差が積み重なり、担当者の1日の作業時間を左右します。

任せる価値がある業務

• 失敗しても被害が小さく、後から検証できる業務：社内向けデータの一次入力、複数システム間の転記の下書きなど。72.6%という完了率でも、完了できなかった分だけ人が拾えば、全体の工数は確実に減ります
• 同じ操作を繰り返す定型業務：フォーム入力・情報収集など、1件あたりの操作パターンが決まっている作業。ScreenSpot-Proの精度向上とMind2Webの速度向上が直接効きます
• API連携が用意されていない画面操作：古い業務システムや官公庁系サイトなど、そもそも自動化の選択肢がなかった作業

人が持っておくべき業務

• 取り消せない操作：送金、契約の締結、データの削除など、間違えたときに元に戻せない操作。完了率が7割強である以上、最終確認を人が持つ前提は変えられません
• 一発勝負の重要な提出：締切のある申請、金額が確定する見積の提出など、やり直しがきかない場面

境目になるのは「間違えたときにどれだけ被害が出るか」と「後から検証できるかどうか」です。この2つが小さい業務から任せていく、という順番が現実的です。

私たちが伴走している介護・建設業界の現場でも、こうした「画面を見ながら手作業で入力し続けている」業務は珍しくありません。API連携が用意されるのを待つより先に、こうした定型作業から任せてみる、という選択肢が増えたことになります。

具体的にどんな場面で使えるか

抽象的な話だけでは判断しづらいので、業種別に「任せやすい場面」の例を挙げます。いずれも実際に測定した事例ではなく、ここまでのベンチマークの意味から導ける想定例です。

• 介護施設の事務作業：複数の記録システムにまたがる利用者情報の転記、請求関連の入力チェックなど、画面を行き来しながら数字を照合する作業
• 建設業の書類作成：複数の資材調達サイトを見比べて見積の下書きを作る、許可申請フォームに必要事項を入力するなど、決まった手順が多い作業
• 一般的な事務・バックオフィス：複数のツールをまたぐ経費精算の一次チェック、問い合わせフォームへの入力代行など、件数はあるが1件あたりの手順が決まっている作業

共通しているのは、「操作の手順が決まっている」「間違えても後から直せる」という2条件です。逆にこの2条件のどちらかが欠ける業務は、任せる優先順位を下げたほうが安全です。

実際に指示するときに意識したいこと

任せる業務を決めたあとも、指示の出し方で結果は変わります。次の4点は、完了率が7割台という前提を踏まえた最低限の意識です。

• 一度に丸投げしない：複数手順をまとめて任せるのではなく、「ここまで進めたら一度止めて、画面を見せてください」と区切って進める
• 取り消せない操作の直前で止める指示を入れる：「送信ボタンを押す前に必ず確認を求めてください」など、後戻りできない操作の手前に人の判断を挟む
• 完了後は結果画面を必ず確認する：完了報告をそのまま信じず、実際にデータが正しく入っているかを見る一手を自分の作業手順に組み込む
• 操作の履歴が残る形で進める：何をどう操作したかが後から追える状態にしておくと、間違いが起きたときの原因調査が早くなる

できないこと・注意しておきたい点

ベンチマークの数字だけを見ると良い面が目立ちますが、業務に組み込む前に押さえておきたい注意点が3つあります。

• 正解率は7割台であって、完全ではない：OSWorld 2.0の完了率は72.6%です。同じ条件で3割近くは最後までやり切れないという前提を持ち、必ず人の確認工程を残す必要があります
• 公式値は最大effortでの測定：ここまでの数字はいずれもeffortを最大にした条件です。日常的に使う設定では、これより完了率・精度が下がる可能性があります。重要な操作を任せるときほど、応答が遅くなることを許容してでもeffortを高めに設定する、という判断も選択肢に入ります
• 監視の誤作動という新しい注意点：報道によれば、OpenAIは公式資料の中で「Solと比べて監視可能性（monitorability）は低下した」と説明しており、安全のための監視が誤作動して正当な作業を止めてしまう場合があるとも述べています。パソコン操作を任せた作業が、途中で理由もなく止まる可能性があるということです

実務への影響を具体的に言うと、長時間の作業をまとめて任せて放置する運用は、現時点では想定しないほうが安全です。区切りごとに進捗を確認する、途中経過を人が見る、といった運用を前提に組み込む必要があります。

また、画面を見ながら操作する仕組みである以上、作業対象以外の情報も画面に映り込む可能性があります。他の顧客情報やパスワードが並ぶ画面を開いたまま操作させない、作業対象の画面だけを開いた状態で進めるといった運用面の配慮も、あわせて意識しておきたいところです。複数のウィンドウを開いたまま作業させるのではなく、必要な画面だけを開いた状態で任せる、といった作業環境そのものの整理も、あわせて検討する価値があります。

あわせて、コンピュータ操作の安全性を測る公式の内部ベンチマークでは、Astraは2.4%（数値が低いほど安全）で、Solの22.0%から大きく改善しています。ただし0%ではありません。改善は事実ですが、リスクが消えたわけではないという受け取り方が実態に近いです。

私たちはAstraのコンピュータ操作機能を自社の環境で実測してはいません。ここに書いた内容は、OpenAIの公式発表と第三者の報道に基づく整理であり、自分たちで実際に動かして確認した体験ではないことをお断りしておきます。数字が独り歩きしやすい領域だからこそ、公式値・第三者の報道・自社の実測は分けて受け取ってください。

よくある質問

ScreenSpot-Proが92.7%なら、目視での確認はもう不要ですか

いいえ。92.7%ということは、裏を返せば7.3%は依然として違う場所を指してしまうということです。重要な操作や、間違えたときに影響が大きい操作については、結果を確認する工程を外さないでください。

これは従来のRPA（画面操作の自動化ツール）と何が違うのですか

従来のRPAの多くは、画面上のボタンの座標やルールをあらかじめ細かく設定しておく必要があり、画面のレイアウトが少しでも変わると動かなくなることがありました。computer_useは、指示文をもとに画面の内容を見て操作対象を判断する設計のため、そうした事前設定の作り込みが軽くなる、という違いがあります。ただしこれは設計思想の違いであり、精度そのものはベンチマークの数字（完了率72.6%）が示す範囲にとどまります。

「Agents' Last Exam」の59.3という数字は、他と比べて高いのですか

Opus 5の55.5、Solの53.6と比べると上回っていますが、差は数ポイントです。パソコン操作に特化したOSWorldやScreenSpot-Proほどの開きは無く、総合力としては「頭ひとつ抜けている」というより「僅差でリードしている」という表現が実態に近いところです。

数字が上がったのに、なぜまだ全部を任せられないのですか

完了率が72.6%ということは、逆に言えば3割近くは最後までやり切れないということです。業務では「だいたい合っている」では困る場面が多いため、間違えたときの被害が大きい操作は、この数字が9割台後半に近づくまでは人の確認を外さないほうが安全です。

ここで比較しているSolとは何ですか

GPT-5.6 Solのことです。Astraの一つ前の世代にあたるモデルで、この記事のベンチマーク数値はいずれもAstraとSolの比較として公式が発表したものです。

エンジニアがいない会社でも、本当に使えますか

画面操作の手順を言葉で説明できるのであれば、専用の開発なしで試せる可能性はあります。ただし「何を、どの順番で、どこまで任せるか」を決める役割は残ります。手順を決める人がいない状態でいきなり本番業務に組み込むのではなく、被害の小さい業務で試しながら勘所をつかむ進め方をおすすめします。最初から完璧な指示文を用意する必要はなく、実際に動かしてみて、うまくいかなかった部分を言葉で補っていく進め方のほうが現実的です。

GPT-6 Astra全体の性能・料金・提供状況は、こちらで整理しています。

CodexGPT-6 Astraとは｜何ができるモデルなのか【完全ガイド】

まとめ｜GPT-6 Astraのパソコン操作で押さえておく5点

最後に、この記事で確認した内容をチェックリストにまとめます。

• computer_useが対応ツールに追加：画面を見てマウス・キーボードで操作する仕組み。API連携がない古いシステムや社内独自ツールも対象にできる
• 画面操作の完了率は72.6%（Sol比+6.9pt）、所要時間は約47%短縮：OSWorld 2.0の数値。速くはなったが、3割近くは最後までやり切れない前提は残る
• 画面上の目的地を指す精度は92.7%（Sol比+15.8pt）：ScreenSpot-Proの数値。使い慣れない業務システムほど誤操作のリスクが下がる
• ブラウザ作業はSol比1.9倍速：Mind2Webの数値。複数ページの入力・情報収集など定型作業ほど恩恵が大きい
• 任せるかどうかは「被害の大きさ」と「検証できるか」で決める：取り消せない操作・一発勝負の提出は、引き続き人が最終確認を持つ

ベンチマークの数字が上がったことと、丸ごと任せていいことは別の話です。完了率が7割台にとどまっている以上、まずは失敗しても被害の小さい定型業務から任せ、確認の工程を残したまま少しずつ範囲を広げていく——この順番が現実的な進め方になります。エンジニアがいない会社でも試せる距離まで近づいたからこそ、最初の一歩をどの業務に置くかが、この機能をうまく使えるかどうかの分かれ目になります。