設計分野でAIを使う予定があるなら、公開29課題で自社のエージェントの実力を試すとよいでしょう。
11/4時点の判定。発表内容をもとにAIで判定しています。最新の提供状況は公式情報をご確認ください。
発表内容をもとにした一般的な情報です。導入や契約の判断は、公式情報を確かめたうえでご自身で行ってください。
Googleは11月3日、機械・電気・土木・構造の設計業務をAIエージェントがこなせるかを測る評価「PLE」を、Mercorと共同で公開しました。14の主要モデルを試した結果、最高の平均スコアは48.3%で、全モデルが50%を下回りました。Google Cloud公式ブログが発表しています。
画像：Google Cloud（公式発表より）
要約版：専門用語を控えて説明しています
このテストは「PLE」と呼ばれます。実際の設計現場と同じように、図面や表計算、メールなど平均61個のファイルが入ったフォルダが渡されます。
AIはそこから守るべき建築基準を探し、計算し、提出できる形の成果物を作ります。課題は全部で85件です。
14の主要AIモデルを試したところ、最高でも平均48.3%でした。安全面の条件をすべて満たした成果物は、最も良い構成でも41.3%でした。
開発者は29個の公開課題を、GitHubからダウンロードできます。自分のAIを、公式サイトで非公開の課題にかけることもできます。
AIエージェント（自分で手順を進めるAI）が、設計の現場の仕事をどこまでこなせるか。それを測る新しい評価が「Physical-Engineering's Last Exam（PLE）」です。ベンチマーク（性能テスト）の一種で、開発者や研究者がAIの実力を比べるために使います。
Google Cloud公式ブログによると、Googleの「AI & Infrastructure」チームがMercorと共同で開発しました。
既存の試験は教科書問題が中心
Googleは、すでに「Humanity's Last Exam」が一般知識を測り、「Agents' Last Exam」がデジタル上の専門業務を測っていると説明しています。PLEは、建物や送電網、半導体など物理的なものを作る仕事の能力を測る位置づけです。
発表では、最先端の言語モデルが多くの学術的な評価で90%を超えると述べています。ただ、それらは教科書的な問題や単発のツール呼び出し、小さな設計問題が中心だといいます。有資格の技術者による確認のもとで、安全で、法規に合い、費用面でも妥当な設計を出せるかは、既存の評価では分からないという立場です。
85課題、1課題に平均61ファイル
PLEには、長い手順を要する課題が85件あります。内訳は次のとおりです。
AIは1つの質問に答えるのではなく、コンテナ（独立した実行環境）化されたプロジェクトフォルダの中で作業します。環境はMercorの「Archipelago」を基に作られています。
1課題あたり平均61ファイルで、全体では5,170ファイルです。PDF、表計算、メール、2D CAD図面、3D BIMモデル、文書の改訂版などが含まれます。AIは、これらを読み解いて適用される建築基準や物理的な限界を見つけ、計算し、有資格の審査者が確認する水準の成果物を作ります。
課題の作り方は2通りです。
最高スコアは48.3%、安全関門を通ったのは41.3%
Googleは14の主要モデルを、公開されている7つのエージェント実行基盤（ハーネス）で試しました。対象は、Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Piです。
PLEは法規への適合とコスト効率の両方を見ます。そのため、まず安全に関わる必須の検査をすべて通った設計だけが得点を得られます。
結果は次のとおりです。
つまり、個々の条件はおおむね満たせても、1つでも安全条件を落とせば設計としては使えません。この差が現状の課題です。
差を生むのはモデルで、ハーネスは実行コストに響く
モデルの選択がハーネスの選択よりも成績を大きく左右することも分かりました。モデル間の差は最大50ポイントでした。同じモデルでハーネスだけを変えた場合の差は、中央値で3ポイントです。ただし、ハーネスは実行コストには大きく影響するとしています。
課題の入手と参加方法
Googleは29件の公開課題と採点ツールを公開し、公開の順位表はple-bench.comで公開しています。参加の手順は次のとおりです。
評価では、Google提供の13モデルがGoogleのサーバーで無料で動かせます。賞品の詳細は後日発表されます。
サイソクが報じた別の話題では、GoogleがAI学習ノート「Gemini Notebook」に無料教科書を追加しました（GoogleがAI学習ノート「Gemini Notebook」に無料教科書を数百冊追加）。AIを学習や専門業務に使う動きは、広がっています。
今回の数字は、全モデルが5割未満で、設計成果物には有資格者の確認が欠かせない段階にあることを示しています。
同じ話題の記事提供前Nammu21、前日に出た記事から大きな発表を選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。
主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。
本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。
Googleは「Gemini Notebook」で、OpenStaxなど米国・インドの出版社の教科書数百冊を無料で追加できるようにしました。回答は教科書に基づき、引用リンクが付きます。使い方と日本での状況を解説します。
Google CloudのKnowledge Catalogに自己学習型コンテキストエンリッチメントがプレビュー版として登場。AIエージェントの精度向上や自動メンテナンスの仕組みを解説します。
Google Cloudの公式ブログより、エージェント開発における評価エンジニアリングの4つの教訓を解説。要約ではなく実行ステップを見る重要性などを紐解きます。
Google Cloudが発表したAIエージェント専用コンピュート『Agent Compute Engine』とガバナンス機能の仕組み、特長、提供状況を分かりやすく解説します。
