今回の発表は、Googleの健康分野の部門「Google for Health」が、健康に関わるAIの評価の進め方をホワイトペーパー（技術文書）にまとめて公開したものです。共同で取り組んだのは、健康分野の専門家であるElizabeth McGlynn氏とDana Gelb Safran氏です。
対象になるのは、健康の質問にAIで答えるサービスを作る人、医療の現場でAIを使う人、そして研究者です。一般の利用者が今日から使い方を変える話ではありません。
元の発表文では、医師がAIを使って診療している例にも触れられています。健康の質問をAIにする人と、医師がAIを使う場面の両方で、答えの質が問われるという問題意識です。
元の発表文によると、健康分野でのAIの利用は加速しており、毎日数十億人に影響しているとされています。一方で、AIの答えが安全で役に立つかをどう測るかは、簡単ではありません。今回の枠組みは、その測り方を示したものです。
正確さ・安全性・役立ちの3面を、3つの方法で測る
Googleによると、この枠組みはAIを「正確さ」「安全性」「役立ちやすさ」の3つの面で評価します。日本語にすると、正しいか、危なくないか、読む人の役に立つか、という問いです。
そのため、評価には次の3つの方法を組み合わせます。
- 選択式の問題（ベンチマーク）: 答えが決まった問題を出し、点数で比べる方法です。
- 自動採点（オートレーター）: AIが答えを採点する仕組みです。
- 専門家による確認: 専門家が人の目で答えを読み、判断します。
ベンチマークは、答えが一つに決まる問題で、性能を同じ条件で比べられる点が強みです。ただ、健康の相談は答えが一つに決まらないことが多くあります。編集部の見立てでは、そこに専門家の確認が加わっているのが、この枠組みの特徴だと読めます。
評価の対象は、よくある健康の場面と、危険度の高い場面の両方です。危険度の高い場面とは、間違えた答えの影響が大きい場面のことです（編集部注）。
Googleは、この枠組みを「作り、今も使い続けている」と説明しています。モデルが役に立つ答えを返すか、健康の場面で安全なやりとりになっているかを、継続して確かめるためです。
方法を公開する理由について、Googleは透明性を高めることを挙げています。さらに、開発者、研究者、臨床医まで含めた健康分野の全体を支えたいとしています。
役に立つかどうかの差も、身近な例で考えると分かりやすいです。たとえば、正しい内容でも、読む人が理解できなければ役に立ちません。だから、正確さと安全性に加えて役立ちやすさを測ることに意味があります。
健康の相談でAIを使うときは、答えを医師の判断の代わりにしないことが大切です（編集部注）。
仕事への関係で言えば、健康分野のAIを作る人が、評価の進め方を自社の確認作業の参考にできます。
日本で使える製品は、まだ示されていません
今回の発表は、評価の進め方を示した文章です。この枠組みを使った製品は挙げられていません。日本で使えるかどうかも、まだ発表されていません。
日本の利用者にとって、今回の発表で今すぐ変わることはありません。今後、この枠組みを使った製品が出たときは、対象地域と使える言語を公式発表で確かめるとよいでしょう。
