新しい研究：医療AIが新たな統合失調症患者の治療効果をほぼ盲検で評価

1月12日、新たな研究により、統合失調症患者の治療で医師を支援するために使用されるコンピューターアルゴリズムは、開発過程で見たことのない新しいデータにうまく適応できないことが判明した。したがって、このタイプの医療用人工知能は、これまで治療したことのない患者の治療結果を評価する際には、パフォーマンスが非常に低くなります。

これらの医療ツールは、人工知能を使用して大規模なデータセット内のパターンを発見し、個人が特定の治療にどのように反応するかを予測します。これは、精密医療の中核をなすものです。医療専門家は、このツールを使用して各患者に合わせた治療計画をカスタマイズしたいと考えています。サイエンス誌に掲載された記事の中で、研究者らは、AIモデルがトレーニングサンプル内の患者の治療結果を高い精度で予測できると指摘した。しかし、これまで見たことのない患者のデータを処理すると、モデルのパフォーマンスは大幅に低下し、ランダムな推測よりもわずかに優れている程度になりました。

精密医療の有効性を確保するには、予測モデルがさまざまな状況下で安定した精度を維持し、偏りやランダムな結果の可能性を最小限に抑える必要があります。

「これは人々がまだ気づいていない大きな問題だ」と、コネチカット州ニューヘイブンにあるエール大学の精神科医で、この研究の共著者であるアダム・チェクロード氏は言う。 「この研究は基本的に、アルゴリズムはまだ複数のサンプルでテストする必要があることを示しています。」

アルゴリズムの精度

研究者らは精神病予測モデルで一般的に使用されるアルゴリズムを評価した。研究者らは、北米、アジア、ヨーロッパ、アフリカで統合失調症と診断された1,513人のボランティアを対象にした抗精神病薬の臨床試験5件のデータを使用した。 2004年から2009年にかけて実施されたこの試験では、3種類の抗精神病薬のうち1種類を服用する前と服用4週間後のボランティアの症状を測定した。

研究チームはデータセットを使用して、抗精神病薬による治療を4週間受けた後に患者がどの程度回復するかを予測するアルゴリズムをトレーニングした。まず、研究者らは、アルゴリズムが開発された実験でその精度をテストし、予測と実験で記録された実際の効果を比較して、高い精度を確認しました。

その後、さまざまな方法を使用して、新しいデータを分析する際の AI モデルの精度を評価しました。研究者らは臨床試験のデータのサブセットでモデルをトレーニングし、それを同じ試験の別のデータのサブセットに適用した。また、試験または試験グループのすべてのデータを使用してアルゴリズムをトレーニングし、追加の臨床試験データでモデルのパフォーマンスをテストします。

AI モデルはこれらのテストでパフォーマンスが低く、トレーニングされていないデータ セットに適用すると、モデルによって生成された予測がほぼランダムであることが判明しました。研究チームは異なる予測アルゴリズムを使用して実験を繰り返したが、同様の結果が得られた。

より良いテスト

研究の著者らは、この研究結果は、臨床予測モデルの信頼性を確保するには大規模なデータセットで厳密にテストする必要があることを浮き彫りにしていると述べている。精神医学的成果に関する 308 の臨床予測モデルを体系的にレビューした結果、開発に使用されたサンプル以外のデータセットで検証されたモデルは約 20% のみであることがわかりました。

「モデル開発は医薬品の開発のように考えるべきだ」とチェクロード氏は語った。多くの薬は初期の臨床試験では良好な結果を示すものの、後の段階で問題が生じると彼は説明した。 「こうしたアルゴリズムの開発とテストの方法については、非常に厳格にならなければなりません。一度やってみて、それが正しいと考えることはできません。」