既存の早期警告スコアAIは精度にばらつき
Early Warning Scores With and Without Artificial Intelligence
背景
入院患者の急変リスクを予測する早期警告スコア(Early Warning Score; EWS)ツールが数多く開発され、使用されているが、ツール間の性能を比較した研究は少ない。
アメリカUniversity of ChicagoのEdelsonらは、2019年3月から2023年11月に、Yale New Haven Health Systemの参加7施設の成人病棟に入院した連続患者(n=362,926)を対象とした後向コホート研究を行い、人工知能ベースの早期警告スコア3種(RI, eCART, EDI)および単純合算による早期警告スコア3種(MEWS, NEWS, NEWS2)のパフォーマンスを直接比較した。
結論
4.6%の患者が臨床的悪化を経験した。
受信者動作特性曲線下面積は、eCARTが最も高く0.895、その後、NEWS2の0.831、NEWSの0.829、RIの0.828、EDIの0.808、MEWSの0.757が続いた。
中等度リスク(NEWSスコア=5の感度を基準として各スコアの閾値を選択)の陽性適中率は、最も低いEDI=41の6.3%から、最も高いeCART=94の17.3%まで幅があった。高リスク(NEWSスコア=7の特異度を基準)の陽性適中率は、最も低いEDI=54で14.5%、最も高いeCART=94で23.3%であった。
スコアが中等度リスクとなってから臨床的悪化イベントまでのリードタイム(中央値)は、20時間から31時間の範囲であった。高リスクのリードタイムは、RIの0時間から、eCARTの11時間まで差があった。
評価
全体としてEWSの精度には大きくばらつきがあった。
eCARTスコア(筆頭著者が関与するスコアでCOI開示あり)は、十分なリードタイムを持ちつつ少ない誤アラートで臨床的悪化をより多く特定したが、非AI系スコアでも、NEWSとNEWS2は十分なパフォーマンスを示した。