心血管疾患の臨床予測モデル（CPM）は有用・有益か
Generalizability of Cardiovascular Disease Clinical Prediction Models: 158 Independent External Validations of 104 Unique Models
背景
臨床予測モデル（Clinical Prediction Model：CPM）の開発・発表が進んでおり、メタ検証が必要な段階に達している。Tufts Medical CenterのKentらは、心血管疾患3分野（一次予防・急性冠症候群・心不全）における104のCPMを対象として、158の新規外部検証を実施した。検証は一般公開されている臨床試験コホートで行い、モデルの性能は、識別能・キャリブレーション・ネット便益尺度を用いて評価した。モデルのパフォーマンス低下の原因究明のため、CPM と臨床試験コホートのペアを関連性に基づいて層別化し、導出・検証集団の類似性を定性的に評価した。また、モデルベースのC統計量を算定し、識別能の変化が導出サンプルと検証サンプル間のケースミックスの違いに起因するものであるかどうかを評価した。モデルの更新がパフォーマンスに与える影響も評価した。
結論
モデルの導出セットと新規検証セットの間で、識別能は0.76から0.64に大幅・有意に低下した。この低下の約50%は、検証サンプルにおけるケースミックスが狭いことに起因していた。CPMは、関連性の高い臨床試験コホートで検証した場合の方が、識別能・キャリブレーションスロープが良好だった。アウトカムの1/2〜2倍を意思決定閾値可能レンジとした場合、全モデルの91%が一定の閾値で有害性リスク（デフォルト戦略を下回るネット便益）を有した。このリスクは、モデルの切片・キャリブレーションスロープの更新、または完全な再推定により大幅に低減できた。
評価
単一集団で検証されたCPMが「useless」となりうることを示したメタ検証である。ただし、適切に検証集団を増やせば改善は可能とし、「外部検証は複数集団で」というガイドラインを提唱するものともなった。最近のCPM開発トレンドはML/AIの利用だが、UMC Utrechtによる 24,814論文の系統レビューは、「未だ問題が多い」と指摘している （https://bmcmedresmethodol.biomedcentral.com/articles/10.1186/s12874-021-01469-6）。
