# ROC 曲線を描き、AUC を正しく報告

> アウトカムとマーカーを含む表をアップロードしてください。Yila がモデルを当てはめてサンプル外で検証し、AUC とその信頼区間を示した ROC 曲線を描いて、根拠を説明できるカットオフ値を選びます。

URL: https://yila.ai/ja/playbooks/roc-curve

## 得られるもの

- **ROC 曲線の図** (PNG + SVG): モデルの曲線を、比較対象の曲線と偶然の水準を示す対角線とともに描きます。凡例にそれぞれの AUC と 95% CI を示し、選んだカットオフ値に印を付けます。
- **評価指標の表** (CSV): すべてのモデルについて、信頼区間付きの AUC、カットオフ値、感度、特異度をまとめ、予測因子のオッズ比も示します。
- **AUC を過大評価しない検証** (方法): 曲線はサンプル外の予測値から描くので、モデルを当てはめたデータでそのまま評価することによって AUC が水増しされることはありません。
- **解析スクリプト** (Python スクリプト): 解析全体を Python（ご希望なら R）で記述しているので、そのまま補足資料に含められます。

## 進め方

1. **表をアップロードしてアウトカムを指定**: CSV または Excel ファイルを Yila に渡し、何を、どのマーカーから予測するかを伝えます。マーカー 1 つだけの評価もできます。
2. **Yila がデータを確認して検証方法を計画**: 症例と対照の数を数え、欠測値や、尺度が大きく異なる特徴量がないかを確認して、モデルを当てはめる前に検証の方法を決めます。
3. **曲線・数値・スクリプトが完成**: ROC 曲線の図と評価指標の表を描画して確認し、スクリプトとともに保存します。別のカットオフ値の決め方、別の方法で求めた CI、モデルの追加が必要なときは、同じ会話の中で依頼してください。

## 主な用途

- **診断精度研究**: マーカーやスコアが症例と対照をどの程度識別できるかを、カットオフ値とその感度・特異度とともに示せます。
- **予測モデルの論文**: 学習データへの当てはまりではなく、検証した予測値にもとづいて、多変量モデルと単一のマーカーを比較できます。
- **バイオマーカー研究の学位論文の 1 章**: 信頼区間付きの識別能と、審査委員会が確認できる再現可能なスクリプトを報告できます。

## よくある質問

### ROC 曲線とは何で、AUC は何を意味しますか？

ROC 曲線は、スコアのあらゆるカットオフ値について、縦軸に感度、横軸に 1 − 特異度をとってプロットした曲線です。曲線下面積（AUC）は、無作為に選んだ症例のスコアが、無作為に選んだ対照のスコアより高くなる確率です。0.5 は偶然と同じ水準、1.0 は完全な識別を意味します。

### なぜ交差検証を行うのですか？

モデルを当てはめたのと同じデータで評価すると、新しい患者に使ったときよりも性能がよく見えてしまいます。Yila はアウトオブフォールド予測（各症例を学習に使わなかった分割での予測値）から曲線を描くので、どの症例も、その症例を見ていないモデルで評価されます。サンプルが非常に少ない場合はその旨を伝え、代わりにブートストラップ法による楽観度の補正を提案します。

### AUC の信頼区間はどのように計算しますか？

作例では、交差検証で得た予測値から 2,000 回のブートストラップ再標本化を行い、パーセンタイル区間として求めました。出力にもその旨が明記されます。分野やジャーナルで DeLong 法が求められる場合は、DeLong 法も使えます。

### カットオフ値はどのように決めますか？

既定では、感度 + 特異度 − 1 が最大になる Youden 指数で決めます。スクリーニングなどで特定の感度を確保することがより重要な場合は、その旨を伝えてください。Yila がその感度を達成するカットオフ値を報告します。

### 2 つのマーカーや 2 つのモデルを比較できますか？

はい。依頼文で指定すれば、同じ座標軸上に、それぞれの AUC とともに描きます。差の正式な検定を加えることもできます。

### R と Python のどちらで作成しますか？

どちらでも作成できます。作例では Python の scikit-learn を使いました。R の場合、Yila は pROC を使います。

### 作例のデータはどこから取得していますか？

UCI Machine Learning Repository で CC BY 4.0 のもと公開されている Breast Cancer Wisconsin (Diagnostic) データセットです。Yila がユーザーのデータを作例に使うことはありません。

---

- [ROC 曲線を描き、AUC を正しく報告](https://yila.ai/ja/playbooks/roc-curve)
- [llms.txt](https://yila.ai/ja/llms.txt)
