中榮資料:嚴格 Nested CV 前處理流程驗證

8 通道、1–40 Hz zero-phase IIR、200 Hz、ShallowConvNet。每個 outer test fold 都完全不參與時間窗、reference 或 quality gate 的選擇。

結論

探索性提升沒有通過嚴格驗證。前一輪 0–1.5 s + drop 20% 的 55.16% 是用同一批資料挑窗口後得到的樂觀估計。嚴格 nested selection 的 outer accuracy 為 45.73% ± 16.77%,低於固定 raw 0–2 s baseline 的 51.39%。nested 相對 baseline 平均 -5.66 pp,fold win/tie/loss 為 14/12/19。

主因不是某個候選明顯失敗,而是每個 outer fold 的 inner CV 選出不同流程:31–32 個 train trials 不足以穩定選擇 26 條候選流程。這是典型的 selection overfitting。

固定候選的同 fold 比較

fixed pipelines
WindowReferenceQuality gateMean outer accuracyFold SD
1.00-2.00smediannone / 051.85%18.89%
0.00-2.00srawnone / 051.39%17.71%
0.00-1.50srawnone / 050.89%16.64%
0.00-1.50srawcombined / 0.250.22%18.26%
0.00-2.00smediannone / 049.13%21.97%

最佳固定候選僅為 median reference 1–2 s 的 51.85%,相對 raw baseline 只有 +0.46 pp,不足以視為改善。

Nested 選擇分布

selection frequency
WindowReferenceQuality gateSelected outer folds
0.00-2.00smediannone / 06
1.00-2.00smediannone / 04
0.25-1.75srawnone / 04
0.75-1.75srawnone / 03
0.00-1.50smediancombined / 0.23
0.00-1.50scarcombined / 0.22
1.00-2.00scarnone / 02
0.50-1.50srawnone / 02
0.50-1.50smediannone / 02
1.00-2.00srawnone / 02

Nested outer per-session

SessionMean outer accuracyFold SD
s1_145.00%14.25%
s1_235.00%18.54%
s1_332.50%14.25%
s1_442.50%14.25%
s1_549.29%13.87%
s2_151.43%12.78%
s2_258.21%10.38%
s2_335.71%18.60%
s2_461.90%15.79%

方法

候選包含六個 ME 子窗口 × raw/CAR/median reference,以及針對 0–1.5 s 的 RMS、斜率、high-frequency ratio、combined quality score 與 10/20/30% train-only gate。每個 outer fold 的候選只在 outer-train 的 3-fold inner CV 中選擇;quality threshold 同樣只由 train fold 擬合,outer test trials 不會因品質而被刪除。

檔案

fixed summary · nested outer folds · selection frequency · paired comparison · nested code