医学 AI 为什么需要可靠验证
从数据划分、评价指标和外部验证三个角度，理解医学 AI 模型为何不能只依赖一次漂亮的测试结果。
医学 AI 模型的指标可能很高，但高分并不自动等于可靠。数据泄漏、样本分布差异和不恰当的评价指标，都可能让模型表现被高估。可靠验证的目的，是弄清模型在什么条件下有效、在什么情况下会失败。
正确划分数据是验证的起点
医学数据常常包含重复检查、同一患者的多次记录，或来自同一设备和机构的相似样本。如果直接按图片或记录随机划分，同一患者的信息可能同时出现在训练集和测试集中，形成数据泄漏。模型得到的高分，可能来自对患者或采集环境的记忆，而不是真正学会了目标规律。
因此，数据划分应与应用场景一致。多数情况下至少要按患者划分；涉及时间变化时，可以考虑按时间切分；希望评估跨机构使用能力时，则需要保留独立机构的数据。划分策略不是实验细节，而是模型结论成立的前提。
单个指标无法描述全部风险
准确率在类别不平衡的数据上可能具有误导性。例如阳性病例很少时，模型即使几乎全部预测为阴性，也可能得到较高准确率。医学 AI 研究通常还需要结合灵敏度、特异度、精确率、召回率、AUROC、AUPRC，以及与具体使用场景相关的阈值结果。
除了区分能力，还应关注校准。一个预测风险为 80% 的模型，需要检验相似预测是否真的对应接近 80% 的事件发生率。模型是否“排得对”和概率是否“报得准”是两个问题，不能用同一个指标替代。
外部验证检验模型能否离开原环境
内部测试集与训练数据往往共享采集流程、人群结构和设备条件，因此只能说明模型在相近分布中的表现。换到不同医院、不同设备或不同时间段后，疾病谱、检查流程和数据质量都可能变化，模型性能也可能明显下降。
外部验证能够更接近真实应用中的分布变化，但一次外部测试仍不是终点。可靠的报告还应给出置信区间、亚组表现、失败案例和适用边界。验证不是为模型寻找最好看的数字，而是为使用者提供足够证据来判断它是否适合某个具体场景。