超越多数投票：一种评估人工智能诊断系统与专家共识的新框架

发布日期： 2026-08-10 阅读量： 作者： 小编

　　摘要将人工智能技术融入医学诊断流程时，需要可靠且一致的评估方法，以此确保其准确性、临床实用性，同时也能考量专家判断中的固有差异性。传统的精确度与召回率等指标往往无法体现专家判断的这种差异性，从而导致对人工智能性能的评估结果不统一。虽然科恩卡帕值等评分一致性指标更为可靠，但缺乏可解

　　将人工智能技术融入医学诊断流程时，需要可靠且一致的评估方法，以此确保其准确性、临床实用性，同时也能考量专家判断中的固有差异性。传统的精确度与召回率等指标往往无法体现专家判断的这种差异性，从而导致对人工智能性能的评估结果不统一。虽然科恩卡帕值等评分一致性指标更为可靠，但缺乏可解释性。我们提出了算法诊断的相对精确度与召回率（RPAD和RRAD）这一新评估指标，它通过将人工智能的输出结果与多位专家的意见进行对比，而非仅以单一参考标准作为依据。通过根据专家间的意见分歧对性能进行标准化处理，这些指标能够更稳定、更真实地反映预测诊断的质量。除了对诊断质量指标进行全面分析外，我们的研究还得出了一个非常重要的结果：所采用的评估方法使得在评估特定病例时无需从有限的诊断选项中选择，无论是被测试的模型还是负责验PG电子官方网站证的专家，都可以给出自主形成的诊断结果。通过这种自动化方法来确定自主形成的临床诊断结果，其准确率可高达98%。我们利用360组医疗对话对这种方法进行了测试，将多种大型语言模型与一组医生进行了对比。表现最佳的模型在一致性方面可与专家共识相媲美，甚至更优。此外，我们还发现专家的判断存在显著差异，这种差异往往大于人工智能结果与人类专家判断之间的差异。这一发现凸显了任何绝对指标的局限性，也说明了在医学人工智能领域采用相对指标的必要性。

上一篇: 以“数”为犁向“智”而行

PG电子股份有限公司-精准农业技术官方平台

超越多数投票：一种评估人工智能诊断系统与专家共识的新框架

随便看看