—当实验室训练的人工智能遇到现实世界时，“错误可能会发生”

组织样本的污染会误导人工智能模型，使它们无法在现实世界中做出准确的诊断。

人类病理学家接受严格的培训，以识别一名患者的组织样本意外放置在另一名患者的显微镜载玻片上的情况，这种错误称为组织污染。然而，根据西北医学最近的一项研究，这种类型的污染对人工智能 （AI） 模型构成了重大挑战，这些模型通常是在清洁、受控的环境中开发的。

“我们训练人工智能在一个非常干净的人工环境中分辨出’A’和’B’，但是，在现实生活中，人工智能会看到各种它没有训练过的材料。当它发生时，可能会发生错误，“通讯作者Jeffery Goldstein博士说，他是西北大学范伯格医学院围产期病理学主任和围产期病理学和尸检助理教授。

“我们的研究结果提醒我们，在实验室中运行得非常好的人工智能可能会在现实世界中落下帷幕。患者应继续期望人类专家是活检和其他组织样本诊断的最终决定者。病理学家担心——人工智能公司也希望——计算机会取代我们的工作。还没有。

在这项新研究中，科学家们训练了三个人工智能模型来扫描胎盘组织的显微镜载玻片，以（1）检测血管损伤;（2）估计胎龄;（3）对肉眼病变进行分类。他们训练了第四个人工智能模型，以检测从穿刺活检中收集的组织中的前列腺癌。当模型准备好后，科学家们将每个人暴露在从其他载玻片中随机取样的一小部分污染物组织（例如膀胱、血液等）中。最后，他们测试了人工智能的反应。

研究发现，四种人工智能模型中的每一个都过分关注组织污染，这导致在诊断或检测血管损伤、胎龄、病变和前列腺癌时出现错误。

研究结果最近发表在《现代病理学》杂志上。它标志着第一项研究组织污染如何影响机器学习模型的研究。

“对于人类来说，我们称之为分心，就像一个明亮、闪亮的物体”

该研究指出，组织污染对病理学家来说是一个众所周知的问题，但对于非病理学家的研究人员或医生来说，这往往令人惊讶。每天检查 80 到 100 张载玻片的病理学家可能会看到两到三张带有污染物的载玻片，但他们已经接受过忽略它们的训练。

当人类检查载玻片上的组织时，他们只能在显微镜内观察有限的区域，然后移动到一个新的区域，依此类推。在检查了整个样本后，他们结合收集到的所有信息进行诊断。人工智能模型以同样的方式执行，但研究发现人工智能很容易被污染物误导。

“人工智能模型必须决定哪些部分要注意，哪些部分不注意，这是零和博弈，”戈德斯坦说。“如果它关注的是组织污染物，那么它就不会那么关注正在检查的患者的组织。对于人类来说，我们称之为分心，就像一个明亮、闪亮的物体。

人工智能模型对污染物给予了高度关注，表明无法编码生物杂质。研究作者说，从业者应该努力量化和改进这个问题。

以前的病理学人工智能科学家已经研究了不同类型的图像伪影，例如模糊、载玻片上的碎片、褶皱或气泡，但这是他们第一次检查组织污染。

“相信用于胎盘的人工智能是可行的”

围产期病理学家，如Goldstein，非常罕见。戈德斯坦说，事实上，整个美国只有50到100个，大部分位于大型学术中心。这意味着美国只有5%的胎盘由人类专家检查。在世界范围内，这个数字甚至更低。Goldstein 说，将这种类型的专业知识嵌入 AI 模型可以帮助全国各地的病理学家更好、更快地完成工作。

“实际上，我非常兴奋于我们能够建立模型的能力以及它们在我们故意破坏它们进行研究之前的表现，”Goldstein说。“我们的结果使我相信，人工智能对胎盘的评估是可行的。我们遇到了一个现实世界的问题，但遇到这个减速带意味着我们正走在更好地将机器学习的使用整合到病理学中的道路上。