在眼科学、皮肤学、放射学和病理学等医学学科领域，深度学习前景广阔，可以用于提高世界各地患者高质量医疗保健的准确性和实用性。

谷歌发表了一份研究结果，显示出卷积神经网络能够在淋巴结中探测乳腺癌转移，其准确度堪比训练有素的病理学家。然而，由于用复合光学显微镜得到生理组织的直观图像，仍是病理学家诊断疾病的主要手段，因此对于微观组织的数字表示的依赖性，阻碍了在病理学中广泛应用深度学习。

谷歌在美国癌症研究协会(AACR)年度会议上发布的演讲，以及正在审查中的《用增强现实显微镜自动实时检测癌症》（An Augmented Reality Microscope for Real-time Automated Detection of Cancer）论文中，阐述了增强现实显微镜(ARM)平台，相信能促进世界各地的病理学家应用深度学习工具，并使这一技术更为大众化。该平台由改良的光学显微镜组成，它能实时分析图像，并将机器学习算法的结果直接显示在视野中。重要的是，医院里随处可见的低成本、易获得组件的光学显微镜，都可以改造成ARM，而不需要完整的样本数字图片。

[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/04/Detecting-cancer-in-real-time-with-machine-learning.mp4"][/video]

现代计算机组件和深度学习模型，例如基于TensorFlow构建的模型，允许广泛的前训练模型在这个平台上运行。在传统的模拟显微镜下，用户通过目镜观察样本。机器学习算法将其输出实时地投射到光路中。数字投影在视觉上叠加在样本的原始（模拟）图像上，以帮助观察者定位或量化感兴趣的特征。重要的是，计算和视觉反馈的更新速度很快，实现速度大约是每秒10帧，因此当用户通过移动载物玻璃片或改变放大率来扫描组织时，模型输出会进行无间断更新。



左图：ARM的原理概述图。数码相机捕捉到与用户相同的视图（FoV），并将图像传递给一个附加的计算单元，这一单元能够运行机器学习模型的实时推断。这些结果被反馈到设定好的并与目镜相联的AR显示器中，并在成像时将模型输出投射到到同一平面上。

右图：典型的临床级光学显微镜改造成原型机的图片。

原则上来说，ARM可以提供广泛的视觉反馈，包括文本、箭头、轮廓、热点图或动画，并且能够运行多种类型的机器学习算法，以解决如检测、量化或分类等不同种类的问题。

为了演示ARM的潜在效用，运行了两种不同的癌症检测算法：一种是在淋巴结标本中检测乳腺癌转移，另一种是在前列腺切除术样本中检测前列腺癌。这些模型放大倍数可在4-40x之间，给定模型的结果即检测到的肿瘤区域用绿色轮廓线标出。这些轮廓有助于将病理学家的注意力集中到他们关心的范围，而不会将潜在的肿瘤细胞模糊。



ARM透镜下的样例视图。这些图片分别展示了4倍，10倍，20倍和40倍显微镜下的淋巴结转移模型样例。

虽然这两种癌症模型最初是通过全片扫描仪中的图片训练的，光学配置完全不同，但即使没有额外的重训，这些模型在ARM上表现得也非常好。例如，在ARM上运行进行癌症探测时，淋巴结转移模型有0.98的曲线面积（AUC），前列腺癌模型的AUC是0.96，与WSI的表现相比，只是稍稍下降。利用直接从ARM获取的数字图像进行额外的训练，应该可以进一步提高这些模型的性能。

ARM有可能对全球医疗保健方面产生重大影响，尤其是在发展中国家诊断传染病，包括结核病和疟疾。此外，即使不久的将来在会采用数字化病理学工作流程的医院中，ARM也可以与数字化工作流结合使用，扫描仪仍然面临着重大挑战，或者需要加快改变速度（如在细胞学、荧光成像、手术中的冷冻切片中使用）。当然，光学显微镜已被证明在除病理学之外的许多行业都很实用，那么ARM也可以应用于广泛的领域，如医疗保健、生命科学研究和材料科学等。