腾讯AI Lab高级研究员孙钟前：如何用AI技术做食管癌识别和辅助诊断

本篇文章3416字，读完约9分钟

雷锋。(公开号码:雷锋。腾讯人工智能实验室高级研究员孙仲谦近日分享了腾讯人工智能实验室在应用人工智能技术进行食管癌识别和辅助诊断方面的探索和经验。雷锋。com没有更改其共享。愿意组织和编辑:

今天，我们将主要与大家分享我们在人工智能+医学方向上的探索和尝试。

今年早些时候，谷歌发表了两篇关于医学成像技术的文章，其中一篇是关于皮肤癌检测的。在皮肤癌检测方面，人工智能比人类专家更加敏感和特异。在alphago之后，这两篇文章再次引发了人工智能热潮。现在各大公司也在积极部署医疗行业，而ai+医疗市场正在如火如荼地展开。在此背景下，我们也做了一些尝试，主要集中在以下几个方面:

在医学图像识别中，我们主要做食管癌的识别和辅助诊断。辅助诊断主要做两件事，一是构建医学知识图谱，二是基于疾病的诊断。

经过半年的研发，我们取得了一些进展。这次，我将主要介绍我们在食管癌的鉴别和辅助诊断方面所做的一些工作。

食管癌的识别首先是食管癌。食管癌是世界五大恶性肿瘤之一，我国是食管癌高发区。这个项目的目标是通过图像识别病人是否患有癌症。

项目的整体流程如下:内窥镜探头一般从鼻腔进入，然后通过咽和食道，最后到达胃。当我们收集食管数据时，我们可能会引入许多非食管数据。因此，我们要做的第一件事就是对这些数据进行区分，并且只通过食管区分模型保留食管数据。然后将食管数据发送到下一个模型，该模型只做一件事，即区分正常食管和异常食管。在区分之后，病变的食管数据被发送到下一阶段，以判断图像是代表癌症还是炎症。整个过程大致可以分为三个阶段。接下来，我将简要介绍每个阶段的难点。

食管判别模型

首先是食道辨别模型。这个模型实际上是一个典型的分类任务，但是我们遇到了一个困难——医学图像的数据非常稀少。与通常的图像分类任务相比，它通常涉及几十万、几百万甚至几千万的数据，其数据量非常小。同时，由于不同的设备参数、医生的摄影技术或摄影角度、明暗等因素，食管的表观变化非常复杂。因此，我们面临着一个矛盾，即少量数据和复杂外观之间的矛盾。

在这种情况下，我们怎样才能得到一个稳健的模型呢？通常，分类任务是非常成熟的。通常，图像在通过特定的提取网络之后，然后通过分类模型进行分类。但是刚才提到，医学图像中的数据非常少。在这种情况下，我们通常对图像进行5-6次变换，如旋转变换和颜色变换。但是不管这幅画如何改变，本质上它仍然是这幅画。举一个不恰当的例子，这个人昨天穿的衣服和今天的不一样，它的外表变化很大，但是不管它如何变化，这个人仍然是这个人。如何提取其最基本的特征？如果这个特征可以被提取出来，无论你如何改变，我都可以识别你。

我们的方法是让转换后的图片通过网络并获得其特征图。两幅图像之间的差异主要取决于特征图的差异。我们希望原始图像和转换后的图像之间的差异尽可能小。因此，我们对模型进行了一些更改，并添加了一个约束。经过这样的处理，我们的模型大约完成了95%。

异常判别模型

获得食道数据后，下一步是确定食道是属于正常食道还是疾病食道。我们的目标是保留病变的食管数据，并将其输入下一步。这个问题与前一个问题相似，也是一个判别模型。他们之间有什么不同？当我们判断一个食道是否异常时，我们只需要找到一个病变区域，就可以表明食道是异常的。相反，在正常图像中，不能说找到了正常特征，这意味着食道是正常的。只能说，我们在这张图像中没有发现异常特征，可能是正常的。因此，在正常特征和异常特征之间，我们倾向于提取病变特征和抑制正常特征。

我们该怎么做？病理变化和正常情况都将通过神经网络获得特征向量。对于这个向量，我们希望尽可能突出异常特征，使正常特征接近0。我们如何将这些信息建模到模型中？我们对模型进行了重新建模，最终精度约为97%。

癌症辨别模型

之前的模型相对简单。第三个模型主要区分炎症和癌症，这与前两个问题大不相同。一般来说，病变的食管图像伴有一些炎症特征。我们对癌症的判断通常是通过纹理非常小的区域获得的，因此我们需要提取更精细的特征。最好让许多专家非常仔细地标记病变区域，这样我们只需要识别这个区域。

这个注释非常大，所以数据极其稀少。我们没有癌症区域的标记数据，但我们希望获得非常详细的特征。如何解决这个矛盾？

幸运的是，虽然我们不能得到病变区域的非常精确的注释图像，但是我们可以相对容易地知道图像是否包含癌症，因为它只需要对应于病例。这样，我们可以更容易地获得图像的全局标签。如果一幅图像包含癌症，那么一定有一个或几个区域包含癌症的特征。也就是说，如果我们把图像分成几个小块，一个或几个小块将包含癌症特征。基于这一思想，我们采用了多序列学习方法。这种方法的内在思想很简单，就是把图像分成几个小块，然后对每个小块进行建模来判断这个小块中患癌症的概率。最后，我们使用具有最高癌症概率的补丁作为图像是否包含癌症的标签。

在这样做的过程中，我们将逐渐积累准确标记的数据，这些数据非常小，不足以虚拟化模型。然而，图像中的特征是最准确的，这是人工检查和标记的。我们如何将这少量准确的数据强化到癌症识别中？这是一个非常有趣的问题。如果我们能解决这个问题，即使只有少量的标准数据，我们也能不断改进。

这里主要采用多任务学习的方法，需要完成两个任务:第一，基于标有病变区域的数据建立监督学习任务；第二是为没有病变区域标记的数据建立上述多序列学习任务。这两个模型共享一个特征提取网络，特征提取网络必须同时满足两个任务，以增强癌症识别的准确标注特征。

以上是我们食管癌项目的简要介绍。让我们简单介绍一下我们在辅助诊断方面所做的一些工作。

辅助诊断的目的是什么？我们希望机器最终能够像临床医生一样诊断疾病。在介绍辅助诊断项目之前，让我们先来看看医生或普通学生是如何成长为专家的。一个学生从入学开始，经过大量专业课程的学习和大量专业医学文献的阅读，可以积累一定程度的医学知识。当医学知识达到一定水平后，你可以去医院实习，临床医生会结合一些实际案例指导他学习诊断技巧。当我们有了这些技能，我们就可以成为一名普通的医生。医生可以看到大量的病人，学到很多经验，在经历足够多的经验后成为专家。机器成长的过程与人类大致相似。

我们可以将其分为三个阶段:第一阶段是医学知识地图的构建，这是机器学习知识的过程；第二阶段相当于掌握知识后学习诊断的能力，即建立一些疾病判别模型；最后一个阶段是让机器提高诊断水平，接近甚至超越游戏中的专家和专家。

医学知识地图的构建

在构建医学知识地图的过程中，首先要对文本数据进行处理。文本数据可以分为两类，一类是半结构化数据，另一类是非结构化数据。在这里，我将举一个例子来说明我们如何将非结构化文本转换成结构化文本，即一种可以被计算机理解的形式。我们可以把病史分为几个部分:病情、入院治疗过程、入院依据等。在将病史分成几段信息后，每一种信息都被提炼和提取出来。提取后，非结构化文本变成计算机可以理解的结构化文本。我们将把这些信息转换成医学知识的地图并储存在电脑里，这样电脑就会学习这些知识。以上是医学知识地图的构建过程。

诊断模型

第二步，我们将有一个诊断模型。诊断过程如下:首先，将人类语言描述的疾病转化为计算机能够理解的结构化知识。有了结构化的知识，机器可以了解这个人的情况，将知识推送到疾病诊断模型中，模型将给出一个疾病列表。诊断模型的流程大致如下。

让我们看一个理解疾病的例子。通过技术了解病人的情况，可以获得一些基本信息，包括性别、年龄、病人的积极描述、目前的病史和过去的病史等。积极的描述将提到症状和持续时间，甚至一些更复杂的信息，如唾液看起来像什么，以及咳嗽是否带来痰。将详细描述这些信息，并根据上述模型绘制病历，从而完成对疾病的理解。

了解疾病后，将其输入诊断模型。诊断演示由几个部分组成:第一部分是对人类疾病语言的描述，在了解疾病后得到疾病的结构化表达，然后得到机器诊断的结果，并根据概率由高到低给出五个结果。我们还为医生留下了一个界面，他们可以对诊断结果进行评分，并将结果反馈给模型。通过医生和机器之间的交互，模型可以被越来越好地迭代。我们在实验室数据中选取了约10万个真实病例进行测试，前1名和医生之间的一致率约为92%，前1名为90%。然而，这个模型需要更多的临床病例来验证。雷锋。com

雷锋原创文章。严禁擅自转载。详情请参考转载说明。