德国医学影像学博士

机器之心分析师网络作者：仵冀颖编辑：Joni本文依托于综述性文章，首先回顾了可解释性方法的主要分类以及可解释深度学习在医疗图像诊断领域中应用的主要方法。然后，结合三篇文章具体分析了可解释深度学习模型在医疗图像分析中的应用。作为一种领先的人工智能方法，深度学习应用于各种医学诊断任务都是非常有效的，在某些方面甚至超过了人类专家。其中，一些计算机视觉方面的最新技术已经应用于医学成像任务中，如阿尔茨海默病的分类、肺癌检测、视网膜疾病检测等。但是，这些方法都没有在医学领域中得以广泛推广，除了计算成本高、训练样本数据缺乏等因素外，深度学习方法本身的黑盒特性是阻碍其应用的主要原因。尽管深度学习方法有着比较完备的数学统计原理，但对于给定任务的知识表征学习尚缺乏明确解释。深度学习的黑盒特性以及检查黑盒模型行为工具的缺乏影响了其在众多领域中的应用，比如医学领域以及金融领域、自动驾驶领域等。在这些领域中，所使用模型的可解释性和可靠性是影响最终用户信任的关键因素。由于深度学习模型不可解释，研究人员无法将模型中的神经元权重直接理解 / 解释为知识。此外，一些文章的研究结果表明，无论是激活的幅度或选择性，还是对网络决策的影响，都不足以决定一个神经元对给定任务的重要性[2] ，即，现有的深度学习模型中的主要参数和结构都不能直接解释模型。因此，在医学、金融、自动驾驶等领域中深度学习方法尚未实现广泛的推广应用。可解释性是指当人们在了解或解决一件事情的过程中，能够获得所需要的足够的可以理解的信息。深度学习方法的可解释性则是指能够理解深度学习模型内部机制以及能够理解深度学习模型的结果。关于 “可解释性” 英文有两个对应的单词，分别是 “Explainability” 和“Interpretability”。这两个单词在文献中经常是互换使用的。一般来说，“Interpretability”主要是指将一个抽象概念（如输出类别）映射到一个域示例（Domain Example），而 “Explainability” 则是指能够生成一组域特征（Domain Features），例如图像的像素，这些特征有助于模型的输出决策。本文聚焦的是医学影像学背景下深度学习模型的可解释性（Explainability）研究。可解释性在医学领域中是非常重要的。一个医疗诊断系统必须是透明的（transparent）、可理解的（understandable）、可解释的（explainable），以获得医生、监管者和病人的信任。理想情况下，它应该能够向所有相关方解释做出某个决定的完整逻辑。公平、可信地使用人工智能，是在现实世界中部署人工智能方法或模型的关键因素。本文重点关注可解释深度学习方法在医疗图像诊断中的应用。由于医学图像自有的特点，构建用于医疗图像分析的可解释深度学习模型与其它领域中的应用是不同的。本文依托于综述性文章[1]，首先回顾了可解释性方法的主要分类以及可解释深度学习在医疗图像诊断领域中应用的主要方法。然后，结合三篇文章具体分析了可解释深度学习模型在医疗图像分析中的应用。一、可解释深度学习模型在医疗图像分析中的应用综述[1]1.1 可解释性方法分类首先，我们来了解一下可解释性方法的分类。针对可解释性方法的分类问题研究人员提出了多种分类方式，但是这些方式都不是绝对的，即这些方法都是非排他性的，不同的分类方法之间存在重叠。图 1 给出可解释性分类方法的示例（可解释性人工智能工具（Explainable AI ，XAI））：图 1. XAI 主要分类方法示例1.1.1 模型特定的方法 vs 模型无关方法（Model Specific vs Model Agnostic）模型特定的方法基于单个模型的参数进行解释。例如，基于图神经网络的可解释方法（Graph neural network explainer，GNNExplainer）主要针对 GNN 的参数进行解释。模型无关方法并不局限于特定的模型体系结构。这些方法不能直接访问内部模型权重或结构参数，主要适用于事后分析。1.1.2 全局方法 vs 局部方法（Global Methods vs Local Methods）局部可解释性方法主要聚焦于模型的单个输出结果，一般通过设计能够解释特定预测或输出结果的原因的方法来实现。相反，全局方法通过利用关于模型、训练和相关数据的整体知识聚焦于模型本身，它试图从总体上解释模型的行为。特征重要性是全局方法的一个很好的例子，它试图找出在所有不同的特征中对模型性能有更好影响的特征。1.1.3 模型前 vs 模型中 vs 模型后方法（Pre-model vs in-model vs post-model）模型前方法是一类独立的、不依赖于任何深度学习模型结构的可解释性方法，主成分分析（PCA）、流形学习中的 t-SNE 都属于这一类方法。集成在深度学习模型本身中的可解释性方法称为模型中方法。模型后方法则是在建立深度学习模型之后实施的，这一类方法主要聚焦于找出模型在训练过程中究竟学到了什么。1.1.4 替代方法 vs 可视化方法（Surrogate Methods vs Visualization Methods）替代方法由不同的模型组成一个整体，用于分析其他黑盒模型。通过比较黑盒模型和替代模型来解释替代模型的决策，从而辅助理解黑盒模型。决策树（Decision tree）就是替代方法的一个例子。可视化方法并不是构建一个新的不同的模型，而是通过可视化的方法，例如激活图（Activation Maps），帮助解释模型的某些部分。1.2 可解释深度学习模型在医疗图像分析中的应用分类具体到医疗图像分析领域，引入可解释性方法的可解释深度学习模型主要有两类：属性方法（attribution based）和非属性方法（non-attribution based）。两类方法的主要区别在于是否已经确定了输入特征对目标神经元的联系。属性方法的目标是直接确认输入特征对于深度学习网络中目标神经元的贡献程度。而非属性方法则是针对给定的专门问题开发并验证一种可解释性方法，例如生成专门的注意力、知识或解释性去辅助实现专门问题的可解释深度学习。1.2.1 属性方法属性方法的目标是确定输入特征对目标神经元的贡献，通常将分类问题正确类别的输出神经元确定为目标神经元。所有输入特征的属性在输入样本形状中的排列形成热图（heatmaps），称为属性映射（Attribution Maps）。图 2 给出了不同图像的属性映射示例[3]。对目标神经元激活有积极贡献的特征用红色标记，而对激活有负面影响的特征则用蓝色标记。图 2. 基于 Imagenet 图像的对 VGG-16 属性的研究示例[3]扰动（Pertubation）是分析输入特征的改变对深度学习模型输出的影响的最简单方法，一般可以通过移除、屏蔽或修改某些输入特征、运行正向过程（输出计算）并测量与原始输出的差异来实现。这一过程类似于在参数控制系统模型中进行的灵敏度分析。将对输出影响最大的输入特征确定为最重要的特征。对于图像数据来说，实现扰动的一种方法是用灰色斑块覆盖掉图像中的一部分进而将它们从系统视图中遮挡去除掉。以此来突出有效特征，从而提供正向和负向证据。另一种基于扰动的方法是 Shapley 值采样（Shapley Value sampling），它通过对每个输入特征进行多次采样来计算近似 Shapely 值，这也是联合博弈论中描述收益和损失在输入特征之间公平分配的一种常用方法。基于反向传播的方法（Backpropagation based methods）是另外一种有效的属性方法。基于反向传播的方法会通过一次前向和后向网络传播过程来计算所有输入特征的属性。一些方法会多次执行这些步骤，这种方法与输入特征的数量无关，并且计算速度比基于扰动的方法要慢得多。由于具有良好的易用性，大多数研究可解释深度学习方法的医学影像学文献都使用的是属性方法。研究人员可以直接使用已有的属性模型训练得到一个合适的神经网络结构，这一过程不会增加计算复杂度。这使得人们可以直接使用预先得到的深度学习模型或具有定制体系结构的模型，以在给定任务上获得最佳性能。前者使这种实现过程更容易，并可以方便的引入诸如转移学习之类的技术，而后者可用于专门处理特定数据，并通过使用较少的参数避免过度拟合。引入属性方法可以有效展示出原有的深度学习模型是否能够学习相关有意义的特征，或者是否是通过学习伪特征来过度适应输入的。这使得研究人员可以调整模型结构和超参数，从而在测试数据上获得更好的结果，进而得到潜在的真实场景中的设置。1.2.2 非属性方法非属性方法是指针对给定的专门问题开发并验证一种可解释性方法，而不是像属性方法那样进行单独的分析。非属性方法包括注意力图（Attention maps）、概念向量（Concept vectors）、相似图像（Similar image）、文本证明（text justification）、专家知识（expert knowledge）、内在解释性（Intrinsic explainability）等。注意力是深度学习中一个非常有用的概念，是由人类对图像的不同部分或其它类型数据源的注意方式的不同所启发产生的。非属性方法中用到的注意力的主要是作为可解释的医学图像分析的深度学习工具。如文献 [4] 提出了一种新的测试概念激活向量（Testing Concept Activation Vectors，TCAV）方法，用人类可理解的概念向领域专家解释不同层次学习的特征。TCVA 把网络在概念空间中的方向导数作为显著图（Saliency Maps）。使用显著图来解释糖尿病性视网膜病变（diabetic retinopathy，DR）水平的预测，能够成功检测到视网膜中存在的微动脉瘤和动脉瘤。这就为医生提供了一个可解释的理由，即图像中是否存在给定的概念或物理结构。然而，许多医学中的临床概念（Clinical Concept），如结构纹理或组织形状等，并不能直接使用 TCAV 进行充分描述以证明其存在或不存在，此时就需要引入连续的测量指标进行辅助判断。基于专家知识的非属性方法主要有两种：一是，使用不同的方法将模型特征与专家知识关联起来；二是，使用特定领域的知识来制定用于预测和解释的规则。基于相似图像的非属性方法为用户提供了类似标签的图像作为对给定测试图像进行预测的原因解释。文本证明方法使用一个给定推理后能够根据句子或短语来解释其决策的模型，该模型可以直接与专家和一般用户进行交流。例如，从分类器的视觉特征以及嵌入预测中获取输入的证明模型可以被用于生成乳腺肿块分类的诊断语句和可视化热图[5]。内在解释性是指模型具有根据人类可观察到的决策边界或特征来解释其决策的能力。一些相对简单的模型，如回归模型、决策树和支持向量机等，都是可以观察到决策边界的，因此是具备内在解释性的。最近的关于内在解释性的研究使用不同的方法使深度学习模型本质上可解释，例如混合使用机器学习分类器和在分割空间中的可视化特征等。二、属性方法在医疗图像分析中的应用2.1、可视化卷积神经网络改善皮肤病变分类的决策支持[6]本文提出了一种属性方法用于实现可解释 CNN 在医疗图像诊断中的应用。该方法训练得到了一个 CNN 用于在皮肤损伤数据库上进行二元分类，并通过可视化其特征图来检验 CNN 学习的特征。作者通过对不同特征图的可视化对比分析，确定输入特征对最终 CNN 目标神经元的贡献。2.1.1 方法介绍本文应用的 CNN 由 4 个卷积块组成，每个卷积块由 2 个卷积层组成，然后进行最大池化操作。卷积层的核大小为 3x3，分别有 8、16、32 和 64 个滤波器。接下来是 3 个全连接层，分别有 2056、1024 和 64 个隐藏单元。所有层都引入了校正的线性单位（ReLU）以满足非线性处理要求。对于 CNN 的每个特征映射，通过将特征映射重新缩放到输入大小并将激活映射到透明绿色的部分（深绿色 = 更高激活度）创建了一个可视化效果。接下来，作者检查了所有的视觉效果，并将这些与皮肤科医生提供的典型特征对应起来。特别是 CNN(6,7)的最后两层卷积层，能够帮助深入了解哪些图像区域更能吸引 CNN 的注意力。作者使用公开的 ISIC 档案的数据（https://isic-archive.com/），组成一个包括 12838 张皮肤镜图像的训练库，分为两类（11910 个良性病变，928 个恶性病变）。在预处理步骤中，图像被缩小到 300x300 像素的分辨率，并将 RGB 值在标准化处理到 0 和 1 之间。通过选取 224x224 像素的随机裁剪来增强训练集中的图像，并通过旋转（角度在 0 和 2π之间均匀采样）、随机水平和 / 或垂直翻转、调整亮度（在 - 0.5 和 0.5 之间均匀采样的因子）、对比度（在 - 0.7 和 0.7 之间均匀采样的因子）、色调（在 - 0.02 和 0.02 之间均匀采样的因子）和饱和度（在 0.7 和 1.5 之间均匀采样的因子）进一步增强每个裁剪后的图像。作者使用 96 个小批量训练了 192 个 epoch 的网络，并用 Adam 算法更新了网络的参数，初始学习率为 10±4，一阶和二阶动量的指数衰减率分别为 0.9 和 0.999。根据医生的诊断经验判断，边界不规则的皮肤病变边界可能表明存在恶性病变。图 1 所示的特征图在皮肤病变的边界上都有很高的激活率，但都处于边界的不同部位。第一张（a）检测的是病变的底部边界，而第二张（b）检测的是左侧边界。图 1. 病变边界上具有高激活度的特征图。过滤器（a）在底部边界激活，而过滤器（b）在左侧边界激活同样的推理也适用于病变内部的颜色。颜色均匀的病变通常是良性的，而严重的颜色不规则可能是恶性病变的征兆。图 2 所示的特征图在病变处有较暗的区域时具有较高的激活度，这意味着颜色不均匀。图 2. 病灶内较暗区域高激活的特征图，表明病灶颜色不均匀此外，医生一般认为皮肤颜色浅的人更容易晒伤，这会增加皮肤恶性病变的发生。因此，皮肤科医生在检查患者的皮损时会考虑到患者的皮肤类型。图 3 所示的特征图用于验证此特性。特征图（a）在白皙的皮肤中具有较高激活度，而特征图（b）在具有血管样结构的粉红色皮肤上具有高激活度。图 3. 对皮肤类型具有高激活度的特征图从皮肤科医生的角度考虑，头发对于最终的诊断没有影响。如图 4 所示，毛发状的结构区域具有较高激活度。图 4. 特征图(7,8)，在毛发状结构上具有高激活度此外，作者还注意到一些特征映射对图像中的各种伪造影有很高的激活率。例如，如图 5 所示，一些特征图在镜面反射（specular reflections）、凝胶涂抹应用（gel application）或标尺（rulers）上具有高激活度。这突出了使用机器学习技术时的一些风险，即当这些伪造影在特定类的训练图像中显著存在时可能会对网络的输出产生潜在的偏差。图 5. 各种图像伪造影的高激活特征图，从左到右，镜面反射、凝胶处理和标尺，这些伪造影可能会对 CNN 的输出造成偏差最后，通过特征图，图 6 给出了对不同图像上激活的全面概述。图 6. 特征图总览2.1.2 文章小结本文分析了由 CNN 学习到的皮肤病医学图像中的特征，该 CNN 是为皮肤病变分类而训练得到的。通过可视化 CNN 的特征图可以看到，高级卷积层在与皮肤科医生所使用的类似的概念中具有较高激活度，例如病变边界、病变内的暗区、周围皮肤等。此外，作者还发现，一些特征图在各种图像伪造影区域具有较高激活度，如镜面反射、凝胶涂抹应用和标尺。尽管本文对 CNN 学习到的特征给出了一些分析和评论，但并不能解释 CNN 检测到的特征与其输出之间的任何因果关系。此外，通过特征图，并没有发现任何能精确突出皮肤科医生扫描过程中重点关注的其他结构，如球状体、圆点、血管结构等。作者认为，为了使 CNN 能够成为皮肤科医生更好的决策支持工具，还需要在这一领域进行更多的研究。三、非属性方法在医疗图像分析中的应用3.1、通过深度生成模型学习可解释的解剖学特征：在心脏重构中的应用[7]心脏几何结构和功能的改变是引发心血管疾病的常见原因。然而，目前的心血管疾病诊断方法往往依赖于人的主观评估以及医学图像的人工分析。近年来，深度学习方法在医学图像的分类或分割等任务中应用取得了成功，但在特征提取和决策过程中仍然缺乏可解释性，这就限制了深度学习方法在临床诊断中的价值。本文提出了一个三维卷积变分自动编码器（VAE）模型用于心脏病患者的医疗图像分类。该模型利用了从 3D 分割中学习到的可解释的任务相关解剖学模式（Anatomic Pattern），此外，还允许在图像的原始输入空间中可视化和量化所学习到的病理学特定重构模式。3.1.1 模型分析本文所提出模型的示意图如图 1 所示。输入 X 为双通道输入的受试者在舒张末期（End-diastolic，ED）和收缩末期（end-systolic，ES）的三维左室心肌节段（3D left ventricular myocardial segmentations）。利用三维卷积 VAE，通过编码器网络学习潜在空间中代表输入分段 X 的 d 维概率分布，并将该潜在分布参数化为 d 维正态分布 N(μ_i, σ_i)，其中，μ_ i 表示平均值，σ_i 为标准差。在训练过程中，解码器网络通过从学习到的潜在 d 维流形中采样向量 z 来学习重建输入 X 的近似值。同时，一个由多层感知器（MLP）构成的判别网络（在本文中称为预测网络 prediction）被连接到平均向量μ上，并被训练用于区分健康志愿者（healthy volunteers，HVols）和肥厚型心肌病（hypertrophic cardiomyopathy，HCM）受试者。使用下述损失函数进行端到端训练：其中，L_rec 表示重建损失，可以通过输入 X 和重建之间的 Sorensen Dice 损失来计算得到 L_rec。L_KL 是 Kullback-Leibler 散度损失，其目的是使 N(μ, σ)尽可能接近其先前的分布 N(0, 1)。L_MLP 是 MLP 分类任务的交叉熵损失。潜在空间维数为 d=64。在测试阶段，通过将预测得到的μ传递到 z（不从潜在空间采样）来重建每个输入分段，最后，在训练阶段完成分类任务。图 1. 模型结构本文提出的模型架构允许在原始分割空间中可视化网络学习的特征。利用 MLP 学习到的权值，通过使用链式规则将梯度从分类标签 C 反向传播到μ_i 来计算疾病分类标签 C(y_C)的偏导数。给定一个随机选择的健康组织形状，可以使用导出的梯度沿着潜在编码可变性的方向移动受试者的潜在表示，使用迭代算法将该可变性分类到 C 类的概率最大化。从健康形状的平均潜在表示开始，在每个步骤 t 利用下式迭代更新μ_i：本文选择λ=0.1。最后，每一个步骤 t 的每一个潜在表示μ_t 都可以通过传递给 z 的方式来解码得到分割空间，从而实现相应重建片段的可视化处理。3.1.2 实验分析本文实验使用了一个由 686 名 HCMs 患者（57±14 岁，27% 为女性，77% 为白种人，采用标准临床诊断的 HCM）和 679 名健康志愿者（40.6 ±12.8 岁，55% 为女性，69% 为白人）组成的数据库进行研究。参与者接受了 1.5T 的心血管磁共振（Cardiovascular magnetic resonance，CMR），采用的是西门子（德国埃尔兰根）或飞利浦（荷兰贝斯特）设备。采用平衡的稳态自由进动序列获得电影图像，包括左心室短轴平面上的一组图像（体素大小为 2.1x1.3x7mm^3，重复时间 / 回波时间为 3.2/1.6ms，翻转角度为 60°）。使用一个先前发表并得到广泛验证的心脏多图谱分割框架进行舒张末期（ED）和收缩期（ES）的分割。作为预处理的第一步，采用多图谱辅助上采样方案提高了二维叠加分割的图像质量。对于每个分割片段，将基于 landmark 的 20 个 ED 和 ES 的人工标注的高分辨率图扭曲映射到它的空间中。然后应用一个稀疏控制点集的自由形式非刚性配准（最近邻插值）并与多数投票一致性进行融合。第二步，通过基于 landmark 和强度的刚性配准将所有增强处理后的片段对齐到相同的参考空间中，以消除姿势的变化影响。在提取左心室心肌标签后，使用一个以左心室 ED 心肌为中心的边界框，裁剪每个片段并将其填充到 [x=80, y=80, z=80, t=1] 维。最后，对所有的片段进行人工质量控制，以排除包含层间强烈运动或左心室覆盖不足的扫描。作为附加测试数据库，作者选择了 ACDC MICCAI17 挑战训练数据库中的 20 个 HVOL 和 20 个 HCM，使用上述相同的方法进行预处理。将数据库划分成训练集、评估集和测试集，分别由 537 名（276 名 HVOL，261 名 HCM）、150 名（75 名 HVols，75 名 HCM）和 200 名（100 名 HVols，100 名 HCM）受试者组成。为了使潜在空间有可解释性，作者利用了一种潜在空间导航 (latent space navigation) 的方法: 从训练集中随机选择一个健康分割片段，使其分类为 HCM 的概率最大化。图 2 中右侧图中给出了在 ED 和 ES 阶段所选对象的原始片段、对应 VAE 重建结果，以及在潜在空间导航方法的四个不同迭代下重建的片段。图 2 中左侧图所示，为了进行可视化展示，使用拉普拉斯特征映射（Laplacian Eigenmaps，LE）将训练集片段的潜在 64 维表示μ与在每次迭代 t 中获得的潜在表示μ_t 一起缩减为二维空间。该技术允许建立一个潜在表示的邻域图，可用于监控所研究的从 HVol 簇到 HCM 簇的转换（浅蓝色点）。在右侧图示给出的每个步骤中，通过计算心肌体素的体积来计算每个片段的左心室心肌质量（LV mass，LVM）。此外，还将具有左心室腔标签的 LV 图谱分割非刚性地注册到每个分割片段中，通过计算血量体素（blood pool voxels）的体积来计算左心室压腔容积（LV cavity volume，LVCV）。最后，对于每个迭代，作者还报告了由预测网络计算得到的成为 HVol 或 HCM 的概率。从 HVol 到 HCM 的几何转换过程中，LVM 增高，LVCV 降低，室间隔壁厚度不对称增加，这也是这种病典型的重塑模式。图 2. 左侧，训练集中每个受试者潜在表示μ的 LE 二维表示（红色和绿色圆点），通过潜在空间导航方法得到的随机健康形状的潜在表示μ_t 的 LE 二维表示（浅蓝色圆点）；右侧，通过潜在空间导航方法得到的随机健康形状的潜在表示μ_t 的 LE 二维表示，以及对应于在 4 次示例性迭代时μ_t 的解码片段，同时还给出了 HVOls 和 HCM 的概率，以及计算出的 LVM 和 LVCV3.1.3 文章小结本文提出了一个深度生成模型用于自动分类与心脏重构（cardiac remodeling）相关的心脏病，该模型利用的是直接从三维分割中学习的可解释任务特定解剖特征。本文所提出的模型的体系结构经过特殊设计，能够在原始分割空间中可视化和量化所学特征，使分类决策过程具有可解释性，并有可能实现对疾病严重程度的量化分析。此外，作者还提出了一种简单的方法能够在网络学习的低维流形中导航，作者给出的实验结果表明所得到的潜在表示能够用于监控患者的潜在临床效用。本文提出的方法是可解释深度学习分类方法在医疗图像诊断中的一个有效应用，它可以帮助临床医生改进诊断，并为患者分层处理提供参考。这种方法并不局限于心脏领域，后续可以将其扩展到其他与病理形态变化相关的图像分析任务中。3.2、MDNet：一个语义和视觉可解释的医学图像诊断网络[8]近年来，深度学习技术的迅速发展对生物医学图像领域产生了显著的影响。例如，经典图像分析任务，如分割和检测等，支持从医学元数据中快速发现知识，帮助专家进行人工诊断和决策。再比如，医学中的自动决策任务（例如诊断），通常可被视为标准的深度学习分类问题。不过，现有的分类模型隐藏了其结论的基本原理，缺乏可解释的理由来支持其决策过程，通常不能直接作为辅助诊断的最佳方案。在临床实践中，医学专家通常会撰写诊断报告，记录图像中的显微发现，以便辅助医生诊断病情和选择治疗方案。教会深度学习技术 / 模型自动模仿这一过程是可解释深度学习在医疗图像诊断领域中的有效应用。一个模型如果能够从视觉和语义上给出其诊断结果的基本原因解释，那么这个模型就具有重要的应用价值。本文提出了一个统一的网络（medical image diagnosis network，MDNet），它可以读取图像，生成诊断报告，通过症状描述检索图像，并将网络注意力可视化，通过建立医学图像与诊断报告之间的直接多模态映射为网络诊断过程提供依据。MDNet 的完整应用过程见图 1。图 1. 用于可解释性诊断过程的 MDNet为了验证 MDNet 的有效性，本文将 MDNet 应用于膀胱癌病理图像数据库的诊断报告中。在膀胱病理图像中，膀胱组织尿道细胞核大小和密度的变化或尿道肿瘤增厚，均提示癌变。对于这些特征的准确描述有利于诊断病情，对早期膀胱癌的鉴别至关重要。为了训练 MDNet，作者重点解决了从报告中直接挖掘判别性图像特征信息的问题，并学习了直接从报告句子词到图像像素的多模态映射。这个问题在医疗图像诊断中是非常重要的，因为支持诊断结论推理的判别性图像特征在报告中是 "潜伏" 的，而不是由特定的图像 / 对象标签明确提供的。有效利用报告中的这些语义信息，是进行图像语言建模的必要条件。作者提出，本文是第一个研究开发可解释的基于注意力的深度学习模型，该模型可以明确地模拟医学（病理）图像诊断过程。对于图像建模部分，利用 CNN 实现了基于大小变化的图像特征进行图像表示。对于语言建模部分，利用 LSTM 从报告中挖掘判别信息，计算有效梯度来指导图像模型训练。作者使用端到端的训练方式，将注意力机制整合到语言模型中，并提出增强其与句子中词（Sentence Words）的视觉特征一致性，以获得更清晰的注意力图。3.2.1 图像模型残差网络 ResNet 能够实现网络内部的信息流动。每一个跳连接（Skip-connected）的计算单元称为剩余块。在一个有 L 个残差块的 ResNet 中，第 l 个残差块的前向输出 y_L 和损失 L 的梯度即其输入 y_l 的定义分别为：（1）（2）其中，F_m 由连续批归一化、整流线性单元（ReLU）和卷积模块组成。残差块中的一个跳转连接提供了两条信息流路径，因此随着网络的深入，网络中总的路径数目呈指数级增长。这种指数集成（Exponential Ensembles）提高了网络性能。ResNet 中连接卷积层的分类模块包括全局平均池化层（a Global Average Pooling Layer）和全连接层。这两个层的数学描述如下：（3）其中，p^c 表示类别 c 的概率输出，(i, j)表示空间坐标，w^c 表示应用到 p^c 上的全连接层权重矩阵的第 c 列。将公式（1）插入到公式（3）中，p^c 为加和集成输入的加权平均：（4）作者认为，在这种情况下，在分类模块中使用单一的加权函数不是最优的。这是因为所有合集的输出都共享分类器，以至于其单个特征的重要性被削弱。为了解决这个问题，作者建议将集合输出解耦，并对它们分别应用分类器：（5）与公式 (4) 相比，公式（5）为每个集合输出分配了单独的权重(w_1)^c 和(w_L)^c，这使得分类模块能够独立决定来自不同残差块的信息重要性。作者对 ResNet 架构进行 "重新设计" 来实现上述思想，即采用一种新的方式来跳转连接残差块，定义如下。（6）其中，为连接操作。将这种跳转连接方案定义为集合连接（Ensemble Connection）。它允许残差块的输出直接并行地流经并联的特征图到分类层，这样分类模块给所有网络集合输出分配权重，并将它们映射到标签空间。由图 2 可以看出，这种设计也保证了信息流的畅通无阻，克服了梯度消失效应。图 2. MDNet 的整体说明，以膀胱图像及其诊断报告为例。图像模型生成一个图像特征，以任务元组和由辅助注意力锐化（Auxiliary Attention Sharpening，AAS）模块计算的 Conv 特征嵌入（用于注意力模型）的形式传递给 LSTM。LSTM 根据指定的图像特征类型执行预测任务3.2.2 语言模型在语言建模方面，使用 LSTM 通过最大化句子上的联合概率来建模诊断报告：（7）其中，是句子词（编码为独热向量）。LSTM 参数θ_L 用于计算几种 LSTM 内部状态。通过上下文向量 z_t 将 "软" 注意力机制整合到 LSTM 中，以捕捉局部的视觉信息。为了进行预测，LSTM 将上一时间步 x_(t-1)的输出以及隐藏状态 h_(t-1)和 z_t 作为输入，并计算下一个词 x_t 的概率，如下所示：（8）其中，E 为字嵌入矩阵。G_h 将 h_t 解码到输出空间。注意力机制动态计算一个权重向量来提取支持单词预测的部分图像特征，该特征被解释为一个明确网络捕捉视觉信息位置的注意力图。注意力是支持网络视觉解释能力的主要部分。作者提出了辅助注意力锐化（Auxiliary Attention Sharpening，AAS）模块，以提高注意力机制的学习效果（见图 2 描述）。与将直接监督放在权重向量 a_t 上的处理方式不同，作者提出利用全局平均池化的隐含类特异性本地化属性来解决这个问题，以支持图像 - 语言的对齐处理。利用下式计算 z_t：（9）其中，W_att 和 W_h 为学习嵌入矩阵。C(I)表示由图像模型生成的维度为 512×(14·14)的卷积特征图。c 表示通过 w^c 嵌入得到的 196 维的卷积特征。经典注意力机制在 LSTM 里面隐性地学习 w^c。而 AAS 增加了一个额外的监督来显式学习，以提供更有效的注意力模型训练，具体可见图 2。图 3 给出了经典方法和本文所提出方法的定性对比结果。图 3. 经典方法（中间）和本文方法（右边）生成的注意力图。本文方法能够在关键信息区域（尿道）中产生更多的焦点注意力3.2.3 网络训练CNN 提供一个编码的图像特征 F(I)作为 LSTM 输入 x_0，然后用一个特殊的 START token 作为 x_1 来告知预测过程开始。生成有效的梯度 F(I)是图像模型优化的关键。一份完整的医学诊断报告会对图像中的多种症状进行全面的描述，然后会具体针对一种或多种类型疾病的给出专门的诊断结论。例如，放射学图像包括多个疾病标签，每个症状具体描述一种类型的图像（症状）特征。有效地利用不同描述中的语义信息对通过 LSTM 生成有效的梯度 F(I)至关重要。在本文方法中，专门令一个 LSTM 从特定的描述中鉴别信息。所有的描述模型都共享 LSTM。这样一来，每个图像特征描述模型就成为了一个生成完整报告的函数，将该函数定义为 K。在训练阶段，给定一个包含 B 对图像和报告的小批量，将小批量发送到图像模型后对每个样本进行内部复制，得到一个 K×B 大小的小批量作为 LSTM 的输入。LSTM 的输入和输出分别定义为：（10）其中，W_F 表示学习的图像特征嵌入矩阵，S(e)表示第 e 个图像特征类型的独热表示。使用 (x_1)^e 通知 LSTM 目标任务的开始。在后向传播阶段，将全部复制的梯度 F(I) 融合起来。整个模型包含了三组参数：图像模型 D 的参数θ_D、语言模型 L 的参数θ_L 和 AAS 模块 M 的参数θ_M。MDNet 的完整优化问题如下：（11）其中，表示训练三元组。可以直接使用梯度下降算法求解θ_M 和θ_L。但更新θ_D 需要同时依赖于两个模块的梯度。本文提出一种反向传播机制，允许两个模块的复合梯度相互适应。基于递归生成网络和多层感知器的混合体来计算梯度，θ_D 的更新如下：（12）3.2.4 实验分析本文实验使用的数据库为膀胱癌影像诊断报告数据库（The bladder cancer image and diagnostic report dataset，BCIDR）。该数据库中的图像采用 20 倍物镜获取，从 32 例有乳头状尿路上皮肿瘤风险的患者的膀胱组织中提取苏木精和伊红（H&E）染色切片，拍摄全幻灯片图像。从这些载玻片中，随机抽取 1000 张靠近尿路上皮肿瘤的 500x500 RGB 图像（每张幻灯片生成的图像数量略有不同）。使用一个网络界面来显示每个图像（没有病人的诊断信息），然后请病理学家为每个图像提供了一段描述观察结果的文字，以明确五种类型的细胞外观特征，即核多形性状态（the state of nuclear pleomorphism）、细胞拥挤状态（cell crowding）、细胞极性（cell polarity）、有丝分裂（mitosis），突出核（prominence of nucleoli）。病理学家给出的诊断结论分为四类：即正常、低恶性潜能乳头状尿路上皮肿瘤（papillary urothelial neoplasm of low malignant potential，PUNLMP）/ 低度恶性肿瘤、高度恶性肿瘤和信息不足。在这个过程之后，四个医生（非膀胱癌专家）用他们自己的语言撰写了另外四个文字描述，但是他们在撰写过程中参考了病理学家的描述以保证准确性。因此，每幅图像中总共有五篇描述报告。每份报告的长度在 30 到 59 个字之间。随机选取 20%（6/32）的患者数据（包括 200 张图像）作为测试数据，其余 80% 的患者数据（包括 800 张图像）用于训练和交叉验证。作者选择经典的图像字幕方案（image captioning scheme）作为基线对比方法[9]，该方法首先训练 CNN 来表示图像，然后训练 LSTM 生成描述。此外，实验中使用 GoogLeNet 而不是它最初使用的 VGG，因为前者在 BCIDR 上的性能更好。作者单独训练了 MDNet 中的图像模型，记做 EcNet，且训练了一个小型的 EcNet 用于实验（深度 38，宽 8，包括 2.3M 参数）。实验中用于对比的全部模型共享预训练 GoogleNet 和 EcNet。在训练 LSTM 时，作者测试了使用和未使用微调 CNNs 的情况。MDNet 本身是基于端到端的训练方式得到的，不过为了与基线方法进行对比，作者在消融实验中测试了两种使用基线策略训练 MDNet 的情况。在这两种情况下没有应用优化处理，因此与基线方法的差异是任务分离的 LSTM 和整合注意力模型。图 4 给出了生成报告的实验结果示例。使用本文提出的注意力模型计算得到了句子引导的注意力，其中每个注意力图对应一个预测单词。参考病理学家的观察结果，本文方法计算得到的注意力图能够集中关注于有效信息区域而避免引入更多的无效信息区域。图 4. 图像模型预测诊断报告（左上角）。语言模型关注每个预测单词的特定区域，最受关注的是尿路上皮肿瘤，它被用来诊断癌症的类型表 1 给出了一个诊断报告生成实验示例。实验结果给出了常用的图像字幕评价指标得分，包括 BLEU（B）、METEOR（M）、Rouge-L（R）和 CIDEr（C）。诊断报告的语言结构比自然图像标题更具规则性。实验结果表明，标准 LSTM 可以捕捉到总体结构，从而得到与 MDNet 相似的度量分数。本文实验更关注的是训练得到的模型是否准确地表达了病理意义上的关键词。实验结果中还给出了从生成的报告句子中提取的预测诊断结论准确性（diagnostic conclusion accuracy，DCA）。由实验结果可知，MDNet 效果远优于其它基线方法。此外，实验结果还表明采用微调预训练方法，例如 EcNet 和 GoogleNet，能够获得更好的效果，但同时会提升模型的不稳定性（标准差较大）。表 1. 生成描述质量和 DCA 评分的定量评价。P、 F 和 J 分别表示是否使用预先训练的 CNN、在训练 LSTM 时是否微调预训练 CNN，以及是否使用 MDNet。第 5 行和第 6 行为消融实验结果，GN 和 EN 表示 GoolgeNet 和 EcNet3.2.5 文章小结本文提出了一种非属性深度学习模型：MDNet，用以建立医学图像和医学诊断报告之间的多模态映射关系。MDNet 为可解释深度学习技术在医疗图像诊断中应用提供了一个新的视角：生成诊断报告和与报告对应的网络关注（Network Attention），借助于注意力机制使得网络诊断和决策过程具有语义和视觉上的可解释性。基于本文的工作，作者提出了如下的研究方向：建立大规模病理图像报告数据库、实现对小生物标记物定位的精细关注、将改进后的 MDNet 应用于全幻灯片诊断等。四、小结本文关注的是可解释深度学习技术在医疗图像诊断中的应用。很多深度学习技术在实际应用中都获得了较好的效果，例如图像识别、文本识别、语音识别等。这些技术得以推广应用的领域主要是智能客服、翻译、视频监控、搜索、推荐系统等等，这些领域共通的特点是 “对模型 / 算法的可解释性要求不高” 并且“容错率高”。以智能客服应用为例，可以利用深度学习技术提高所生成问答语句的准确度，且生成错误的回答语句并不会对用户有直接的危险。但是如何生成的这些文本、不同参数与文本 / 语句 / 字符的关系究竟是什么，这些问题并没有答案，在实际应用即使没有明确这些答案也不影响利用深度学习技术改进智能客服的水平，人们也不会因为没有明确答案就否定智能客服给出的结论。但是在医学领域，模型 / 算法的可解释性要求就非常高了。试想，你会根据一条不知道什么原因、不知道根据什么判断得出的结论去治疗疾病么？你会相信一条不知道如何解释的病情诊断意见么？结合目前应用于医疗图像诊断中的两类可解释深度学习方法：属性方法和非属性方法，本文具体分析了几篇文章如何根据 CNN 特征、利用生成模型或注意力机制实现或分析医疗图像诊断的可解释性。从几篇文章的分析结果可以看出，每篇文章提出的方法针对的都是不同疾病图像、不同成像种类的图像，这也是深度学习 / 机器学习方法应用于医学领域的一个显著特点：方法是疾病 / 成像模式相关的。不同疾病的图像区别太大，目前的研究主要局限在针对具体疾病图像具体分析适用的可解释模型 / 方法。不过，这些方法都是可解释深度学习技术在医疗图像诊断领域中应用的有益探索，随着越来越多的研究人员关注可解释性，期望能推动深度学习技术在医学领域中的规模化推广应用。本文参考引用的文献：[1] Singh, Amitojdeep , S. Sengupta , and V. Lakshminarayanan . "Explainable deep learning models in medical image analysis." Journal of Imaging 6.6(2020):52. https://arxiv.org/pdf/2005.13799.pdf[2] Meyes, R.; de Puiseau, C.W.; Posada-Moreno, A.; Meisen, T. Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations. arXiv preprint arXiv:2004.01254 2020.[3] Alber, M.; Lapuschkin, S.; Seegerer, P.; Hgele, M.; Schutt, K.T.e.a. iNNvestigate neural networks. Journal of Machine Learning Research 2019, 20, 1–8. http://arxiv.org/abs/1808.04260[4] Kim, B.; Wattenberg, M.; Gilmer, J.; Cai, C.; Wexler, J.; Viegas, F.; Sayres, R. Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav). arXiv preprint arXiv:1711.11279 2017.[5] Lee, H.; Kim, S.T.; Ro, Y.M. Generation of Multimodal Justification Using VisualWord Constraint Model for Explainable Computer-Aided Diagnosis. In Interpretability of Machine Intelligence in Medical Image Computing and Multimodal Learning for Clinical Decision Support; Springer, Cham, 2019; pp. 21–29.[6] Van Molle, P.; De Strooper, M.; Verbelen, T.; Vankeirsbilck, B.; Simoens, P.; Dhoedt, B. Visualizing convolutionalneural networks to improve decision support for skin lesion classification. In Understanding and InterpretingMachine Learning in Medical Image Computing Applications; Springer, Cham, 2018; pp. 115–123. https://arxiv.org/pdf/1809.03851.pdf[7] Biffi, Carlo , et al. "Learning Interpretable Anatomical Features Through Deep Generative Models: Application to Cardiac Remodeling." (2018).https://arxiv.org/pdf/1807.06843.pdf[8] Zhang Z , Xie Y , Xing F , et al. MDNet: A Semantically and Visually Interpretable Medical Image Diagnosis Network[J]. 2017:3549-3557. https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_MDNet_A_Semantically_CVPR_2017_paper.pdf[9] A. Karpathy and L. Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.分析师介绍：本文作者为仵冀颖，工学博士，毕业于北京交通大学，曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理，现从事电子政务领域信息化新技术研究工作。主要研究方向为模式识别、计算机视觉，爱好科研，希望能保持学习、不断进步。

1.排名情况1.1院校层次分布医学影像学，是研究借助于某种介质（如X射线、电磁场、超声波等）与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学，包括医学成像系统和医学图像处理两方面相对独立的研究方向。该专业考取难易度排名前50的院校中211及以上院校占20%，重点院校占54%。清华、浙大等985院校十分青睐试验班招生，但是由于试验班包含的专业较多，用试验班录取最低分作为专业的录取最低分制作排名会造成误差，因此本文的排名不包含以试验班招生的院校专业，部分学科实力强的985院校不参与本次排名。本排名旨在为对相关专业感兴趣的考生做填报志愿的提供参考，想了解更多985试验班招生信息可登陆优志愿官网。表1 医学影像学专业考取难易度排名Top50数据来源：2018年全国普通本科批录取数据(西藏数据缺失)注：1.本排名代表各院校此专业的综合考取难度排名，单个省份中可能存在差异；2.本排名不包含试验班招生或招生简章中未注明具体招生专业的院校；3.本排名不包含中外合作专业；4.重点包含省重点和全国重点。2. 考取难度解析2.1 南昌大学该专业在一批二批均有招生医学影像学属临床医学类专业，南昌大学临床医学学科在第四次学科评估中评级为B-，且拥有博士后科研流动站，医学影像学是省级一流本科专业建设点，学科实力较强，但南昌大学该专业有超过36%的计划数在本省第二批次，拉低了整体的考取难度，江西本省对该专业感兴趣的考生可以留意相关信息。2.2 兰州大学考取难度相对较低兰州大学临床医学学科拥有博士后科研流动站，在第四次学科评估中评级为C+，而南京医科大学评级为B+。兰州大学该学科实力在同层次院校中不算突出，且不具备地理位置优势，且该专业招生省份较广，计划数较多，录取分相对较低。特别声明：本文为优志愿原创作品。未经著作权人授权，禁止转载和使用，否则将承担法律责任。填志愿时在大厚本上翻找资料，很容易遗漏掉一些不错的院校，优志愿分享高考资讯、填报志愿、大学、专业等相关的信息，帮助您轻松获取历年分数线等数据资料。

【科学世界博览】教育品质专文：“从知名高校的新工科发展趋势来看，生物医学工程专业领域的顶尖人才，具有广阔的发展前景，而在教育部最新的第四轮学科评估当中，有14所大学的生物医学工程专业获评B+以上高等成绩，其中东南大学、华中科技大学获评A+成绩，居于国内高校首位，上海交大获评A档成绩，这些高校的生物医学工程自然也是教育部重点建设的学科”。正值此文发布之际，林瑜伽老师携手教育部团队，诚挚欢迎同学们点击上方“关注”，触控科学教育的前沿动态，把握高等教育的时代脉搏，着重探知东南大学、华中科技大学、上海交通大学的生物医学工程专业发展实力与前景，从而选择适合自己的顶尖专业高校。生物医学工程学科评估SEU-东大的生物医学工程专业实力东南大学的生物医学工程专业，设置在“生物科学与医学工程学院”，该学院的前身是生物科学与医学工程系，该系由韦钰院士创建于1984年10月。在2006年8月，为适应学科发展需要，经东南大学研究决定，成立生物科学与医学工程学院。该学院的研究及学生培养方向瞄准21世纪主导学科：生命科学与电子信息科学，强调这两个学科的交叉与渗透，综合应用电子信息科学理论与方法解决生物医学领域中的科学问题，发展现代生命科学技术。东大的生物医学工程人才培养，面向生物医学工程领域，涵盖本科、本硕七年一贯制、硕士、博士、博士后等多个层次。该学院在生命科学领域中的研究与应用处于国内领先水平。目前拥有一个国家重点学科：生物医学工程，该学科参加了2006年的全国一级学科评估，最终排名全国第一；2007年，该学科在全国一级学科评估，继续排名全国第一；2012年与2017年，该学科在全国一级学科评估，继续排名全国第一。东南大学的生物医学工程学院拥有一个一级学科博士点、五个二级学科博士点，有一个生物医学工程博士后流动站，该流动站于2005年被评为国家优秀博士后流动站；拥有生物电子学国家重点实验室，这是我国生物医学工程领域中唯一的一个国家重点实验室，同时还拥有生物材料江苏省高技术研究重点实验室。HUST-华科的生物医学工程专业实力华中科技大学的生物医学工程专业，设置在“生命科学与技术学院”，该学院始建于1980年，经历了由最初的生物工程系到生命科学与技术学院的发展历程，现有生物医学工程系、生物技术系、生物科学、纳米医药与生物制药系、生物信息与系统生物学系、实验教学中心、科研公共平台等。华科生命科学院的建设凸显理工医交叉特色，拥有生物医学工程一级国家重点学科，生物物理学二级国家重点学科和生物学湖北省一级重点学科。在全国第四轮学科评估中，该院生物医学工程学科被评估为“A+”档；生物学学科被评估为“A-”档，标志着该学院学科建设取得重大突破。另外，该学院支持了华科工程学科进入ESI全球排名前1‰，生物学和生物化学、分子生物学与遗传学、药理学与毒理学、农业科学学科进入ESI前1%国际排名。 同时，还支持了华科其它多个学科的ESI前1%国际排名。华科生命科学院一贯重视国际学术合作与交流，与美国、法国、瑞典、德国、英国、俄罗斯和澳大利亚等国的高校和科研院所开展了广泛而实质性的科研合作与人才培养。每年定期举办硕士生论坛、博士生学术年会、博士生交叉学科创新论坛和各种沙龙活动，主办或承办国内外高水平学术会议，邀请国内外知名专家进行学术交流。SJTU-上海交大的生物医学工程专业实力上海交大生物医学工程专业，设置在“生物医学工程学院”，该学院是全国最早建立生物医学工程专业的大学院系之一。上海交大生物医学工程专业一直是全国最优秀的生物医学工程专业之一：于2002年被评为国家重点学科；在2002、2007年、2012年、2017年的国家一级学科评比中，一直名列生物医学工程学科前三名。生物医学工程专业已是上海交大这一百年名校中一个“亮点”专业之一。在2015年，上海交大生物医学工程专业成为上海交大入选“上海高峰高原学科”的四个专业之一。上海交大生物医学工程学院以建设具有国际影响力的生物医学研究和人才培养基地，引领生物医学工程交叉研究，国际化和临床转化方面为使命。致力于培养先进生物医学技术和医疗系统的工程师和科学家，以适应高速发展中的中国经济和健康医疗需求。在2005年，上海交大与原上海原第二医科大学强强合并之后，开始大力发展医-工（理）交叉科学，并将其作为主要战略之一。 而Med-X研究院于2007年11月的成立，就是这一主战略的关键实施点。该院是上海交大“985工程”建设的重要科技创新平台之一，是交大直属的从事医工、医理交叉研究的科研教育机构，以推动交叉、转化的医学研究为核心目标。几年来，该研究平台已有多位国际著名的研究教育机构的学者全职加盟。University-生物医学工程专业大学生就业分析生物医学工程专业领域的大学生，在毕业之后，主要就业方向包括：第一，读研究生继续深造，如果想在这一领域搞科研，或有更深入的发展就要继续深造。撇开别的不说，进大学和科研院所的门槛基本都是博士，本科阶段的学习只是个基础；第二，进入国家医疗器械司及各级医疗器械检测所；第三，各级医院的医学工程处、设备处、信息中心以及医学影像科也是毕业生非常愿意去的地方，这些地方工作稳定大多属于事业单位，竞争压力也是比较大的；第四，去各大跨国以及国内医疗器械企业，另外，就是去各类医疗器械代理公司，从事相关领域的工作。

2018年1月，医疗AI科学家郑冶枫博士加盟腾讯优图实验室。郑冶枫博士此前在西门子美国研究院从事智能医学影像分析，专注于深度学习在医学影像上的应用研究。作为医疗AI领域的权威专家，郑冶枫博士的加入将助力提升优图实验室医疗AI技术水平，推动AI+医疗跨界融合。自2012 年成立以来，腾讯优图实验室一直致力于深耕计算机视觉领域。2017年，腾讯优图实验室借助图像识别、深度学习等技术优势，在肺癌、胃癌和糖尿病性视网膜病变早筛上取得显著进展，并通过腾讯首个医疗AI产品“腾讯觅影” 进入大规模的临床预试验。2017年底，腾讯以医疗影像开放平台入选“首批国家人工智能开放创新平台名单”，成为人工智能“国家队”，标志腾讯已成未来AI+医疗的发展风向标。腾讯公司副总裁梁柱表示：“目前，优图AI技术已经广泛应用在各领域。而AI在医疗领域的研究意义重大，腾讯优图实验室作为腾讯觅影核心人工智能技术的提供方，在肺癌、糖网及胃癌筛查已取得了突破性的进展。未来我们将继续承担社会公益责任，不计成本持续投入。同时，腾讯优图实验室也将广纳贤才，不断提升医疗AI技术水平，为医患提供更高效、更精准的智能医疗服务。”对于此次加盟腾讯优图实验室，郑冶枫博士表示：“我很荣幸能够加入腾讯优图实验室。腾讯优图实验室在人工智能上具有深厚的积累，一直深耕于图像识别领域的研发及应用探索。人工智能与医学的跨界融合将给未来医疗领域带来更多的变化，也相信还有很大的潜力等待我们去发掘。我期待与腾讯优图携手并进，让技术应用落地惠及更多病患，真正实现技术从实验室走向临床。”郑冶枫博士于1998年毕业于清华大学电子工程系并保送本系研究生，之后在美国马里兰大学(University of Maryland, College Park)电子与计算机工程系攻读博士学位。毕业后，郑冶枫博士加入西门子美国研究院，专注于智能医学影像分析。任职期间，郑冶枫博士发明了投影空间学习法，用于医学影像中器官的快速检测与分割，并于2011年获得美国专利授权。投影空间学习法不仅被广泛应用于西门子的医疗产品中，也被授权给西门子的多个战略合作伙伴（包括Biosense Webster，Depuy Synthes，和smith & nephew）。该方法被广泛应用于心脏功能分析、左心房心律不齐手术导航、主动脉瓣膜置换（TAVI）手术导航系统中。郑冶枫博士至今共出版学术专著3本，在行业顶尖杂志和会议上发表论文100多篇，被引用4000多次。共有将近70个美国专利申请和授权；很多专利也同时在多个国家（包括中国，德国，日本）获授权。目前，郑冶枫博士还兼任IEEE生物医学信息杂志副主编（影响力因子3.45），国际电气与电子工程师协会（IEEE）高级会员，以及美国医学和生物工程学会(American Institute for Medical and Biological Engineering)的会士（Fellow）。（来源：腾讯科技）新智元AI技术+产业社群招募中，欢迎对AI技术+产业落地感兴趣的同学，加小助手微信号: aiera2015_1 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名-公司-职位；专业群审核较严，敬请谅解）。

雷锋网 AI 科技评论消息，2018 年 1 月，医疗 AI 科学家郑冶枫博士加盟腾讯优图实验室。郑冶枫博士 1998 年毕业于清华大学电子工程系并保送本系研究生，之后在美国马里兰大学 (University of Maryland, College Park) 电子与计算机工程系攻读博士学位。郑冶枫博士在毕业后便加入西门子美国研究院，主要从事智能医学影像分析及深度学习在医学影像上的应用研究。他至今共出版学术专著 3 本，在行业顶尖杂志和会议上发表论文 100 多篇，被引用 4000 多次。共有将近 70 个美国专利申请和授权；很多专利也同时在多个国家（包括中国，德国，日本）获授权。目前，郑冶枫博士还兼任 IEEE 生物医学信息杂志副主编（影响力因子 3.45），国际电气与电子工程师协会（IEEE）高级会员，以及美国医学和生物工程学会 (American Institute for Medical and Biological Engineering) 的会士（Fellow）。郑冶枫博士在西门子美国研究院任职期间发明的投影空间学习法于 2011 年获得美国专利授权。这一技术主要用于医学影像中器官的快速检测与分割，据介绍，“投影空间学习法不仅被广泛应用于西门子的医疗产品中，也被授权给西门子的多个战略合作伙伴（包括 Biosense Webster，Depuy Synthes，和 smith & nephew）。该方法被广泛应用于心脏功能分析、左心房心律不齐手术导航、主动脉瓣膜置换（TAVI）手术导航系统中。”成立于 2012 年的腾讯优图实验室在计算机视觉领域深耕多年，借助图像识别、深度学习等技术优势，于 2017 年 8 月正式发布了医学 AI 产品「腾讯觅影」，包含了 6 个人工智能系统，涉及的疾病包括肺癌、胃癌和糖尿病性视网膜病等。以肺癌识别为例，腾讯优图首先会将数据进行预处理，通过三维分割和重建，以适应与处理不同成像设备产生的不同成像图片。随后，腾讯优图通过端到端一体化肺癌分类算法，输入已经处理好的 3D 肺部图像，预估肺结节的大致位置。通过提取这些肺结节位置，再考虑整个病人肺部的全局信息，从而更好地判断病人患有肺癌的风险。在去年年底，腾讯也凭借医疗影像开放平台入选「首批国家人工智能开放创新平台名单」，成为 AI 「国家队」的一员，在 AI +医疗上迈出了重要一步。对于此次加盟腾讯优图实验室，郑冶枫博士表示感到“很荣幸”，并期待与腾讯优图携手并进，「让技术应用落地惠及更多病患，真正实现技术从实验室走向临床。」

医疗行业进入智能化时代，已是大势所趋。而对于医生来说最必不可少的辅助技术是医学影像，如何让医学影像更智能，是医学科技亟待解决的问题。今天，我们邀请到维卓致远的首席科学家李欣，一起进入本期主题：AI时代，谁将成就超级医生？（视频文字版）李宇欣：对话人工智能，点启无限未来！这里是《AI时刻》。大家好，欢迎收看高端深度科技对话节目《AI时刻》，我是主持人李宇欣。今天做客《AI时刻》的嘉宾是维卓致远医疗科技发展有限公司的首席科学家，李欣博士，您好！李欣：你好，大家好。非常高兴来到《AI时刻》，我是维卓致远的李欣。李宇欣：在上一期的《AI时刻》，我们请到的是从西雅图来的邹总和任总，他们两位也给我们讲了很多MR在制造业、医疗健康，包括他们在教学领域的一些应用，我们当时的感觉是，现在MR的应用还在研究级，或者在国外应用会比较多。所以看到今天采访的是李欣博士之后，我其实特别兴奋。我看到我们现在其实在手术端已经应用得非常的充分了，所以在这块我也想多了解一下，维卓致远是一家怎么样的公司？现在应用的情况到底是怎么样？李欣：维卓致远是一家以智能医学为目的，以云计算、人工智能、混合现实等技术为核心，然后以赋能医生，成就超级医生为使命的一家高科技企业。维卓致远成立的时间并不长，但是维卓致远为什么能够取得今天的成绩呢，实际上是和它的创始人的历史有一定的关系。我们的创始人鲁通博士，是301（解放军总医院）的博士，还有联合创始人翟伟明是清华计算机的博士，他们二人在读书期间其实就有了长期的合作，二人应该是说有十几年的合作经验了，所以说我们维卓致远现在取得的一些成绩实际上是有十几年的技术积淀的。他们把自己十几年的技术积累，通过MR的形式呈现在大家眼前，所以可能显得我们在目前这个时间段，应该是说在同行业当中应该是处于前列的。李宇欣：十几年前肯定还没有混合现实技术。李欣：是的，十几年前，其实他们最开始一起做的是机器人的研究，因为大家也知道十几年前达芬奇手术机器人出现了，然后全国也是一片浪潮，但是在研究的过程当中他们发现，其实要想做好机器人，其实关键的还是要解决导航问题，因为我们知道现在的医学机器人还都是主从式的机器人，机器人它更多的不是说它自己来完成某些东西，而是需要人为的操作它、设计它，就要说你前面必须要把导航做好了，才能更好地指导机器人进行操作，但是在研究过程中又发现，其实导航也不是第一步就能够实现的，在这之前还要做好手术规划，这个手术规划就需要我们结合现在已有的影像信息去把它设计好，走到这一步的时候你又会发现，手术规划你要做好了，也不是单纯地就能做好，因为信息是在那，我怎么能够读取这些信息，怎么能够准确地认知这些信息，一路走过来之后，最后正好碰到HoloLens。我们知道微软的HoloLens眼镜可以说是全球现在唯一一款已经是产品化的MR眼镜，然后就把前十几年的技术积累通过HoloLens呈现出来，所以说这就是我们现在混合现实做到的把我们的数字信息可视化，不但是医生能看得懂，不但是年轻的医生能看得懂，甚至我们老百姓、医学白丁，我们也能看得懂，这样可以更好地进行空间知识结构的认知和理解，更好地进行交流。▼MR技术在医疗行业的应用场景李宇欣：我们刚刚聊了维卓致远是一家怎样的公司，包括创始人为什么十年的积累，现在直接切入了手术这个领域。我现在也想了解一下MR技术对于医学来说它到底意味着什么？我们现在在医疗端或者手术端都有哪些痛点或者应用的场景是有哪些呢？李欣：我觉得目前来讲MR技术对医生、患者，其实是对大家最大地带来的好处就是它对空间结构的认知和理解，因为我们知道人本身是一个立体的，但是我们更多的，现在医生在做出诊断也好，治疗也好，他的依据是我们的CT或者核磁这些影像数据，我指的是外科医生，需要我们动手术的时候，更多的是这些影像数据。但是我们也知道现在很常见的影像数据，还是以二维的尤其那种胶片，大家可以看到提着一袋子一袋子那种胶片的形式，呈现在大家面前。实际上我们MR所看到的全新模型，它的数据来源也就是我们的CT和核磁的原始数据，不是胶片，是原始数据，来源是一样，但是我们在看传统的二维片子的时候，可能就需要你有深厚的医学功底，不要说患者，就是说一个刚毕业的学生医学生，他就是经过五年本科的学习和培训，你让他来看这个片子他肯定也是（不可以的）。李宇欣：对，而且像我们现在经常会觉得我们地方医院看片子不太行，拿着片子再去省里的医院、大城市的医院，再去看一遍，其实都是基于医生可能经验不足，大家不太信任，到底看得准不准。李欣：涉及到手术，都是性命攸关的。如果说医生对空间结构，对于病灶它周围的一些重要的脏器或者重要的血管认知不够的话，可能手术的风险就会加大。有了MR的技术之后，就把现在的二维的信息转换成全息的立体的信息，可能有的人也会说有一些大的医院是可以看到这种三维的结构的，和MR全息的三维模型又有什么区别。就说我已经看到有三维了，我干嘛还非得看到混合现实这种三维呢？我们都知道，实际上你在屏幕上看到的三维，其实还是在屏幕里的，还是在二维屏幕上看到的，实际上它是一个伪三维。第一点，大小比例是不可能和真人是1：1的关系，这是第一点。第二点，就是说真正在实际应用过程中，实际上患者的体位是固定的，我们在观察屏幕上的病灶的时候，比如说这个病灶，我想看到它背面的关系。我是需要把它转一下的，但是如果说是患者做手术的时候...李宇欣：患者是不动的。李欣：对，他是不动的，他是躺在那，你不可能说把他调过来你去看。李宇欣：所以应该是我们走过去。李欣：实际上就说，你用屏幕来观察他的三维信息的时候，和实际应用的场景是相反的。我们用屏幕观察的是医生不动，图像在动。但是我们实际应用的时候是患者躺在那，相当于是图像不动，医生可以从不同的角度来观察自己想了解的结构。所以说，它就需要一个知识转化，就是说空间信息的转化的过程，这个转化就是说，确实是没有十年八年，你是不可能达到一个很好的理解的。所以说，应该说MR所呈现的三维空间的信息是最接近于我们真实的使用情况的，至少目前来讲。▼MR技术应用优势明显，为什么不够“热”？李宇欣：现在MR技术有这么多的优点，为什么行业内同行做这个领域研究的或者说创业的公司会比较少呢？是它的门槛比较高吗？李欣：对，它的门槛确实比较高，我们知道，其实我们的影像信息的原始数据，相当于它的数据量是非常大的。我要把这些数据通过重建，然后投射到眼镜当中，它实际上后台是需要进行大量的人工计算，有很多的人工智能这些程序在里面相当于是，所以说我们之所以走得这么快，实际上是因为，我刚才说的我们创始人...李宇欣：积累的时间比较长。李欣：对，十年的技术积淀嫁接在HoloLens上了。李宇欣：除了技术以外数据也是挺重要的一件事，现在我们在数据端跟医院的合作为什么这个匹配度这么高呢？李欣：是这样的，它是一个新生事物。最重要的，你要找到它的应用者，对我们来讲，它的应用者就是临床医生。临床医生有一部分人，肯定是对新鲜事物很敏感的。他会发现在实际应用过程中，能够解决他的一些什么问题，他自己会有这个敏感性，所以他非常愿意跟我们一起往前走，就像你说的他愿意把他的病例拿出来。李宇欣：因为我们后台也要不断地训练，把我们的（数据）库也更加地壮大，最后能看到很多的成果出来。是吧？李欣：这个还有点区别。我们有一些工作是包含人工智能，就是说识别病灶，是有一部分。但是我们更多地，现在其实还是针对个体化，就是人的个体化空间结构的关系，让医生也好，让患者也好，让家属也好，更好地认知它。李宇欣：其实是融入到这个操作的过程中了，不只是基于数据已有的做成一个呈现。我先识别识别完之后，它其实后面的一系列动作是在整个过程当中，技术的融合。李欣：相当于一种规划，你要做手术规划的时候。李宇欣：现在我知道，维卓致远在MR在手术领域的应用应该是在全球也是很领先的地位。我想知道这一类的技术，我们中国跟全球比，现在处于怎么样地位呢？这个阶段是什么情况？国际上是怎么样，我们是怎么样？李欣：现在无论是对维卓致远也好，还是对中国广大临床医生也好，其实都是一个很难得的历史机遇。就是说，我们现在其实和世界是处在同一个水平上，因为大家知道其实我们西医，西医当然是从西方来的，我们创始新还是要差一点。李宇欣：好多都是舶来的。李欣：对，都是舶来。可能在国外已经使用，或者说经过验证之后，我们可能引进过来，这是我们国内医学层面来讲，大部分的现状是这样的。所以说，有一个新的技术，我们和国外在同一起跑线上，其实这个机会也真的是很难得。但同时，这个可能不论是对维卓致远，还是对临床医生也好，也提出了更多的挑战。因为恰恰是你需要原创了，就是需要我们更多地开发自己的脑筋，去扩展它的应用，你没有可以参照的东西了，所以说对大家的要求会更高一些。▼新应用的创新推广面临的困难李宇欣：这么多年来，我们（维卓致远）取得了这么多的成绩，我们一路上遇到最大的困难是什么？李欣：我觉得对一个创新型企业来讲，最大的困难应该还是说，大家对它的认知。不光是对维卓致远的认知，而是对这项技术的认知。因为一个新的事物，它的推广来讲，它可能要跟传统的东西进行对比。我们打个比方来讲，比如说，我们智能手机推出的时候，大家可能一开始最多的，是拿智能手机的续航时间来跟键盘手机来进行对比，键盘手机好的标准就是你续航时间长，三天可能都不算多，最多一个星期才算好，这是智能手机绝对不能达到的。所以说在刚开始推出智能手机的时候，其实是有相当大的阻力，但是慢慢地，它的功能被开发出来了，它能干这个、能干那个，所以现在我相信已经没有人去买键盘手机了。所以我想MR也是一样的，它刚推出来的时候，比如说这个HoloLens眼镜可能很多人提出来，它比较重也好，或者是时间也不是说（很长），包括它那个角度太小了，看那个模型只能看一部分也好，但是我觉得这是一个起步，它不是终点，它只是起点，它在后来的话，它应该是有很大的发展空间。李宇欣：其实刚刚李总聊到这个问题，也是我们很多比较靠前沿的技术类公司遇到的一个普遍性的问题。也是《AI时刻》这档节目当时设立的初衷，就是很多我们意识到的黑科技也好，新型应用也好，还有可能未来颠覆到很多大众场景的一些体验也好，其实技术层面都已经到达了，但是也许是一些应用，包括应用的人没有准备好，包括场景，其他的搭建，未来的到来需要同行来共同推进出来一个局面，这个局面的形成，可能需要大家做很多的努力。李宇欣：我觉得在今天的“对话AI”环节，我们其实是聊明白了一些，我们目前MR技术在手术应用领域，我们至少在国际上是有一个赶超和带领的机会的，在现在的应用来说，我们现在正好处于一个可以带动行业联动一起来发展这样大的历史机遇上，所以我们对于未来还是非常值得期待。聊到现在我想我们也该进入到下一个环节《AI时刻》的“对话未来”。▼MR技术如何颠覆未来医疗？李宇欣：对话人工智能，点启无限未来！现在是《AI时刻》。我们刚刚跟李总聊到了很多我们现在应用在手术端的MR技术，和现在我们给手术环节也好，医疗包括教学环节提供的诸多的便利和场景，所以现在我们转到“AI未来”环节的时候，可以稍微的畅想一下，我想第一个问题是，我们现在的MR技术这样发展下去，在未来有没有可能在医疗环节中产生某些颠覆？李欣：其实现在很多医生接触到MR技术之后，他已经认为是一种颠覆了。就是说我们可以想象一下，我们在就诊的过程中，从现在常见的CT或者核磁二维的胶片，到一个现在非常接近你的真实人体结构的一个全息的模型，无论是对医生来讲，还是对医患来讲，就是对患者和家属来讲，我觉得它都是一种颠覆了。它帮助大家，就像我刚才讲的，更好地理解空间的三维结构关系，但是我们的MR绝对不是仅仅如此。包括去跟临床医生接触的时候，虽然现在我们的技术可以让大家在手术过程中有一个全息的模型可以去参考了，但是大家可能更希望得到的是，我能在全息的模型中能够导航，就像我们刚刚说的，能够很精准地指示我手术的器械到底穿过了哪层解剖结构，到底距离我的病灶还有多远，就是说这个导航技术，其实可能是...李宇欣：也就是用在手术操作过程中的技术。李欣：对，这个导航技术可能是广大的临床医生，更希望能够得到的，实际上这方面的工作我们也一直在做，我们和301神经外科的科研团队，也做了全球首例神经外科的导航，但是这个目前来讲，应该还算是我们的研发阶段，但是我想应该是在不久的未来，它可能是在临床上会广泛推广应用的。即便如此我们的MR还是可以往前走得更深的，就像刚才我最开始跟你讲的，我们从机器人反推到导航，又推到手术计划，最后推到可视化的数据，实际上我们现在正过来走，我们现在从可视化的数据，到手术规划，再推到机器人，再推到导航，最后还是要推到机器人，是这样一条路径的。李宇欣：说说机器人，以我们现在的发展路径，后面的机器人参与到（医疗手术）过程中？李欣：它也是混合现实导航的机器人，所谓混合现实导航是什么意思呢？就说我们现在的机器人，还是一个主从式的机器人，就是我刚才跟你说了，不是说机器人它什么都干，它还需要人来控制它。然后我们通过混合现实的技术，把一些结构上的关系，让医生认识得更清楚，让机器人操作的时候更准确，最后肯定混合现实技术，也要用于机器人上，李宇欣：理解，其实还是人在操作。但是我们可以通过混合现实的结合，来操作告诉机器人，它该怎么做，给它一个路径指引，让机器人来做这个手术，或者是其他类型的操作。李欣：是这样的。李宇欣：咱们不说应用级，从研发级，以我们目前做的事来说，应该差不多已经可以在冲着那个方向能够得着了，目前的技术如果在实验室里执行的话？李欣：有一些已经够着了。李宇欣：但还要基于一些操作级的研发技术，除了我们公司自己做的以外。李欣：不论是跟导航结合，还是跟机器人结合，就不单纯是技术上你得通关。包括一些手术机械的改造，它还有很多其他的，你每一个专科，每个器械都不一样，可能需要逐一地去克服，所以说这个过程我觉得肯定不是说一下子就能（达成）。李宇欣：就像咱们HoloLens眼镜一样，现在很多公司都也想做，实际上还是有一定距离的。这也倒回来说，我刚刚问到李总，现在我们遇到最大的瓶颈困难是什么，困难是本身意识的普及，其实我们自己，哪怕一家公司的技术到达了某一个端口也没有用，这个行业的整个联动性，大家整体的意识，包括机械商、医院端、医生等等，大家都大概在一个水平线才能出来。李欣：对，是这样的。李宇欣：所以刚刚说的这个，也是我们要聊的下一个环节，MR技术在医疗方面未来可能的发展空间。我们刚刚聊到的是，导航技术在现在我们手术操作当中的应用，还有其他的吗？李欣：机器人，导航机器人。李宇欣：是人通过混合现实去指导机器人来做操作。李欣：因为是这样的，医学它是一个专科性非常强的专业，其实就说，比如说，我们现在可能是我跟神经外科做了导航，那我跟骨科也可以做，我跟泌外也可以做，实际上相当于往下分支。你还有很多事情可以做，机器人也一样。比如说，我跟骨科现在做骨科的机器人，我可能还跟其他的专科去结合做其他科的机器人，就说我们要做的事情其实是很多的。李宇欣：说到这，我们维卓致远未来关于这个行业，就是我们企业有什么样的布局？后面未来的规划？李欣：企业的布局应该是从两方面谈。一方面是从我们的技术产品。那一方面就是我刚才可能已经介绍了，不光是现在可视化手术计划，可能未来的导航，未来的机器人，这是我们从产品技术路线。另外一方面，从医学人员这个方面，我们要做到专科化，就像我说的，我要跟骨科专家相结合，我要跟泌外专家相结合，我要跟神外专家相结合，一个学科、一个学科地沉淀下去。李宇欣：其实后面到最后，如果都有结合的话，我们是搭建了整的一个体系。李欣：这个工程很庞大。李宇欣：这个工程想一想，好像后半生可以做好久。我们刚刚也聊了这么多，我们聊到从技术的前端呈现也好，还是关于未来的想象也好，包括颠覆我们口中讲的这些，颠覆到底是什么？我觉得不是一刹那完成，是我们一点一点积累的。包括刚才我们想象的如果每个科都能植入进去的话，那将来是怎么样一个场景，其实也就回到了我们第一个问题，实际上它就完全改变了，改变了我们对于目前，不管是手术，还是教学，还是我们现在所有的应用也好，所有的场景都改变了，那个时候我想真正是一个颠覆，也许再过几年，大家就会忘记，我们现在是怎么学的过程，我们直接就知道，这个东西在那里。李欣：可能你就很习惯地用MR来学习了，有点类似于我们的智能手机一样，在智能手机刚刚推出的时候，大家都认为这个东西，居然一天待机时间都不够，手机能用吗，很多质疑，但是到今天的时候，不会再有人去买那种手机，全都被智能手机替代了，大家已经很习惯地接受了它。李宇欣：对，而且我们也不知道到底是先有了一个集成式的智能机，才有了后面那些屏幕的进步，后端的进步，有了那么多APP，那之前是不可想象的。只有一个智能机，是加载了很多的功能，将来也许各种东西是基于眼镜的，还是基于其他的前端的，不重要。重要的是，我们已经习惯是用一个场景化的呈现、空间的呈现来指导我们完成很多的指令了，那个是一个很有意思的想象空间。我想我们到现在这个时间，在“AI未来”这个环节聊得比较充分了，所以我想，我们也可以进入下一个环节《AI时刻》的“热点关注”。▼MR技术的未来发展空间李宇欣：对话人工智能，点启无限未来！现在是《AI时刻》，欢迎观众朋友们关注《AI时刻》官方微博参与节目的互动讨论，更有机会获得《AI时刻》送出的惊喜礼物。现在我们来关注一条新闻，是有关刚刚我们聊到的维卓致远这家公司的。2018年5月31日，解放军总医院神经外科余新光、陈凌教授团队完成了一台将混合现实，也就是刚刚我们提到的MR技术，多模态手术导航系统应用于神经外科术前定位的脑膜瘤切除术。据文献和网络检索，这项技术应该是国际首例解放军总医院神经外科团队于术前将患者的MRI、CT等二维影像资料进行了高清重建，构建了患者个体化的全息三维多模态解剖影像，混合叠加到患者头部及现实手术环境，实现了数字化的匹配，并同时应用德国博医来（Brainlab）导航系统进行了同步对照，验证结果显示，混合现实多模态导航系统与德国博医来的导航系统匹配达到100%。李总，前面我们提到的这个导航系统，应用在解放军总医院的这一条新闻，我看到了现在，我们是把混合现实的导航，跟平面导航，也就是博医来的这个技术，进行了匹配，现在是100%的匹配成功，所以我现在想问，医院不都是在用博医来的平面导航了吗？将来我们混合现实是有很大的空间吗？用在这个导航里面。李欣：是这样的，现在大家常用的导航基本上还都是平面导航，平面导航它存在一个问题，你从某一个面来看，它可能已经是准对了，但是你稍微旋转一下，实际上发现对准还是有问题的，你还是要不停地调整。但如果你是一个立体的导航空间三维的导航，比如说我这两个手指头让它对起来，还是很容易对到一起，所以说从这个角度来看，混合现实导航应该是更贴近于它的实际应用。所以说它在未来的前景肯定是非常广泛的。李宇欣：按这个道理来说，其实不是对比两个是不是百分之百匹配的一个点，按说我们不光是百分之百匹配，我们还会超越它吧。这个对比本来就有点不公平，好像比它看得全。李欣：因为我们这个东西是一个新生的事物，你必须要...李宇欣：对，有验证。李欣：有一个参照物，你跟这个参照物进行对比，证明你这个东西是可用的，可行的。否则的话，再好，对不准，你也不敢用。刚才你也说了，我们还是一个在研阶段，它肯定是需要和现在传统的，既有的东西，进行一个对比的。这次成功对我们来讲，也是一种激励，起码从技术路线上来讲，我们是走通了。下一步可以继续走得更远、更深。李宇欣：尤其是余教授、陈教授实际操作的两位教授。在用这个产品的时候是不是也很兴奋？李欣：是的，我们的临床医生其实很难得，能够和世界顶级水平在同一起跑线上，所以这也是为什么我们能成为全球首例的混合现实神经导航的一个案例报道。其实原因也在于此。李宇欣：说了这么多，包括我们现在在研的项目，和现在初步应用到一些医疗科室，一些细分的场景以外，我们聊聊到现在，维卓致远作为一家公司高新技术的公司，也是全球领先的用MR技术用在医疗手术的这样一家企业，现在我们的商业闭环做得怎么样？就是我们现在的营收模式主要通过技术输出？授权？还是设备的销售？是怎么样一个模式呢？李欣：现在目前这个阶段应该主要还是以设备的形式进行售出，但同时的话，我们希望这项技术能够有更多的人能够接触到，我们也在打造一个云平台，也希望能够To C，能够有个人的消费者，能够通过我们的平台去分享更多专家教授的案例。这个刚起步，因为这个，我们也是上个月5月25号刚刚成立的医学混合现实云平台。后续工作还有很多要做，但这是一种发展模式。李宇欣：我们说设备销售出去之后，医院是买单方，它买了设备之后，原则上每一个医生他也是一个C端，按道理来说先不说付费这件事，他也是这个过程当中的体验者。李欣：对。李宇欣：再回来说到云平台，真正的C端用户来体验现在的某一个行业领域的话，我觉得一定要基于刚刚提到的平板电脑、手机端的应用也好，它才会高频（使用），否则这个也挺贵的，C端用户也没有办法付费买这个产品。李欣：最开始可能会要求一定的经济实力，因为这些人他应该是最感兴趣的，但是后面为了普及的话肯定是要（平价一些）。李宇欣：因为C端的用户，我现在想不到怎么能做到高频，就是我可能对某一个东西感兴趣，我看一看，但是我买一个回去，我还再看点别的吗？李欣：它是这样的。其实我们很多功能，目前可能会放到云端，比如说一个临床医生，他如果自己有一个眼镜的话，他都可以把他自己的病例通过云端进行处理，自己观看。李宇欣：所以我说，医生作为一个C端，好像是特别好的一个需求端。李欣：然后是学生，医学生。李宇欣：一个宿舍买一个，你看完我看。李欣：作为学校来讲，其实它可以建一些混合现实的实验室，就是按班级来，可能一个实验室，一个班有几个眼镜，就像图书馆一样，定点开放，咱俩可以去体验，或者说我就安排这节课，大家来体验。李宇欣：但是真实性的教学它可以通过云平台把一个一个按体系输出，放到一个平台上，大家可以选择性观看。但很多我们基于已经有的医疗的真实的手术出来的数据，出来的这个东西能放在云上吗？安全性上是不可以的吧，那大家就都可以看了。李欣：这个我觉得，安全性上主要取决于...李宇欣：医院本身是否开放。李欣：对，他们自己的态度。因为很多医院它其实是很多大学的附属医院，其实它本身就是担负着有教学的任务，但是我的所谓的云平台，就不一定放公网上。它可以按照医科大学的模式，建立它自己的私有云，只有我体系内的人，我的学生也好，我的医生也好，来分享我的病例库，可能其他的外网人员，我对你是关闭的状态。这其实是一种搭建的模式，我觉得安全性的问题，肯定是可以解决的，但就是看决策者他是怎么认知这个状况的。李宇欣：我觉得聊到现在，这个环节，我们基于现在、未来，包括我们在教学和刚刚提到兴奋的导航的案例，和云平台即将To C的推出，都是让大家非常值得期待的点。我们今天聊的相当的充分，我们也看到了另外一个世界，MR在手术端的应用。今天我们就再次感谢李欣博士的到来很高兴来到《AI时刻》！我们也非常感谢观众朋友们关注《AI时刻》的官方微博和公众号AI时刻高端对话，感谢您收看本期的《AI时刻》，我们下期再见！

7月5日，新芽Newseed(id:pelink)上海铱硙医疗科技有限公司（简称：铱硙医疗）宣布完成数千万元A轮融资，创业板上市公司北京北陆药业股份有限公司（简称：北陆药业）为本轮独家投资方。至此，铱硙医疗两年完成了三轮融资。铱硙医疗成立于2017年，核心产品脑医生（Dr.Brain）是专注在中枢神经系统疾病的一站式人工智能诊断及分析平台，基于公司自行搭建的国内首个全年龄段中国人群全脑结构影像数据库，利用云计算和深度学习等核心技术，精准评估全脑结构变化并对中枢神经系统疾病进行诊断。目前，脑医生云平台已开发上线了针对阿尔兹海默症、帕金森症、脑卒中、脑出血、脑肿瘤等多种中枢神经系统疾病的产品矩阵，未来还将继续加强技术和产品研发力度，拓宽加深技术护城河，开拓更多的研发管线，覆盖更多的中枢神经系统疾病。本轮投资方北陆药业副董事长、总经理王旭表示：“人工智能医疗是未来的发展方向，是非常好的赛道，尤其在影像和诊断领域人工智能有非常好的临床应用场景。公司看好医疗AI的前景，特别是医学影像领域。北陆药业的核心业务围绕医学影像及中枢神经系统等领域展开，而脑医生的应用场景正是聚焦在这两大领域，致力用全球最先进的影像数据分析技术和人工智能算法提供精准的全脑结构分析和脑部疾病的诊断方案，这与北陆药业现有业务具有强大的协同效应。此次投资铱硙医疗是出于公司未来的战略布局统筹考虑的结果。”聚焦中枢神经系统疾病，领跑神经影像诊断变革铱硙医疗是国内极少的聚焦在中枢神经系统疾病的人工智能医疗公司。中枢神经系统是人体功能最为高级、信息最为复杂的器官，也是各类医学影像技术最先和最多应用之处，神经系统疾病影像数据也具有更高的维度。并且，中枢神经系统疾病临床诊断的目的极为复杂，疾病类型（包括精神疾病）最为繁多，病理机制极为复杂，诸多疾病诊断分类标准更新频繁且变动大；临床诊断特异需求高，技术壁垒高，入门门槛异常地高。中枢神经系统疾病，特别是脑卒中等脑血管疾病以及阿尔兹海默症、帕金森症等神经退行性疾病已占国民死亡原因构成的65%以上。从2005年以来至2016年，阿尔兹海默症的死亡人数大幅增加57.8%，占总死亡人数4.9%，在全国死亡排名榜从2005年的第八位上升至2016年的第五位；而脑血管疾病在这两项统计里的排名位置一直高踞第一位，由脑血管疾病引致的伤残寿命年损失更录得61.1%的升幅[注1]。随着人口老龄化的加剧不断加重，给社会造成巨大的负担。相较于癌症，人们对中枢神经系统疾病的防治以及治疗仍有很大的提升空间。图：2005 年和2016 年中国死因死亡顺位铱硙医疗2017年由神经影像学科学家王思伦博士和金融背景的林照寒先生联合创立。王思伦博士从事神经医学研究近20年，历任美国约翰霍普金斯大学医学院博士后及艾默瑞大学高级研究员，发表医学影像学SCI论文超过30篇。经过两年多的积累，脑医生自主搭建的中国人脑标准影像数据库不仅是国内数据量级最大同时也是数据标准化质量最高的数据库，其为开发中枢神经系统疾病各类AI算法奠定了坚实的基础。图：基于中国人群影像数据建立的脑结构影像模板，涵盖0-90岁各年龄层脑医生组建了一支优秀的人工智能算法及产品开发团队，采用国际顶尖的算法技术，实现国内准确率最高的AI辅助诊断方案；整个计算过程不超过15分钟，即可实现复杂的全脑结构分割和指标计算，脑医生AI对阿尔兹海默症的临床诊断准确率已做到行业最高水平，对临床辅助诊断具有很高的可靠性。图：脑医生AI与传统诊断手段在AD诊断窗口的对比人工智能医疗商业模式破局，搭建“诊、疗、养、险一体化平台”服务闭环脑医生联合创始人王思伦博士不仅有着丰富的科研经验，还曾任一线医生多年，其丰富的临床背景使得铱硙医疗团队对临床需求高度敏感。在脑医生产品设计中，除了贴合医疗机构、医生使用的需求外，始终关注患者的需求，致力让患者轻松完成对脑部疾病的超早期筛查和风险评估。“脑医生系统结合了人工智能算法及中国人群特异性影像大数据，真正实现精准医学在中枢神经系统疾病的临床应用。”王思伦博士表示。脑医生云平台已在全国近百家知名三甲医院落地外，为医疗机构提供一站式AI辅助诊断工具和分析平台，显著提高临床诊断的精度和效率；同时联手全球知名科研机构和院校，共同开发了针对认知疾病预防和康复的线上训练平台，致力打造诊疗养商业闭环。此外，脑医生还与国内体检机构、独立影像中心及康养地产的龙头企业达成战略合作，围绕脑医生的早期干预和精确客观的属性推出体检产品和疾病筛查服务；并开拓性地联手保险机构推出国内首个利用人工智能诊断技术作为理赔标准的“认知恶化保障服务产品”，打破认知障碍无专项商业保险保障的困局。对于本次融资，铱硙医疗联合创始人/CEO王思伦博士表示：“展望未来，我们将继续深耕人工智能医学影像及中枢神经系统细分领域，与像北陆药业、海尔资本这样的战略型投资机构形成在医学影像领域的战略联动，加速产品注册进程，完善在神经退行性疾病、脑血管疾病、脑肿瘤等产品线的布局，加快产品在B端及C端的全面变现。”铱硙医疗分别于2017年接受道彤投资领投、艾瑞资本及上海圣习跟投的天使轮投资，2018年接受海尔资本旗下海域同辉基金数千万的Pre-A轮投资。道彤投资是国内少有的重点且持续布局医疗AI的投资机构，除脑医生外，还投资了兰丁医学、深睿医疗，均已成长为行业龙头公司。连中三元，道彤投资对医疗AI产业有着非常深入的理解。道彤投资创始管理合伙人孙琦认为“过去三年，是医疗AI快速成长的三年。今年是医疗AI从科研全面走向临床验证的时候，是大规模变现的开始。医疗AI是个很长的赛道，道彤持续看好并将继续下注。”海尔资本CEO蔡政元先生表示：“海尔资本一直认为医疗领域存在巨大应用价值和市场需求。脑医生在脑医学影像细分领域中具备领先优势，且能在医疗场景有效商业化。海尔的医疗生态服务领域的资源将助力脑医生为用户创造健康家庭与美好生活。海尔资本很高兴看到北陆药业对铱硙医疗在脑医学影像细分领域进展的肯定。海尔资本将和新老股东一起继续支持脑医生的后续发展。”未来，脑医生将全面加快与医院、独立影像中心、体检机构、康养地产、保险机构及政府机构的业务合作，继续推进商业变现的进程。并与北陆药业、海尔集团、一脉阳光、平安保险等行业龙头企业推进战略合作项目，加速业务转化，扩大脑医生在全国范围内商业网点的布局；同时，铱硙医疗也会全方位加入北陆药业的协同项目，参与下阶段的战略新药研发，为中枢神经系统疾病的诊治防贡献新的力量。

当年，她是增辉家乡的学霸；如今，她是回馈乡亲的博士。2020年12月29日上午，新安县人民医院举行热烈欢迎郑州大学第一附属医院梁丽丹博士到该院进行驻扎式帮扶座谈会。影像学博士回娘家医疗帮扶，被人们传为佳话。梁丽丹博士系新安县正村乡人，曾就读于新安县第一高级中学，是新安人的骄傲。2014年毕业于天津医科大学的她，七年制医学影像学专业，后就读于郑州大学，获得医学影像学博士学位。在新安县人民医院紧密型医共体远程会诊中心，通过在线视频连线的方式，医院党委书记、院长柳杨向该院荣誉院长、郑州大学第一附属医院神经外科主任刘献志表示感谢，感谢他们对新安县人民医院持续不断的帮助，并向刘献志介绍了县域紧密型医共体影像中心的发展情况，希望通过此次梁丽丹博士的帮扶工作使县域紧密型医共体影像中心诊断能力在原有的基础上有大幅度的提升。刘献志表示，此次影像学帮扶工作，是医学诊断智能化的向导，只有影像学的快速发展，医院的医疗水平才能得到很大的提高，希望梁丽丹博士此次到新安县人民医院在短期内能够快速把影像诊断智能化与郑州大学第一附属医院结合起来，实现软件质量运行标准化，诊断水平同质化，把影像水平和临床相结合，使诊疗水平提升到一个新高度，实现持续性、常态化的良性循环发展。自2020年初，郑州大学第一附属医院与新安县人民医院建立对口帮扶关系以来，定期选派业务专家来新安县人民医院，通过示教手术、业务查房、病例讨论、门诊坐诊等方式，对新安县人民医院的医疗服务工作进行全方位的帮扶指导。一年来，在各位专家的倾力相助下，新安县人民医院医护人员的理论素养和业务水平有了一定的提升，医院管理的思路和理念也有了进一步的拓展，有力推动了新安县人民医院业务工作的稳步发展。柳杨说，为深入进一步提高县域紧密型医共体影像中心诊疗水平，指导科室发展工作，新安县人民医院特邀影像学博士梁丽丹来该院县域紧密型医共体影像中心，开展为期半年的对口业务帮扶工作。对接科室要虚心向专家学习，希望通过多学科的影像会诊，通过梁博士的引领带动，使新安县人民医院影像工作迈向一个新台阶，提升县域紧密型医共体影像中心诊断能力，实现同质化管理，节约医保资金，惠及新安百姓。（医药卫生报记者刘永胜 通讯员游新苗）

医学专业中，大家公认的实力强好就业的是临床医学，因为临床医学学习的内容包罗万象，是一个综合性的医学门类，当然学习难度也是最大的，该专业要想在大一点的城市就业，没有博士学位就很难，而临床医学细分专业中，有医学影像、麻醉、眼视光、精神医学、反射医学等专业，作为这里面的细分专业，医学影像专业就业到底如何？报考哪些院校好呢？在各大医院里，临床医学专业毕业生从事的工作，主要是门诊和住院医生。医学影像学专业毕业生从事的工作，主要是放射、CT、B超彩超、DSA、磁共振、介入等科室工作，在医院内部经常被称辅助科室。医学类专业的内部壁垒很强，一般来说，医学影像学专业毕业生，不能转到临床科室去工作。该专业与临床相比，有四个不同：医学影像专业录取分数比临床低在各大医学院当中，临床医学录分最高，口腔其次，然后是临床医学类中的其他专业。想要学习医学的考生，在志愿填报时，通常都会把临床医学专业放在医学影像学的前面，所以大部分考生录不上临床才去学医学影像学专业，自然就坐实了医学影像学专业考取难度不如临床医学专业的事实。医学影像专业学习难度远没有临床医学大医学影像学专业的学习内容，并不能说比临床医学专业少。医学影像学学习的内容与临床医学相比，难度会略小一些。主要是临床医学专业的手术操作比较多。剖开肚皮、敲开脑壳等手术操作 ，当然要比操作仪器设备简单一些。所以在学习的难度方面，医学影像学肯定会比临床医学小一些。医学影像专业工作压力比临床小医学影像专业在医院的工作岗位主要是作为辅助性质的科室。所以医学影像学专业毕业生不用对患者的诊断、治疗直接负责。当然医患矛盾也很少能牵扯到辅助科室。从这一点来看，医学影像学专业毕业生就业后，面对的压力要小于临床医学。医学影像专业发展前景不如临床医学治病救人表现面都是临床医生的功劳，很少有人去感谢给患者拍片的医生。虽然在实际上，大多数的正确诊断结果，都不开影像科室的辅助支持。这也让医学影像学专业毕业生的发展前景不如临床医学专业毕业生。考取医学影像专业如何选择高校？开设医学影像专业的高校较多，在选择的时候，当然是地理位置和学校知名度更重要，比如该专业排在前面的前三强高校分别是南方医科大学、华科同济医学院、中国医科大学等三所高校，前10中排在第8的二本川北医学院比较亮眼，当然选择该专业还是要依据自己未来就业地点来确定，毕竟医学专业目前更认可区域类的医学院校。打个简单的比方，比如要在西安工作，肯定首选全国知名的医科大学，如果分数不够，最好选择本地的医学院校，录分更低，就业认可度会更高，也就是说分数高，当然选第四军医大学、西安交大医学院，如果不够这些名校的分数，可以报考西安医学院等二本院校，将来在本地就业期起码有很多校友可以给自己一些帮助。总之，医学影像专业在医院的地位没有临床医生高，这是其工作性质决定的。因为病人认为诊断远远没有治疗重要，所以学习影像学要耐得住寂寞。当然随着影像向着精准的方向发展，希望可以媲美病理诊断，现在磁共振可以部分做出媲美病理的诊断，但是路还很长。目前来看，医学影像学专业毕业生的就业还不错。与其他专业相比，医学影像学专业在就业方面还是有一定的优势。辅助科室的医生，也还是医生，是相对高收入的职业群体。大家对医学影像专业怎么看？