医学影像研究与医学应用

“人工智能+医学影像”，是将目前最先进的人工智能技术应用于医学影像诊断中，帮助医生诊断患者病情的人工智能具体应用场景。借着疫情因素的影响与推动，目前这种应用在医疗领域已经非常广泛。人工智能+医学影像率先落地应用，为什么？人工智能+医学影像得以在众多医疗产业服务中率先爆发与落地应用，主要有两个原因：一是影像的获取较为方便。随着科技的不断进步，医学影像采集愈加便利和精准，相比动辄数年的传统数据积累方式，照一张医学影像仅需要几秒的时间，就可以反映出病人身体的大致状况，成为医生诊断患者病情的直接依据。二是对影像的处理的技术相对成熟。随着行业影像数据的不断积累以及大数据、算法分析能力的不断提高，智能图像识别算法能够迅速将当前影像与数据库中影像对比分析，给出相当精准的结论。尚医云·AI小济医生界面截屏具体而言，医学影像的诊断的两大核心技术在于图像识别和深度学习。这两项技术，目前都是处于可应用、较为成熟的阶段了。其工作流程大体是这样的：首先将非结构化影像数据进行识别、分析与处理，提取相关信息；其次，将大量临床影像数据和诊断经验输入人工智能模型，使神经元网络进行深度学习训练；最后，基于不断验证、总结与迭代的算法模型，进行影像诊断智能推理，输出个性化的诊疗判断结果。那么人工智能+医学影像具体都应用在哪些方面呢？（网络图片如有侵权立即删除，敬请通知人工智能+医学影像的3个应用场景目前，人工智能+医学影像主要是用来解决以下三种影像诊断需求：01 病灶识别与标注。对X线、CT、MRI等影像进行图像分割、特征提取、定量分析和对比分析，对数据进行识别与标注。同时，AI对影像的分析、计算能力要比医生强很多，因此可以帮助医生发现肉眼难以识别的病灶，降低假阴性诊断发生率，同时提高读片效率，对一些经验相对不足的医生也能起到辅助诊断的作用；02 靶区自动勾画与自适应放疗。主要针对肿瘤放疗环节进行自动勾画等影像处理，在患者放疗过程中不断识别病灶位置变化，以实现自适应放疗，减少对健康组织的辐射；03 影像三维重建基于灰度统计量的配准算法和基于特征点的配准算法，解决断层图像配准问题，节约配准时间，在病灶定位、病灶范围、良恶性鉴别、手术方案设计等方面发挥作用。（网络图片如有侵权立即删除，敬请通知除此应用之外，人工智能+医学影像的组合，还有3大核心价值，能够解决目前较为棘手的几大问题。人工智能+医学影像的4大核心价值由于自带极强的影像识别和计算能力、持续进化的自我学习能力以及稳定的性能优势，在临床上，可以给医院、医生提供很重要的支撑，具体体现在3个方面：01 承担分类检出工作。人工智能+医学影像能够以稳定的高敏感性对较大数据样本量进行阳性病例筛查与分类检出，例如尚医云推出的小济医生，就是在年度的乳腺癌筛查中，有效辨别乳腺结节，增生，和肿瘤，如在体检中的肺结节筛查环节，通过B超探头收集乳腺影像资料，对采集的数据进行基础判断，并对阴影部分进行标识与处理，如果发现疑似案例再交由放射科医师进一步诊断，这样省去大量健康的阴性病例对医疗资源的占用和浪费；02 替代医生工作。在判断标准相对明确，知识构成相对简单的情况下，人工智能乳腺癌筛查可代替超声医生大部分工作，剔除绝大部分的健康人群，医生仅对有问题的病例进行重点关注； 03 提供具有附加值的工作。包括辅助疾病诊断、基因分析、预后判断、定量放射学诊断等。例如在对肿瘤的诊断中，对肿瘤边界进行分割重建，精准测量病变位置与体积，进行疾病综合诊断等。04缓解看病难的问题。对于三甲医院来说，影像数据充足且质量较好，人工智能+医学影像的引入可以从根本上改变传统高度依赖劳动力的读片模式，在一定程度上缓解医学影像诊断的压力，同时亦可满足三甲医院的科研需求。 对于基层医院来说，相比于三甲医院，其医疗水平相对落后，人员综合素质上相对会差一些，其对复杂影像的处理能力、判断能力更为薄弱，因此误诊漏诊率更高。而基层医疗机构，又承担着大量的两癌筛查的工作任务，人工智能通过把影像诊断结果进行前期的分析和处理，可以极大的提高筛查数量，降低误诊漏诊率，进而提高综合医疗水平。大医院的接诊压力减轻，小医院的医疗水平提升，整体看病效率提高，看病难的问题，就能得到有效缓解。从临床需求来看，我国医疗影像数据以每年30%的速度增长，而影像医生的年增速仅为 4%~6%，其中的原因有很多，比如专业医师缺口大、工作繁琐重复比较累、放射工作对身体健康的影响、服务管理模式固化等等。 想要解决人才问题，人工智能+医学影像的应用模式是现阶段的最佳解决方案。助医者 济苍生We serve those who heal the world

不到现场，照样看最干货的学术报告！嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。2018年9月22-23日，“2018中国医学人工智能大会暨第一届人工智能雁栖高端论坛”在中国科学院大学雁栖湖校区举行。本次大会由中国人工智能学会、中国图像图形学会、中科院计算所、中国科学院大学共同主办，关注人工智能领域的最新进展以及面临的挑战，重点讨论了人工智能在医学方面的前沿研究和产业化热点。此次会议极具产学研融合的特点，30多位来自信息科学（含计算机与电子工程等学科）、数学与医学等领域的专家学者与临床医生和产业界代表齐聚一堂，围绕人工智能+医疗、医学图像分析、机器学习等热点领域开展了历时两天的深入交流与探讨。读芯术作为合作媒体，经过授权，对其中部分专家报告进行内容整理。海军军医大学刘士远以《中国医学影像AI应用实践与思考》为主题进行报告，以下为相关内容。刘士远老师的PPT原文内容请后台回复“学术报告”，查阅文件夹“20180922 中国医学人工智能大会”。中国医学影像AI应用实践与思考刘士远 海军军医大学刘士远教授首先指出，数据丰富以及医生资源短缺等现状是医学影像有望成为较快落地的医学人工智能领域。接下来，介绍了人工智能（以下简称AI）在医学影像中的主要应用，如疾病检出、多维定量、精准诊断、治疗评估等，可在很大程度上配合医生的工作，提高工作效率。同时，提出在进行AI应用过程中，对病人数据隐私的保护十分重要，并提出了多项数据安全性保护的有效措施。然后报告围绕肺结节影像AI检测应用场景示例进行了介绍，包括肺结节标准库构建规则和过程，肺结节影像学分类和定义，肺结节标记规则和方法，具体实施步骤，标准库基本特征等方面。随后，指出了医学影像AI产品现状以及研发阶段存在的核心问题，如现有产品基本是基于单病种图像标注形成的模型，尚没有符合临床使用场景的产品，产品性能自报与实际检测数据不符，鲁棒性有待提高，产品集中于少数几个病种，难以覆盖全部医学影像问题等。最后，呼吁在医学影像AI产品研发领域，医生应该主动参与进来，作为医学AI产品的引领者、质控和标准的制定者和执行者，以促进医学AI产品的健康发展。留言 点赞 发个朋友圈我们一起分享AI学习与发展的干货

深度学习在医学影像中的研究进展及发展趋势王丽会1,2, 秦永彬1,21 贵州省智能医学影像分析与精准诊断重点实验室，贵州 贵阳 5500252 贵州大学计算机科学与技术学院，贵州 贵阳 550025摘要：医学影像是临床诊断的重要辅助工具，医学影像数据占临床数据的90%，因此，充分挖掘医学影像信息将对临床智能诊断、智能决策以及预后起到重要的作用。随着深度学习的出现，利用深度神经网络分析医学影像已成为目前研究的主流。根据医学影像分析的流程，从医学影像数据的产生、医学影像的预处理，到医学影像的分类预测，充分阐述了深度学习在每一环节的应用研究现状，并根据其面临的问题，对未来的发展趋势进行了展望。关键词：深度学习 ; 医学影像 ; 图像处理 ; 人工智能 ; 卷积神经网络论文引用格式：王丽会,秦永彬. 深度学习在医学影像中的研究进展及发展趋势[J]. 大数据, 2020, 6(6): 83-104.WANG L H, QIN Y B. State of the art and future perspectives of the applications of deep learning in the medical image analysis[J]. Big Data Research, 2020, 6(6): 83-104.1 引言医学成像已成为临床诊断的重要辅助手段，其包括计算机断层扫描（computed tomography，CT）成像、磁共振成像（magnetic resonance imaging，MRI）、正电子发射断层扫描（positron emission tomography，PET）成像、超声（ultrasound， US）成像、X射线（X-ray）成像等。如何借助大数据和人工智能技术，深入挖掘海量的医学图像信息，实现基于影像数据的智能诊断、智能临床决策以及治疗预后，已成为目前的研究热点。深度学习属于机器学习的分支，是目前实现人工智能技术的重要手段。随着深度学习技术在图像处理和计算机视觉领域的广泛应用，利用深度学习技术辅助临床诊断和决策已成为医学图像分析领域的研究重点。医学影像智能诊断的流程可大致分为3个步骤，首先获取大量高质量的图像数据，然后对图像进行预处理，最后挖掘图像信息，进行分析预测。其具体环节如图1所示。其中海量、高质量的图像数据是深度学习训练的基础，图像预处理（如配准、感兴趣区域提取）是后续分析准确度的基本保障，挖掘信息、建立预测模型是临床智能决策的关键。因此，本文将分别围绕这3个方面，阐述深度学习在医学图像处理分析流程中每个环节的主要应用现状，最后总结深度学习在医学影像研究中的发展趋势。图1 医学图像处理分析过程2 医学图像复原、重建与合成2.1 医学图像复原与重建海量、高质量的医学图像数据是利用深度学习技术实现影像精准诊断的基础。然而，由于成像设备和采集时间等因素的限制，在医学成像的过程中不可避免地会受到噪声、伪影等因素的影响。同时，针对某些成像方式，需要在成像分辨率和采集时间上进行折中，例如在CT成像中，为了降低辐射的影响，需要减少投影采集数目；在磁共振成像中，为了减少患者运动或者器官自身运动引起的伪影，需要降低K空间的采样率以减少采集时间，然而低采样率会严重影响图像的重建质量。为了获得高质量的采集图像，经常需要进行图像降噪、图像超分辨率重建、图像去伪影等复原与重建工作。下面将分别阐述深度学习在这几方面的研究现状。2.1.1 医学图像降噪基于深度学习的医学图像降噪主要应用在低剂量CT图像中。卷积降噪自动编码器（convolutional neural networkdenoise auto-encoder，CNN-DAE）是早期用于医学图像降噪的深度学习模型。该模型通过一些堆叠的卷积层，以编码和解码的方式从噪声图像中学习无噪图像，其鲁棒性较差，对噪声类型变化较为敏感。随后，Chen H等人提出RED-CNN降噪模型，将残差网络与卷积自动编码器相结合，通过跳跃连接形成深度网络，实现低剂量CT图像的降噪。同年，Kang E等人首先对低剂量CT图像进行方向小波变换，然后将深度卷积神经网络模型应用于小波系数图像，实现降噪，并使用残差学习架构加快网络训练速度，提高性能。虽然这些网络结构的降噪性能相较于传统方法得到了显著的提升，但是其网络训练均以复原CT图像与相应正常剂量CT图像之间的均方误差最小为优化目标，使得降噪图像存在细节模糊和纹理缺失等问题。为了解决这一问题，研究者提出改进损失函数和模型结构的方法来优化低剂量CT图像的降噪效果。WGAN-VGG模型通过引入感知损失，采用WGAN（Wasserstein generative adversarial network）模型进行降噪，利用Wasserstein距离和感知损失提高降噪图像与真实图像的相似性。基于WGAN-GP（gradient penalty）的SMGAN （structurally-sensitive multi-scale generative adversarial net）模型将多尺度结构损失和L1范数损失结合到目标函数中，并利用相邻切片之间的信息降噪，其结果优于WGAN-VGG模型。但是梯度惩罚的使用削弱了生成式对抗网络（generative adversarial network，GAN）的表示能力。为了解决这个问题，Ma Y J等人提出基于最小二乘生成对抗网络（least-square GAN，LS-GAN）的残差生成器结构，通过引入结构相似度和L1范数损失来提高降噪能力，生成器负责学习噪声，降噪图像为生成器的网络输入与网络输出的相减结果。除了生成模型，为了提高降噪效果，Yin X R等人同时在投影域和图像域采用3D残差网络进行降噪，并利用滤波反投影重建算法，实现投影域和图像域的相互转化，通过迭代的思想实现图像降噪。Wu D F等人提出一致性神经网络模型，实现了无监督的图像降噪方法，其不需要无噪图像标签，仅利用有噪图像对模型进行训练，从而获得降噪图像。可以看出，在利用深度学习进行降噪时，常需要利用有噪图像和无噪图像来训练模型，学习噪声类型，或者学习无噪图像与有噪图像之间的对应关系，进而实现图像降噪。这种方式具有一定的局限性，在临床的某些应用上，很难获得真实的无噪图像。因此，如何采用无监督或者自监督模型，仅利用有噪图像实现医学图像降噪将是未来研究的主要方向。2.1.2 医学图像超分辨率重建高分辨率的医学图像可以提供更多的临床诊断细节，然而由于采集设备的限制，临床上高分辨率图像较难获取。因此，如何利用深度学习技术从一幅或者多幅低分辨率医学图像中获得高分辨率图像成为当前主要研究热点之一。随着深度学习模型在自然图像超分辨率重建中的成功应用，采用深度学习模型进行医学图像超分辨率重建的研究逐渐开展起来。然而，医学图像与自然图像有本质的区别，其超分辨率重建不仅需要在图像切片平面上进行，还需要在切片之间进行，如图2所示。图2 医学图像超分辨率图像示意图（此图部分来自参考[9] ）除了将自然图像中的超分辨率重建模型直接应用到医学图像，Oktay O等人采用深度残差卷积网络从多个2D心脏磁共振（magnetic resonance，MR）图像中重建出3D高分辨率MR图像，提高了层间分辨率。Pham C H等人将SRCNN模型拓展到3D，以实现脑部MR图像的超分辨率重建。McDonagh S等人提出对上下文敏感的残差网络结构，可以得到边界和纹理清晰的高分辨率MR图像。Zheng Y等人提出多个Dense模块和多路分支组合的MR高分辨重建模型，该模型具有较好的重建结果和泛化能力。Zhao X L等人提出通道可分离的脑部MR图像高分辨率重建模型，一个通道采用残差结构，一个通道采用密集连接结构，实现了特征的有效利用，从而提高高分辨率图像的重建质量。Tanno R等人结合3DSubpixelCNN和变分推论实现了磁共振扩散张量图像的超分辨率重建。Peng C等人提出空间感知插值网络（spatially aware interpolation network，SAINT），充分利用不同切面的空间信息提高超分辨率图像的重建质量，该模型在对CT图像进行2倍、4倍和6倍分辨率重建时，均取得了较好的结果。Shi J等人提出一种多尺度全局和局部相结合的残网络（multi-scale global local resial learning，MGLRL）模型，实现了MR图像的超分辨重建，该模型可以增强图像重建细节。Lyu Q等人采用GAN实现了多对比度MR图像的超分辨率重建。与医学图像降噪相似，基于深度学习的超分辨率图像重建需要低分辨率图像样本和高分辨率图像样本对对网络进行训练。通常采用下采样的方式进行高/低分辨率图像样本对的构造。然而针对不同模态的医学成像，其成像原理大不相同，高分辨率和低分辨率之间的对应关系也不尽相同。因此，采用人工下采样的方式获得训练数据，学习低分辨率图像与高分辨率图像的对应关系，很可能与实际采集中低分辨率图像与高分辨率图像的对应关系不相符，进而导致重建的高分辨图像无意义，因此如何构建符合实际的高/低分辨率图像样本对是利用深度学习进行超分辨重建的难点。2.1.3 医学图像重建医学图像重建是指将采集的原始数据重建为临床上可视图像的过程，如CT采集的原始数据为投影图像，MR采集的原始数据为K空间数据，需要重建算法才能获得临床上用于诊断的图像。在实际应用中，由于一些采集条件的限制（如在CT中尽量减少投影数目，缩短采集时间，以降低辐射影响；在MR成像中，减少K空间填充数目，缩短采集时间，以避免患者的不适或者由患者运动带来的图像伪影），需要降低原始数据的采集率。然而，降低原始数据的采集率必然会影响图像的重建质量。因此，研究合适的重建算法，保证在原始数据低采样率下仍能获得高质量的重建图像，成为医学图像重建中的研究重点。目前采用深度学习模型进行医学图像重建的方法主要分为两类：一类是从原始数据直接到图像的重建，另一类是基于后处理的方式提高重建图像的质量。第一类方法的代表模型有：ADMM-Net，其用深度迭代的方式学习传统交替方向乘子（alternating direction method of multipliers，ADMM）优化算法中的超参数，可以直接从欠采样的K空间数据中重构出MR图像；Adler J等人提出对偶学习模型，用其代替CT重建中的滤波反投影方法，实现了投影数据到CT图像的准确重建；Cheng J等人在此基础上提出原始-对偶网络（primal-al network， PD-Net），实现了MR图像的快速重建；Zhang H M等人提出JSR-Net（joint spatial-Radon domain reconstruction net），利用深度卷积神经网络模型，同时重建CT图像及其对应的Radon投影变换图像，得到了比PD-Net更好的重建结果。第二类方法是目前主要的重建方式，即采用图像去伪影的后处理模型进行重建。用于图像降噪、超分辨重建的模型都可以用于该类型的图像重建，如Lee D等人提出带有残差模块的U-Net模型结构来学习重建图像与原始欠采样图像之间的伪影；随后，他们又提出利用双路U-Net模型对相位图像和幅度图像进行重建，进而提高了MR图像的重建质量；Schlemper J等人采用深度级联的卷积神经网络（convolutional neural network，CNN）模型，学习动态MR图像采集的时序关系，进而在快速采集下提高动态MR图像的重建质量；Han Y等人采用域适应微调方法，将CT图像重建的网络应用到MR图像重建上，可以实现高采样率下的准确重建；Eo T等人提出KIKI-Net，同时在K空间和图像空间域上使用深度学习网络进行重建，提高了MR图像重建的性能；Bao L J等人采用一个增强递归残差网络，结合残差块和密集块的连接，用复数图像进行训练，得到了较好的MR图像重建结果；Dai Y X等人基于多尺度空洞卷积设计深度残差卷积网络，以较少的网络参数提高了MR图像的重建精度；受到GAN在视觉领域成功应用的启发，Yang G等人提出一种深度去混叠生成对抗网络（DAGAN），以消除MRI重建过程中的混叠伪影；Quan T M等人提出一种具有周期性损失的RefinGAN模型，以极低的采样率提高了MR图像的重建精度；Mardani M等人基于LS-GAN损失，采用ResNet的生成器和鉴别器来重建MR图像，获得了较好的可视化结果。图像降噪、图像超分辨率重建、图像重建等均属于反问题求解。因此，其模型可互相通用，本文不对其进行一一阐述。2.2 医学图像合成2.2.1 医学图像数据扩展目前，临床上医学图像合成主要有两个目的。其一，扩展数据集，以获得大量医学影像样本来训练深度学习模型，从而提高临床诊断和预测的准确度。尽管已有很多数据扩展方法，如平移、旋转、剪切、加噪声等，但是其数据扩展方式无法满足数据多样性的需求，在提升深度学习模型的预测精度以及泛化能力上仍有待提高。其二，模拟成像。由于不同模态的医学图像可以提供不同的信息，融合不同模态的医学影像信息可以提高临床诊断精度。然而同一个病人的多模态影像信息很难获取，此时图像合成便提供了一种有效的手段。此外，某些新兴的成像技术对成像设备具有较高的要求，仅少数的医院及科研机构可以满足要求，因此图像合成为获取稀缺的影像数据提供了可能。随着GAN模型在自然图像合成上的成功应用，应用GAN的衍生模型进行医学图像合成已成为近几年的研究热点。在医学图像数据集扩展方面，主要采用无条件的GAN模型进行合成，即主要从噪声数据中生成医学图像。常用的方法是以深度卷积生成对抗网络（deep convolutional GAN，DCGAN）为基线模型进行改进。如Kitchen A等人基于DCGAN模型成功地合成了前列腺的病灶图像；Schlegl T等人基于DCGAN提出一种AnoGAN模型，用来生成多样的视网膜图像，以辅助视网膜疾病的检测；Chuquicusma M J M等人采用DCGAN模型生成肺结节数据，其结果可达到临床放射科医生无法辨别的程度；Frid-Adar M等人使用DCGAN生成了3类肝损伤（即囊肿、转移酶、血管瘤）的合成样本，以提高肝病分类的准确性；Bermudez C等人采用DCGAN的原有训练策略，生成了高质量的人脑T1加权MR图像。尽管DCGAN在医学图像合成上取得了众多有价值的成果，但其仅能合成分辨率较低的图像。为了提高医学图像合成的质量，一些改进的GAN模型被提出，如Baur C等人采用LAPGAN，基于拉普拉斯金字塔的思想，利用尺度逐渐变化来生成高分辨率的皮肤病变图像，该方法生成的图像可以有效地提高皮肤疾病分类的准确性。此外，基于渐进生长生成对抗网络（progressive grow GAN，PGGAN）在高分辨率图像合成方面的优势，Korkinof D等人利用PGGAN合成了分辨率为1 280×1 024的乳腺钼靶X光图像。2.2.2 医学图像模态转换医学图像的模态转换合成可以分成两类。一类是单模态的转换，如低剂量CT到普通计量CT图像的转换提出上下文感知生成模型，通过级联3D全卷积网络，利用重建损失、对抗损失、梯度损失，采用配对图像进行训练，实现了MR图像到CT图像的合成，提高了合成CT图像的真实性。除了级联模型，在多模态图像转换任务中，常采用的深度模型网络架构为编码-解码结构，典型代表为Pix2Pix以及CycleGAN模型。如Maspero M等人采用Pix2Pix的网络结构，实现了MR图像到CT图像的转换，进而实现放化疗过程中辐射剂量的计算；Choi H等人基于Pix2Pix模型，从PET图像生成了结构信息更加清晰的脑部MR图像。尽管Pix2Pix模型可以较好地实现多模态图像的转换，但是其要求源图像与目标图像必须空间位置对齐。这种训练数据在临床上是很难获取的。针对源图像和目标图像不匹配的问题，通常采用CycleGAN模型进行图像生成。Wolterink J M等人使用不配对数据，利用CycleGAN从头部MRI图像合成了其对应的CT图像，合成图像更真实。目前，CycleGAN已成为多模态医学图像转换中广泛采用的手段，如心脏MR图像到CT图像的合成、腹部MR图像到CT图像的合成、脑部C T图像到M R图像的合成等。然而CycleGAN有时无法保留图像的结构边界。Hiasa Y等人引入梯度一致性损失，对CycleGAN模型进行了改进，该损失通过评估原始图像与合成图像之间每个像素梯度的一致性来保留合成图像的结构边界，进而提高了合成图像的质量。3 医学图像配准与分割在很多医学图像分析任务中，获得高质量的图像数据后，经常需要对图像进行配准，并对感兴趣区域进行分割，之后才能进行图像分析和识别。本节分别对深度学习在医学图像配准以及分割领域的应用进行详细的阐述。3.1 医学图像配准图像配准是对不同时刻、不同机器采集的图像进行空间位置匹配的过程，是医学图像处理领域非常重要的预处理步骤之一，在多模态图像融合分析、图谱建立、手术指导、肿瘤区域生长检测以及治疗疗效评价中有广泛的应用。目前，深度学习在医学图像配准领域的研究可以分成3类，第一类是采用深度迭代的方法进行配准，第二类是采用有监督的深度学习模型进行配准，第三类是基于无监督模型的深度学习配准。第一类方法主要采用深度学习模型学习相似性度量，然后利用传统优化方法学习配准的形变。该类方法配准速度慢，没有充分发挥深度学习的优势，因此近几年鲜见报道。本文主要集中介绍有监督学习和无监督学习的医学图像配准。基于有监督学习的配准在进行网络训练时，需要提供与配准对相对应的真实变形场，其配准框架如图3所示。网络模型的训练目标是缩小真实变形场与网络输出变形场的差距，最后将变形场应用到待配准的图像上，从而得到配准结果。在有监督学习的医学图像配准中，变形场的标签可以通过以下两种方式获得：一种是将经典配准算法获得的变形场作为标签；另一种是对目标图像进行模拟形变，将形变参数作为真实标签，将形变图像作为待配准图像。在基于有监督学习的刚性配准方面，Miao S等人首先结合CNN，采用回归的思想将3D X射线衰减映射图与术中实时的2D X射线图进行刚体配准；Salehi S S M等人结合深度残差回归网络和修正网络，采用“先粗配准，再细配准”的策略，基于测地线距离损失实现了3D胎儿大脑T1和T2加权磁共振图像的刚体配准，建立了胎儿大脑图谱；随后，Zheng J N等人采用域自适应的思想，利用预训练网络实现了2D和3D射线图像配准，其设计了成对域适应模块，用来调整模拟训练数据与真实测试数据之间的差异，以提高配准的鲁棒性。在非线性配准方面，模拟非线性变形场比模拟刚性变形场困难很多，因此在基于有监督学习的非线性配准中，大多采用经典方法获得变形场，并以其为标签，对模型进行训练。Yang X等人首先以U-Net网络模型为基线结构，利用微分同胚算法获得变形场，并将其作为标签，实现2D和3D脑部MR图像的端到端配准。因为非线性变形场较难模拟，所以在监督学习中引入弱监督配准和双监督配准的概念。弱监督配准指利用解剖结构标签做配准的标记，学习变形场。Hu Y P等人使用前列腺超声图像和MR图像的结构标记训练CNN模型，学习变形场，然后将变形场施加在灰度图像上，从而实现MR图像和超声图像的配准。Hering A等人采用相似度测量和组织结构分割标签，同时训练配准网络，提高了心脏MR图像的配准精度。双监督配准是指模型采用两种监督形式的损失函数进行训练，如Cao X H等人在进行MR图像和CT图像配准时，先利用生成网络将MR图像转换为其对应的CT图像，将CT图像转换为其对应的MR图像，在配准的过程中，同时计算原始MR图像与生成MR图像之间的相似性损失以及原始CT图像与生成CT图像之间的相似性损失，通过两种损失的优化，提高配准的精度；Fan J F等人结合有监督模型损失和无监督模型损失，实现了脑部MR图像的准确配准。有监督学习的医学图像配准的精度取决于标签的可靠性，因此，如何生成可靠的标签并设计合适的损失函数，是有监督学习的医学图像配准中待解决的难点。图3 有监督深度学习医学图像配准框架随着空间变换网络（spatial transformer network，STN）的问世，利用无监督深度学习模型进行医学图像配准成为研究热点。其配准网络框架如图4所示。Yo o I等人结合卷积自动编码器（convolutional auto-encoder，CAE）和STN模型，实现了神经组织显微镜图像的配准，其中CAE负责提取待配准图像与目标图像的特征，基于该特征计算相似性损失，结果表明，该种损失能取得较好的配准结果。2018年，Balakrishnan G等人提出VoxelMorph网络结构，以U-Net为基线模型，结合STN模块，实现了MR图像的非线性配准；随后，其对模型进行了改进，引入分割标记辅助损失，进一步提高了配准的Dice分数。Kuang D等人提出空间变换模块，用于替代U-Net网络结构，在降低模型参数的前提下，实现了脑部MR图像的准确配准。Zhang J为了进一步提高无监督配准的准确度，除了相似度损失，还引入了变换平滑损失、反向一致性损失以及防折叠损失。其中，变化平滑损失和防折叠损失是为了保证变形场的平滑性。反向一致性损失在互换待配准图像与目标图像时，可保证变形场满足可逆关系。Tang K等人利用无监督网络实现了脑部MR图像的端到端配准，即网络模型同时学习了仿射变换参数和非线性变换参数。除了基于CNN模型的无监督配准，采用GAN模型进行配准也已成为一种研究趋势，即采用条件生成对抗网络进行医学图像配准。其中，生成器用来生成变换参数或者配准后的图像，判别器用于对配准图像进行鉴别。通常在生成器与判别器之间插入STN模块，以进行端到端训练。目前，基于GAN模型的医学图像配准有较多的应用，如前列腺MR图像与超声图像配准，以CycleGAN为基线模型的多模态视网膜图像、单模态MR图像配准，CT图像和MR图像配准等。在基于GAN的医学图像配准中，GAN模型或者起到正则化的作用，用来调节变形场及配准图像，或者用来进行图像转换，利用交叉域配准提高配准的性能。表1总结了典型的无监督配准模型和有监督配准模型。图4 无监督深度学习图像配准网络框架3.2 医学图像分割医学图像分割是计算机辅助诊断的关键步骤，是进行感兴趣区域定量分析的前提。随着深度学习在语义分割中的快速发展，将自然图像分割模型扩展到医学图像已成为主要趋势。在医学图像分割中，采用的主流网络框架有CNN、全卷积网络（full convolutional network，FCN）、U-Net、循环神经网络（recurrent neural network，RNN）和GAN模型。目前常用的医学图像分割模型包括2.5D CNN，即分别在横断面、失状面、冠状面上使用2D卷积进行分割，在节约计算成本的前提下，充分利用三维空间的邻域信息提高分割的准确度。FCN是深度学习语义分割的初始模型，通过全卷积神经网络和上采样操作，可以粗略地获得语义分割结果。为了提高分割细节，采用跳跃连接将低层的空间信息和高层的语义信息相结合，以提高图像分割的细腻度。FCN及其变体（如并行FCN、焦点FCN、多分支FCN、循环FCN等）已被广泛应用到各种医学图像分割任务中，且表现良好。U-Net是由一系列卷积和反卷积组成的编码和解码结构，通过跳跃连接实现高级语义特征和低级空间信息的融合，进而保证分割的准确度。U-Net及其变体（如Nested U-Net、V-Net、循环残差U-Net）在医学图像分割上取得了较好的分割结果，是目前医学图像分割的主流基线模型。RNN类分割模型主要考虑医学图像分割中切片和切片之间的上下文联系，进而将切片作为序列信息输入RNN及其变体中，从而实现准确分割。典型的模型有CW-RNN（clockwork RNN）和上下文LSTM模型，其通过抓取相邻切片的相互关系，锐化分割边缘。在此基础上， Chen J X等人提出双向上下文LSTM模型——BDC-LSTM，即在横断面双向、矢状面双向和冠状面双向上学习上下文关系，其结果比采用多尺度分割的金字塔LSTM模型要好。基于GAN的分割的主要思想是生成器被用来生成初始分割结果，判别器被用来细化分割结果。一般在分割网络中，生成器常采用FCN或者U-Net网络框架，判别器为常见的分类网络结构，如ResNet、VGG等。基于GAN的医学图像分割已经被应用到多个器官和组织的医学图像分割任务中。表2为常见医学图像分割模型所用的数据集以及其分割性能对比。4 医学图像分类及识别4.1 医学图像分类医学图像分类和识别是计算机辅助诊断（computer-aided diagnosis，CAD）的最终目标。在深度学习出现前，常采用人工定义的图像特征（如图像的纹理、形状、图像的灰度直方图等），经过特征选择后，再基于机器学习模型（如支持向量机、逻辑回归、随机森林等）进行分类。典型代表为影像组学方法，其在肿瘤的分型分期、治疗的预后预测方面取得了很多重要的成果。然而，人工定义特征以及特征选择方式很大程度上影响了分类的可靠性和鲁棒性。近年来，深度学习模型的飞速发展，尤其是CNN的广泛应用，使得利用神经网络模型自动提取和选择特征并进行分类成为主流趋势。CNN模型的不同变体已经在基于医学影像的临床疾病诊断中得到了广泛的应用，例如基于Kaggle公司的眼底图像公开数据集，Shanthi T等人使用改进的AlexNet进行糖尿病视网膜病变的分类，其精度可以达到96.6%左右；基于VG G，利用胸片进行肺结节的良恶性分类，其精度可高达99%。目前，在常见的CNN变体中，ResNet和VGG在医学影像分类中的表现最好，因此大多数的肿瘤检测、脑神经系统疾病分类、心血管疾病检测等将这两种模型作为基线模型进行研究。与自然图像数据相比，医学图像数据中满足模型训练需求的数据较少。因此，为了提高临床影像智能诊断的准确性，通过知识迁移来训练医学图像分类模型已成为主流。常见的知识迁移包含自然图像到医学图像的迁移、基于临床知识的指导迁移。在自然图像到医学图像的迁移中，主要有两种方式：一种是固定利用自然图像训练的网络模型的卷积层参数，利用该参数提取医学影像特征，然后利用该特征结合传统的机器学习方法进行分类；另一种是将自然图像训练的网络模型参数作为医学图像训练模型的初始化参数，通过微调来实现医学图像分类。除了自然图像到医学图像的迁移，还可以利用其他医学图像数据集，采用多任务学习的方式进行数据信息共享，弥补数据不足带来的分类缺陷。基于临床知识的指导迁移将临床医生诊断的经验（如医生的经验学习方式、影像诊断方式以及诊断关注的图像区域和特征等）融入模型，根据临床医生诊断的经验，即先掌握简单的疾病影像诊断，再进行复杂疾病诊断，研究者们提出了“课程学习”模型，将图像分类任务从易到难进行划分，模型训练先学习简单的图像分类任务，再学习较难的分类任务。基于该方式的学习可以提高分类的准确度。基于医生诊断的方式（如迅速浏览全部医学图像，再选择某些切片进行诊断），研究者提出基于全局和局部的分类模型，其在胸片和皮肤疾病的诊断上取得了较好的效果。基于诊断时关注的影像区域，带有注意力机制的分类模型被提出，典型的代表有AGCNN（attention-based CNN for glaucoma detection）、LACNN（lesion aware CNN）和ABN（attention branch network），通过引入注意力，网络可以关注某些区域，从而提高分类的精度。此外，根据医生诊断用到的经验特征，如肿瘤的形状、大小、边界等信息，将人工定义的特征与深度模型提取的特征进行融合，提高医学图像的分类精度，也是一种趋势。如Majtner T等人将人工特征分类结果与深度学习分类结果进行融合，提高了皮肤癌分类的准确度；Chai Y D等人将人工特征和深度学习特征进行融合并训练分类器，从而实现青光眼图像的分类；Xie Y T等人将人工提取的特征图像块与深度学习图像块同时作为ResNet模型的输入，实现肺结节的准确分类。如何将深度学习特征与传统人工特征进行有效的融合，是该类模型设计的难点。4.2 医学图像目标识别医学图像目标识别也属于临床诊断的一种，即在一幅图像中标记出可能病变的区域，并对其进行分类，如图5所示。图5 医学图像目标识别示意图传统的人工标记识别费时费力。最初将深度学习模型应用于目标识别时，主要是将图像分成小块，逐块输入由CNN等组成的二分类模型中，判断其是否属于目标区域。随着深度学习模型在目标检测领域的快速发展，尤其是Fast R-CNN模型和Mask R-CNN模型的出现，将整幅医学图像输入模型，即可一次找到所有可能的目标区域。但是在这两类模型中均存在一个区域建议模块和一个分类模块，二者需要进行迭代更新，模型的速度并不能满足临床的实时性要求。YOLO（you only look once）和SSD（single shot multibox detector）模型的问世解决了目标检测的实时性问题。基于此类模型，Lin T Y等人提出RetinaNet模型，并将其扩展应用到病理图像和钼靶图像乳腺肿瘤识别、CT图像的肺结节检测中。上述模型均针对2D图像进行目标检测，忽略了3D图像中切片和切片之间的空间信息。为了提高识别的准确度，基于RNN和LSTM的识别模型被应用到医学图像中。此外，在医学图像目标识别中，同样存在数据不充足的问题。为了解决这个问题，基于迁移学习的医学图像识别逐渐开展起来，如基于ImageNet数据进行模型迁移，实现肺结节、乳腺癌和结直肠息肉的检测。同时，基于临床经验知识指导的迁移学习也被应用到医学图像的目标检测中。典型代表有AGCL模型，其基于注意力的课程学习，实现胸片中的肿瘤检测；CASED （curriculum adaptive sampling for extreme data imbalance）模型，其可检测CT图像中的肺结节；特征金字塔模型（feature pyramid network，FPN），其采用不同对比度的图像，利用多尺度注意力模型实现肿瘤检测。图像分类和图像目标识别是医学影像临床诊断的最终目标，是目前人工智能技术与临床紧密结合的研究方向。笔者仅对分类识别的几种情况进行了阐述，以便掌握其发展方向。表3给出了肿瘤分类中常用的医学图像数据集以及深度学习模型，并对比了其分类性能。5 结束语本文从医学图像数据产生、医学图像预处理，以及医学图像识别和分类等方面，阐述了深度学习模型在医学图像分析领域的应用现状。尽管深度学习模型（如CNN、LSTM、GAN、注意力机制、图模型、迁移学习等）在医学图像分析中已取得众多突破，然而将深度学习应用于临床，辅助临床进行精准诊断和个性化治疗仍受到以下几方面的限制。首先，现有的深度学习模型对影像数目和质量有较高的要求，而临床上带有标记的医学影像数据难以获取，且目前临床诊断预测常使用的方法是有监督学习，数据的不充足势必会影响预测的准确性和稳定性。因此，如何在只有少量有标签数据的情况下，采用弱监督、迁移学习以及多任务学习的思想，提高分类预测的准确度，将是持续的研究热点。其次，临床应用对可解释性要求较高，而目前深度学习模型所学习的特征无法进行有效的解释。尽管现阶段已有研究学者提出采用可视化以及一些参数分析来对模型和结果进行解释，但是与临床需求中要求的形成可解释的影像学标记还有一定的距离。因此，研究深度学习模型的可解释方法将是医学图像领域的研究热点。最后，如何提高模型预测的鲁棒性是待解决的难点。现有深度学习模型多数仅针对单一数据集效果较好，无法在不训练的情况下，较好地预测其他数据集。而医学影像由于采集参数、采集设备、采集时间等因素的不同，相同疾病的图像表现可能大不相同，这导致现有模型的鲁棒性和泛化性较差。如何结合脑认知思想改进模型结构以及训练方式，提高深度学习模型的泛化能力，也是医学图像应用领域中待研究的关键问题。作者简介王丽会（1982-），女，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室副教授，主要研究方向为医学成像、机器学习与深度学习、医学图像处理、计算机视觉 。秦永彬（1980-），男，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室教授，主要研究方向为大数据治理与应用、文本计算与认知智能。联系我们:Tel:010-81055448010-81055490010-81055534E-mail:bdr@bjxintong.com.cn

2016年上半年，我第一次讲AlphaGo战胜李世石带给医学影像的挑战，当时有人不理解AI跟医学有什么关系。2016年的RSNA年会主题是Beyond Imaging，参加完之后大家觉得好像AI跟医学有关系。2017年，主题变成了Explore Invent and Transform，2018年的主题是Tomorrow’s Radiology Today。现在大家觉得AI是我们人类的助手，AI会改变我们工作方式，改变医学影像的状态，所以我们要去拥抱它、参与它，对未来充满着憧憬。所以我觉得，从RSNA年会的主题就可以看到我们对于AI观念的转变。AI在中国医院的现状调研大家都知道，发展AI作为国家战略是非常坚定的。中国从事AI的公司有1500多家，从事AI影像的公司也有很多。但是，AI在医学上到底有什么需求？今年，中国医学影像AI产学研用创新联盟（CAIERA）联合中华医学会放射学分会与中国医学装备协会人工智能联盟，联合搞了一个调研。这次调研我们回收了医生问卷5142份，企业问卷50多份，研究所问卷120多份。其中，四川省和安徽省在参与和完成问卷数量上分别排第一位，云南在医生注册上排在前面，虽然云南省不大，但是填写问卷的数量排在第二位。在参与调研的医院中，二级医院占48.41%，三级医院占47.81%，基本上是五五开的样子。三级医院完成问卷的情况更好一些。这些医院是否跟相关企业或者科研院所合作过？结果显示，没有合作过的有84%，所以空间很大，值得大家去耕耘。在被调研的医生感兴趣AI领域，腹部最多，有56%；其次是心胸45%、骨关节36%、神经35%、头颈29%、乳腺14%、儿科12%等等。AI应用过程中，医生认为存在哪些问题？第一个是没有行业标准，第二个是AI与临床医生承担的法律责任划分，第三个是医生缺乏相应AI的知识，第四个是AI产品的可信度还达不到。这份调研报告加起来有50多页，还没有正式发布，我仅仅简单介绍了其中2页的内容，给大家透露一点信息。相关结果详情我们会选择一个合适的时机发布，希望调对医学影像AI的布局有所帮助。刚需在哪？企业下一步如何布局？中国医学影像需求很大，但是服务跟不上，很多AI公司在这个领域发展，是所有影像科医生的福音。大量的公司投入其中，必然有更多的机会解决我们的痛点。我们研究了一下中国医疗领域AI公司布局的方向，发现他们集中在头部、胸部、盆腔、四肢关节。最多投入的就是肺结节以及肺部相关疾病，其次是脑出血，盆腔的主要是前列腺、直肠，骨关节主要围绕骨折和骨龄。 大家可以看到，中国医学影像AI公司是很多的，美国反而很少。但是要注意，美国的这些公司都是拿到FDA证的，中国的公司虽然多但还没有一个拿到证的。虽然我们繁荣，但还没有落地。 中国AI企业的产品布局，最多的是肺结节等肺部疾病，几乎所有的AI公司都有，因为这一块大家都觉得门槛低，类似于黑纸上找白点，大家觉得比较容易，其他的眼底、皮肤、骨骼、脑出血等等虽然难度稍微大一些，但总体上图像维度都比较低，比较好识别，成为大家的切入点。复杂维度的地方，目前的算法还是解决不了，需要未来大家一起攻克。因此，离我们临床或者是落地最接近的AI技术就是肺结节，其次就是糖网筛查，其他还有骨骼，越往后的离我们临床越远。目前AI产品涉及成像、筛查、随访、诊断、治疗及疗效评估等各个环节。成像环节，目前基于全迭代的图像重建一个病人要半个小时或更久，临床难以接受。用深度学习的方法有望实现类似于全迭代重建的效果，而时间大大缩短，能解决优质图像的瓶颈问题，可能给图像质量的重建带来一个革命。病变的检测环节，人机协同一定会提升检测病变的敏感度。现在可能大家都意识到了，单病种是不符合我们临床场景的，需要多任务学习。多病种的学习才符合我们的临床场景，所以现在已经有多家公司来布局多任务的学习，对于肺里面的结节肿块、肺炎等等进行检测。另外还有骨折模型，胸部的肋骨骨折可能是急诊常常会出现漏诊的地方，基于深度学习的肋骨骨折模型显示了未来强大的应用潜力；有一些隐蔽的骨折，我们可以通过改变摄像的体位来进行证实。 对于基于CT的肺结节诊断模型，AI产品目前能够从发现结节、结节的排序、量化、随访，一直到提取一些结构化的信息或者是报告，甚至做一些危险度处理的建议。在诊断环节，也在进行着各种探索。只要有大量手术证实的病例，机器学习是有希望的，目前有部分公司的产品在闭环数据上已经显示了非常好的敏感度和特异度（分别达到95%和70%），这样差不多就达到了主治医生的水平，如果解决了泛化性问题，前途是美好的。 预测环节，AI可用于肿瘤预后、治疗效果、能否手术等等，比如纯磨玻璃密度结节到底哪一个该开？哪一个不该开？能够真正判断出来的专家毕竟数量有限，作为普通的医生，怎么判断？我们外科医生怎么判断？如果有AI模型帮助他判断，这个结节可能是有风险的，那就可以帮助他来解决这个问题，减少误判。在治疗环节，现在基于深度学习的图像重建，可以帮助医生重构更加直观的病变位置、形态以及信息，可以进行被切除部位残余正常器官组织的功能评价，可以进行年轻医生术前培训，可以进行术前模拟手术的导航以及路径训练，这些都是AI未来很有潜力的方面。在放疗领域，当然可以在各个环节为放疗医生赋能，比如说通过深度学习推荐、自动勾画靶区等等。还可以进行评价，可以通过深度学习获得更加微观的信息，来提供诊断效果的评价。尤其是靶向治疗，哪些适合，哪些不适合？我们要拿到病理才知道患者该用哪一种靶向药。微观和宏观之间的关系，可以通过深度学习的方法来获得，甚至不用做活检都可以知道哪些病人用靶向药，或者是哪些病人不用靶向药，这是非常有潜力的领域。未来AI产品可能会基于整个医疗流程的全数据形成模型，从而为病人提供更加精准的个性化诊治方案。我们影像科医生面临了一个大好的机遇，未来值得期待。比尔·盖茨说过，任何新技术的短期影响都可能被高估，但长期的影响都可能被低估。AI将会带来我们影像科整个工作内容、工作效率、工作流程、工作方式的转变。产品何时才能拿证为什么医学影像AI中国迟迟拿不到证？第一，AI不同于传统医疗产品， AI如何定义？如何分级？如何测试？比如说，硬件只需要上报产品参数，经检测符合就可以给证，但是AI的模型敏感度可以在50%到99%之间进行调节， 相应的变化就是假阳性率由低到高的变化。这当中如何平衡和判断，需要相关专家和管理部门从新学习、选择和确定。还有，我们是否具备了完整意义的AI产品？如何整合到医疗流程？拿到证后赚谁的钱？这些都是需要考虑的。我们常常说，现在单病种的模型不符合临床场景，覆盖现在几个病种还不够，要覆盖全病种；现在的单纯基于图像识别的产品还不够，需要基于工作全流程的产品。肺结节的模型比较靠谱，给了我们4点启示。第一个就是开放、完整、高质量数据库是至关重要的，肺结节全球开放数据库多，大家的学习机会多。第二个是从源头进行顶层设计，进行高质量的标注，在当下是很重要的。第三个是找到明确的临床需求和使用场景，每个产品到底是解决什么问题，一定要和医生磨合才行。第四，进行大量训练和迭代，以便适合临床工作场景非常关键。 但是，现在作为AI产品核心的数据有很多不如意的地方，数据的数量、质量、标注、共享都是值得我们讨论的和重点解决的问题。我想与各个公司和科学家们分享自己的一个观点：现阶段基于深度学习的AI核心是高质量数据，是医生；未来的核心在于算法科学家，只有最核心的算法突破、技术突破，才能带来真正的行业革命。 我注意到，浙江大学某附属医院出了一个多学科的人工智能会诊报价。这是一个很好的尝试和示范，AI怎么落地？你是直接给病人收费，还是直接绑在硬件和软件上收费，还是直接作为诊疗费付费，还是人机互动的付费，还是多学科的付费？不管怎么说，只有找到了付费的方式，才有AI企业的未来，才会给我们整个行业带来繁荣。临床的使用环节，可能现阶段有很多的问题，我们要帮助企业去解决。可能是产品或者是流程的问题，可能是现在的临床医生训练不够，但科技发展会带来整个架构的改变。就像围棋下到中盘，要系统考虑后半盘如何下，我们也应该从更高的层次上来考虑，如何在现有的层面上来重塑我们的知识结构和方法。我相信人工智能一定会带来重大的技术革新，也会带来我们行业的变革，未来发展会越来越好。

主讲导师 | 罗晟本文编辑 | 梁家祥7月24日，智东西公开课推出的超级公开课NVIDIA专场进行完第十二讲，由NVIDIA深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》。罗晟老师系统讲解了深度学习在医疗影像、基因分析、药物研发及疾病诊断等医疗领域的应用及其背后所使用的深度学习技术特点。以下是罗晟老师的主讲实录和提纲，共计13549字，预计14分钟读完。大纲：1.深度学习在医疗领域发展现状及常见应用场景2.深度学习加速药物研发3.深度学习加速基因研究4.深度学习加速疾病诊断5.医疗领域英伟达解决方案平台主讲实录罗晟：大家好，我叫罗晟，来自NVIDIA的深度学习解决方案架构师。今天很高兴能够在这里和大家分享医疗领域的深度学习应用，以及NVIDIA为医疗领域提供的解决方案平台，希望今天的分享能给大家带来帮助，也希望本次分享可以起到抛砖引玉的作用，让各位能够为整个行业带来新的创意，帮助大家用AI和GPU加速医疗行业的应用，为医疗领域提供新的方案。在正式开讲之前，我想先给大家分享一个关于医疗领域创业的故事，为什么要用深度学习做医疗呢？大家知道现在深度学习很火，但是并不是火什么，我们就应该做什么，我们用深度学习来做医疗，肯定有其背景原因，有它带来的好处。在美国，有这样一个深度学习应用的案例，就是一个工程师，带着自己的父亲去看病，医生诊断出他父亲是癌症的第四期，也就是尾期，医生直接让他父亲进行化疗，之后大概经历了一到两个礼拜的化疗期，化疗之后，他父亲也掉了很多头发，人也觉得很辛苦。后来，他正好有一个朋友是医生，然后这个医生就为他爸爸做了第二次诊断，才发现上一个医生的诊断是错误的，其实他父亲只是在癌症的第一期。而癌症第一期不需要化疗，只通过药物就可以控制住。这位AI工程师就下定决心，要用AI技术来改善医疗领域，去解决由于医生的一些失误导致的医疗问题，这也是为什么我们要用AI做医疗的原因。对NVIDIA不熟悉的朋友，可能对NVIDIA的印象还停留在GPU的计算卡和游戏卡上，但其实从2007年NVIDIA提出CUDA用于作为GPU计算的编程语言开始，我们已经在医疗行业耕耘了十年。可以应用的领域除了计算之外，还有可视化，而现在，我们还可以用来做深度学习。有宝宝的小伙伴应该知道，做婴儿三维超声波检查的时候，看到婴儿的那些图像，其实从2009年西门子的超声波机器已经用NVIDIA的GPU来做渲染方面的工作。不仅如此，GE的CT扫描仪，也用到了GPU的技术，实现实时重建，直接把传感器的数据映射到图像上，这样带来的好处就是我们能直接去看到相关的图像，不仅如此，还能够对图像进行优化，我们可以使用更低剂量的x射线来实现相同质量的图像，从而减少诊断对健康带来的损害。2012年，由于AlexNet的出现，深度学习证明了其在计算机视觉方面具有非常好的性能，也就是从这个时候开始医疗行业的各个领域也逐渐开始利用深度学习，也扩展了GPU的应用领域，比如在2013年，GPU驱动的深度学习的方法，在病理切片上检测并统计有丝分裂数，击败了其他所有的技术，这个统计数据是癌症的早期指标，换句话说，用GPU之后我们能够获得更好的准确性，同时也能降低漏诊的风险。随着技术的发展，DL在医学影像领域获得过很多的成功，其实我们现在听到的大多数关于深度学习的应用都是在医疗领域。比如2014年，我们做的大脑肿瘤分析，2016年肺癌检测，这些都是在医疗领域的应用。而这些深度学习应用不仅是在商业应用、搜索里面取得的成功，而且在一些数据科学竞赛方面也取得了很好的成绩，并且两次打败其他队伍，成功完成了任务。这两次成功，一次是基于心脏MI成像自动注射量的计算，可以用来衡量心脏的运行状态。另一次是关于CT扫描中肺癌的早期检测。这些都是DL在医学影像领域取得的成功。不仅如此，最让我兴奋的是在去年NVIDIA首次参加北美放射学会，吸引了大概五万名的与会者，大部分都是放射科医师，其中有四十八个初创公司都在用深度学习或者机器学习进行医学成像。而且其中百分之九十的公司都在使用GPU。在本次会议上，DL相关文章的数量，相比往年增加了十倍，NVIDIA在会议期间进行了为期5天的DLI（NVIDIA深度学习学院）培训，平均每天培训200人。2018年NVIDIA发起了Project Clara，它的名称来源于红十字会的创立人，他的名字就是Clara 。我们希望通过Clara项目 ，帮助医疗行业利用NVIDIA GPU技术，改善人们的生活。大家知道，2012年AlexNet网络出来之后，首先在ImageNet上取得了非常好的结果，战胜了传统记忆学习的方法，当时AlexNet性能有10%的提升。而在往年，每年都是1%的性能提升。这样飞跃的性能提升确实能够丰富我们的应用种类，比如人脸识别，自然语言处理。同时对于一些商业应用来说，能够获得更精准的推荐，比如大家平时使用的今日头条新闻推荐，系统会根据你自身的的喜好为你推荐相应的内容，这就是基于深度学习来做的。对于深度学习来说，这样的精确意味着什么呢？对于其他的行业来说，准确度确实很重要，但也不是很关键，因为推荐错了，并不会对生命造成影响，但在医疗行业则不然，用更好的方法不仅仅只是提高准确度。比如在药物发现领域，可以缩短药物的整个研发周期，在医疗诊断领域，可以在最早期进行医疗诊断，减少病人的痛苦。而此时能够提高的准确度，不只是数字上的十个百分点，在医疗领域，可能会为每一个人带来更好的生活，为整个社会带来更好的未来。整个深度学习的流程，就如右边这张图所示，通过训练数据和深度学习网络训练生成一个深度学习的模型，之后对模型进行评估，再用一些新的数据来确认，验证以及测试，从而得知模型是否准确，而且通过这样一个模型，可以解决医疗领域的很多问题，至于怎么解决、未来怎么做，我会在后面详细给大家介绍。深度学习在医疗领域的应用不仅为个人带来了新的变化，同时也为社会和人类未来的发展带来了新的动力。对整个行业和研究社区来说也有一些新的变化。我们也可以看到一些趋势，也是我们所谓的深度学习动量，上图左边展示的是SPIE、ISBI、MICCAI这三个顶级会议医学影像图片领域使用深度学习文章数量这几年的比例变化，从2014年不到5%，到2017年，尤其是在ISBI上面，其比例已经超过20%，从而证明了深度学习确实能够为研究社区带来新的帮助，也确实成为了一个有用的工具。研究机构利用AI带来了新的应用和思路，解决了之前在医疗方面遇到的问题，现在有一百零六个初创公司，他们也在推动整个医疗行业去使用AI。他们可能在各个领域，比如药物发现、医学图像以及相关的自然语言处理等，丰富了整个生态环境，也希望今天的分享能够给大家带来一些新的思路，去打造在中国医疗行业的人工智能生态环境，帮助改善在未来医疗服务。说起医疗行业的深度学习，不得不考虑对医生和病人来说，他们在哪些方面可以用到深度学习。比如在看病的时候，医生怎么为病人制定治疗方案。一方面，可以了解病人的基因，因为很多疾病其实是基因的变异引起的，如果知道有基因变异的情况，就可以在最开始做一些人为干预和早期的治疗。在看病时，医生会去看病人以前的健康记录，了解病人以前的健康状况，从而帮助医生诊断病情。对患者来说，要去了解病人之间的差异，以及为什么会患病。比如有些人会患一种疾病，另外一些人不会患这种病，这样就可以用深度学习做一些基础的研究，加速药物的发现过程，因为这些疾病只出现在了一些病人身上，通过筛选，以达到更好的治疗效果。其实医生在工作期间不仅仅是为病人看病，也要去了解一些文献和法规、写论文，因为他们也需要去了解医疗行业最新的出版物，才能知道一些新的治疗方式。今年关于癌症的出版物有93393篇，到目前为止已经有350万篇论文，此时我们可以用深度学习从论文里挖掘出跟我们相关的信息，帮助医生更好的了解到一些最新的研究动态，尤其是在临床方面，可以了解到最新的论文和研究状态，以及一些最新的治疗方法，从而提出新的治疗方案，来研究能不能通过新的方法，或者一些验证过的方法去帮助病人获得更好的治疗效果。医生和病人之间是应该有互动的，医生每天会看非常多的病人，他们看病的时候，其实也是一个经验学习的过程，医生可能从A病人的治疗过程得到这样一个经验，从B病人的治疗过程中得到另一个经验。对于医生来说，他们看到了这么多东西，并不是每一个都会记住，因为人都会慢慢忘记以前的一些事情，因此我们可以用深度学习去记录以前所有的经验，并通过以前医生在看病时候的情况，去收集这些病人的信息，从而辅助医生在下一次判断中做出最优的决定，帮助医生更好把以前所看过病的经验利用起来，而不是会因为太过忙碌忘记了以前的经验去翻医疗记录。现在来看下深度学习在医疗领域的应用有哪些。首先在放射科领域，我们希望通过早期的筛选和检测，减轻病人因为放疗承受的痛苦。在国外，大家每年都会做体检，希望在早期了解自己的身体状况，把疾病治疗提到早期阶段，降低整个社会的负担，同时也减轻个人痛苦。Zebra就在做这样的工作，通过深度学习提高筛选的准确率，降低检测整体的误报率，获得更好的早期判断结果。早期诊断只是告诉我们有和无的问题，下一步要解决的问题就是有多少，如上图中间照片所展示，当诊断出肿瘤之后需要去判断肿瘤所在的部位、大小等情况，即是定量的分析，这种方式，也可以用深度学习来获得更准确的结果，并且可以降低病人治疗时的痛苦。另外一个让人非常兴奋的领域是精准医学，上图右边展示的是脑部扫描图片。在面对某些脑癌的时候，医生有能力去判断需要什么药物，问题是医生不可能在大脑上打个洞，然后去切片，再去分析，现在通过脑部的MI扫描方式，用深度学习神经网络去判断和预测患者肿瘤突变的概率，目前准确度也超过了90%，使得医生可以用精准的药物去帮助病人做治疗，减轻他们的痛苦。第二个领域是深度学习在诊所里的应用，三星和通用的扫描仪已经在使用深度学习来优化整个工作流，提高准确性。比如婴儿三维超声波检测时，可以冻结一些图像进行测量。第二个ARTERYS公司，也是首批通过FDA认证的公司。通过与GE合作，把他们的工具带到了心脏病专家那边，进行所有相关的一些检测，能够进一步提高护理质量。最后一个是PATHAI与飞利浦合作，也是第一个由FDA批准的扫描仪诊断，通过将病理图片与热力图结合，帮助病理学家分析肿瘤的情况，进一步降低病理学家诊断错误率，大约降低50%，使得病理学家在看图的时候能够更加方便。第三个是深度学习在药物发现方面的应用，第一个是deep genomics公司。他的成立要追溯到2002年，当时Brendan Frey的妻子怀孕了，在做检查的时候发现孩子有遗传缺陷，虽然只是可能，但是他们不得不终止妊娠。Brendan Frey是计算机工程的教授，所以他开始尝试把深度学习和医疗结合到一起，要解决的痛点是人群中的DNA的变异数，突变概率大于1的SNP（单核苷酸多态性）有三百万个左右，要完全的挨个调查SNP和疾病的关联非常困难，因此要建立一个数学模型导入全部的健康基因组序列和SNP序列，对模型进行训练，让模型能够学习到健康的RNA（核糖核酸）的裁剪模式，然后用分子生物学的方法验证模型，并加以校验，同时用病理数据，判断模型输出的准确性，从而理解有害基因和基因突变病理之间关系，再做一些初步筛选，把有害基因和基因突变病理关系建立起来。第二个是做分子系统的研究，在做新药研究时遇到很多挑战，HCS是指在保持细胞结构和功能完整性的前提下，同时检测被筛样品对细胞形态、生长、分化、迁移、凋亡、代谢途径及信号转导各个环节的影响, 在单一实验中获取大量与基因、蛋白及其他细胞成分相关的信息, 确定其生物活性和潜在毒性的过程，就是PHENOMIC AI要解决的。第三个也是PathAI做的，通过热力图以及药理的图片，去帮助医生更好的观测现象。最后一个是CLOUD MEDX，他们拿到了很多医疗记录，通过这些医疗的记录，实时分析病人的信息，同时通过真实的病例数据和实验数据，做健康诊断的推荐，从而帮助医生更好的做诊断，并合理进行药物的配发。在各个方面的应用讲完之后，我想深入的讲一下，目前这几个领域，用到了什么样的技术或者方法，可以帮助医生改善诊断效果。最近有一部很火的电影叫《我不是药神》,谈到了医药公司的问题现状，在最开始的专利期，他们的药会价格非常高以收回投资成本。因为在医药研发的领域，需要非常大的投资，需要非常多的人才，做非常多的实验，这些都是非常昂贵的成本。为了弥补企业成本并且达到盈利，只能在最开始的专利期收取高价，这也是为了让药物研发公司有动力继续投入研发。如果可以用深度学习的方式，或者用GPU加速整个药物的研发过程。将能够在一定程度降低药物的价格，从而去帮助整个医疗行业进入更加良性的发展阶段。既然可以用GPU和深度学习来加速，到底该怎么具体操作呢？如果有做视觉的同学，可能知道是从CNN开始，能够取得一个好的效果，其实就是从图片的分类开始。结果很简单，就是用卷积核在图片上面做卷积，然后经过各种隐藏层的计算之后，可以判断图片内容。图片是一个很简单、很规整的RGB数据 ，但是对于药物发现来说，药物的结构并不是一个规整的矩阵，该怎么来做呢？这个时候就有了所谓的Graph convolution，即图卷积。通过图卷积的方式，可以把药物的结构映射成卷积结构，映射成一个矩阵。然后就可以用CNN来做一些检测判断或者药物的发现。那么图上的卷积网络从卷积方式来说，可以分为两种，图卷积和空间域卷积，在此只对空间域卷积进行简单的介绍。图卷积是将卷积网络的滤波器和图信号，同时搬到傅立叶域之后再处理，而空间域卷积是用图中的节点在空间域进行相连达到层积的结构，从而进行卷积，获得一个好的效果，具体怎么来操作呢？跟传统方法相比，图卷积有更低的计算开销和更少的计算时间，但是也有一个难点，就是很难保证准确性。常见的图卷积算法包括NFP、Weave、GGNN以及SGCN。这些方法都已经应用到了医疗领域，并进行了一些基本的研究。空间域的卷积相对来说比较简单。以药物分子为例，其实每一个分子，都可以看成一个节点，对每个结点去寻找最开始旁边的域，一个分子会有非常多的节点，到底哪个节点，对这个分子比较重要，那肯定是连接数越多的越重要，通过这样的方式筛选出很多节点，找到每个节点邻近的几个分子；第二步，把临近的分子拼成一个感知域，之后用卷积神经网络，在感知域上做卷积操作，从而获得该卷积域的特征。做卷积时，会执行一些非线性的操作，生成一些新的特征，然后应用到节点上，图卷积的过程之后加上Batch normalization、Dropout和Relu，重复四次，就是整个图卷积的结构。通过这样的结构，就能把分子的状态应用到CNN领域。不像以前，由于分子的结构是非矩阵型的，不能够进行应用，而和应用相比能不能带来加速呢，下面我就会给大家讲一下。这个是CPU和GPU在Tox21上使用GCN方法的性能比较，可以看到图上最多有132个节点，每个节点有六十四个feature（特征），跑了二十个Epoch，Batchsize是一百二十八，使用Tesla V100 GPU或Xeon E5-2698CPU，在准确率达到90%的情况下，用CPU训练的时间是260秒，而GPU只用了32秒，也就意味着GPU是10倍快于CPU，因此我们能够更好地利用GPU来加速药物的研究，从而降低药物研发成本和社会负担，让所有的患者用良心的价格获得更好的药物，其实还有很多方式可以把AI应用到药物发现领域。AI除了在药物发现方面的应用，也可以应用于基因领域。很多疾病是由于基因突变或者基因缺陷引起的。人类曾经有一个非常大的工程叫做基因测序，把人类的两对染色体进行基因测序。具体怎么做基因测试的，不知道大家有没有了解。那么我给大家介绍一下，首先将待测序的DNA进行扩增，复制出很多DNA，之后进行加热变性，由于基因是双螺旋结构，把双链DNA分开之后，在里面加入引物，从而让聚合酶发挥作用，这样就可以复制这一段基因的信息。把DNA聚合酶加入到反应容器，每个反应容器里面放的都是前面所提取出来的单链DNA，利用ATGC基本的碱基酶原料，就可以复制整个基因序列，同时放一个特殊的碱基A进去，能够停止复制。此时就可以开始进行整个DNA的反应。在完成了DNA的反应之后，因为有一个特殊的碱基A可以停止DNA的复制，在四个不同的样本里，他们有很大的概率是在不同的时间停止，可以根据不同的停止情况，对其通电，较轻的DNA会在通电之后进行移动，通过荧光标记的方式就可以在胶片上留下记号，从而得到整个DNA的顺序。对于DNA测序有两个难点需要解决，首先，染色体三十亿对碱基，怎么去测序？其次是用什么办法进行加速。对于人来说，两对染色体包含30亿个碱基对，包括了鸟嘌呤、胞嘧啶、腺嘌呤、胸腺嘧啶，组成二十三对染色体。但是我们这些仪器能够产生十一个短序列，我们称之为Read，每个read仅代表了三十亿个碱基中的一百个，每个碱基的错误概率在0.1%-10% 之间，把单一的、小的基因序列完整而准确的拼起来是很困难的。这个时候Google cloud platform提出了开源的方案叫做DeepVariant，通过以编码HTS仪器数据的方式，生成了数千万个训练样本，然后用这个训练样本，基于TensorFlow做图像分类，以便从仪器生成的实验数据中识别出真实的基因组序列。通过这样的方式，可以很简单的判断哪个基因组序列是正确的。在右边的图上，有四种基因组序列：正常的染色体、有一个碱基出现问题的染色体、两个染色体对都被删除，还有一种情况就是由于一些其他因素，比如在最开始做生成的时候复制出错等相关问题，就会出现最后一种图像，通过这样的方式，就能加速基因测试的过程。加速完基因测试之后，把每一个read的结果拼到一起，中间会有一个比对过程，把每一个小的单元都跟其对应的序列作比对，从而判断是否准确，此时就有了新的Parabricks，他们在做加速DNA测序的工作，比如说用BWA MEM （比对的工具库），支持较长的Read，然后做一些剪切性的比对。通过这样的方式，用GPU来加速，可以看到跟32个CPU相比，其性能达到了25倍的提升，结果的准确率达到100%。接下来跟大家分析下AI在医疗记录分析方面的应用，医疗记录分两个部分：医疗文本记录和医疗图片记录，这两个领域分别有怎样的研究，他们具体是怎么操作的呢？第一个是依靠Icahn School提供的解决方案，他们通过12年的积累，总计700万的医疗记录，训练了一个深度学习模型，可以实现多疾病的预测，以前传统的方法是收集医疗记录做预测模型，但是只能预测一种疾病，现在可以预测七十八种疾病，并且能够做到预防疾病的发生，可以很大程度上降低病人的痛苦。第二个应用是CLOUD MEDX做的，他们做的内容跟之前几家公司不一样。前面几家公司是基于已有的医疗记录，生成预测模型，去预测病人患病的可能性。CLOUD MEDX则是拿到了一些电子健康记录，比如病史、药物测试报告等数据，里面有两部分数据，一部分是来自医生记录的，跟国内一样，大家都知道我们看自己的病例是看不懂的，当拿到这些非结构化数据之后，做数据结构化的分析，然后直接结合NLP自然语言处理技术；另一部分是实验室的数据，或者生命统计的数据，通过这两部分的数据，开发了一个新的AI平台。利用该平台分析患者的整个病史、关联的症状以及人口统计的数据和诊断，就可以看到该症状以及对应其他临床上的情况，从数据判断患某种疾病的可能性，帮助医生做一些推荐测试、药物治疗的方案以及辅助医生修改治疗方案等。第二个领域就是医疗图片，大多是指图片分割和检测判断，这里大概有五个例子，我会详细给大家介绍一下他们是怎么做的。第一张图是PathAI做的，把拿到的病例图片以及识别出的结果做热点图，帮助医生更好的判断；第二个是由凯斯西储大学做的，致力于常见的乳腺癌的研究，正常来说，女性发现乳腺癌之后，最开始医生都会建议做化疗，另一种方式是做病理切片，拿到切片的细胞信息之后才能判断，该测试需要花费四千美金，对于大多数非发达国家的人来说，他们是付不起的，那这个时候怎么做，他们又提出可以用MRI的一些照片，依据现在的病理学照片做风险评估。这张图展示的是一个library，即医学图像数据库，医学图像由于其敏感性和工作量，正规的注册数据集很难得到，但在诊断和治疗中非常关键， 是美国的国立研究院提出的一个注册系统，其实这就是一个获得数据集的方法。上图展示的是用SocialEyes，基于我们的NVIDIA SHIELD 平板电脑上，可以利用里面的GPU，运行深度学习的模型，去判断眼部疾病，因为在一些偏远地区看眼科是非常难的，通过这样一些模型，就能够解决这些问题。另外可以用深度学习做骨龄测试，传统做法是用X射线图片，和传统的书里面的照片或者以前的图像进行比对，从而判断骨龄。现在可以用深度学习的方式，使用了大概七千四百个X光射线的记录训练了一个深度学习的模型，能够很快地进行训练，通过这样的方式，能够很快的取得很好的结果，其实骨龄测量对小孩来说非常重要。尤其是在国内，很多时候小孩的发展跟他的骨龄完全是不一样的，怎么选择更快的获得结果并进行干预是很重要的。最后一个是用ML发现脑肿瘤，以前的做法可能需要直接打开头颅，然后打个孔，去看拿到的切片，看看里面是不是有肿瘤，及肿瘤状况。现在MAYO CLINIC使用GPU加速，可以用MRI的信息，以前用非深度学习方法发现不了的数据信息，去做一些比对，进而判断到底里面是不是有肿瘤，准确率也超过了90%，所以通过这样的方式，不仅可以把以前的结果做得更好，同时也可以做以前不能做的，而对于medical image（医学图像）我们需要怎样的一个平台呢？NVIDIA在2018年提出了CLARA平台，我们叫做虚拟、通用、远程、可扩展的平台，所有的合作伙伴都可以加入进来，利用NVIDIA GPU计算资源和加速库，为医院和合作伙伴提供新的算法和方案，CLARA平台可以做基于DL-BASED的Image重建、深度学习的图像分割、图像渲染等操作，该平台最底层用的是DGX以及NVIDIA的GPU，也会提供非常多的软件库，包括CUDA、cuDNN、TensorRT加速库以及Image和各种虚拟化的APP，帮助大家利用这个平台，开发出各种各样的应用。首先从硬件开始，平台底层需要做计算，我们使用了世界上第一台GPU超级计算机DGX-1，里面配置了八块32G Tesla V100 GPU以及NVLink Mesh。整个系统具有1 PetaFLOPS的计算性能，在做深度学习训练的同时，提供300 Gb/s的NVLink通信带宽。从而保证在训练时能够最快的取得效果。当然这只是硬件方面，除了硬件之外，NVIDIA也提供了一整套的软件支持。硬件没有软件的支撑，是运行不了的，虽然硬件达到了加速，软件该如何操作呢？NVIDIA提供了一整套软件栈，底层有我们的操作系统，上面有英伟达的GPU驱动以及容器的Runtime，以保证在底层能够调用GPU计算资源。在GPU之上，NVIDIA还提供各种GPU Docker容器，比如Caffe，Caffe2，TensorFlow，PyTorch，Chainer等，这些容器和驱动以及Docker，包括精简过的OS，驱动都是专门为DGX配置的，而且上面的容器都基于GPU的特性做过优化，从而保证大家能够用到最好的计算性能，训练出自己的GPU模型，为客户提供应用。在DGX之上，我们有NGC（NVIDIA GPU Cloud），可以提供各种各样容器镜像，DGX也接入到了NGC，这样用户不需要再去配置硬件环境，通过NGC把容器镜像拉下来，就可以开展深度学习的训练和Inference（推理）。目前NGC提供的容器镜像有35个，分别在不同的领域，包括深度学习、HPC、HPC的视觉、Kubernetes以及我们的合作伙伴提供的各种容器镜像。NGC提供的深度学习容器镜像包括caffe、caffe2、CNTK，CUDA等，CUDA是NVIDIA提供 的一个基础镜像，包括DIGITS，对深度学习不熟悉的朋友，可以尝试使用DIGITS，它是一个Web UL的界面，底层调用TensorFlow或者Caffe，在里面可以直接开始深度学习的训练，inference server是我们提供的一个Inference的API，它是一个推理的web框架范例。因为我们要做的就是把训练好的模型交付给客户去使用，比如帮助医生去做一些检测。那么如何部署训练好的模型呢？就是使用inference server，它的作用就是把模型放进去，相当于一个web框架，此时会对外暴露出一个API以供调用，从而简化模型开发的过程。另外一个重要的容器镜像叫做TensorRT，是NVIDIA提供的一个容器加速库，里面已经完成了相应的配置，可以直接使用，能够为深度学习模型带来几倍的加速，下面我会详细介绍。所以基于DGX的硬件，我们提供了专用的OS以及Linux Kernel和CUDA驱动，在上面做各种各样的容器化应用，包括优化好的TensorFlow、CNTK、caffe2、PyTorch等模型，以及各种各样的软件，包括之前提到的inference_ server，这样一整套的软件可以帮助大家更好的去开展深度学习训练，去应用深度学习算法，或者开展一些算法的研究，同时大家也可以利用这些容器镜像进行自己的算法部署。当然除了DGX和NGC之外，还要考虑怎么使用GPU为深度学习加速？这里NVIDIA提供了DIGITS、深度学习框架以及深度学习的SDK。深度学习的SDK主要包括cuDNN、NCCL、cuBLAS、cuSPARSE、TensorRT以及DeepStream6个部分。cuDNN是用CUDA写的DNN加速器。NCCL用于做多GPU的通信，一般来说，训练的时候会有参数服务器，因为GPU之间的数据是要通信的。怎么去加速GPU的通信呢？我们做了算法的实现，做了底层的优化，比如说使用NVLink，多节点之间用了RDMA等，通过这样的方式加速了通信。cuBLAS做一些线性代数的计算；cuSPARSE用于做稀疏矩阵的计算，TensorRT是做inference的加速引擎，可以做到inference的加速，最后一个是DeepStream，提供视频分析的一些方案，提供整套的pipeline，底层调用GPU里面硬件核心、解码器以及CUDA核，从而完成一整套的计算过程。cuDNN是一个高性能深度学习神经网络加速库，被利用到所有的深度学习框架中，包括Caffe、Caffe2、CNTK、TensorFlow、PyTorch等，都在用cuDNN做加速。当然如果需要写自己的软件，也可以用cuDNN来加速，从上图可以看到从最开始的8个K80，到8个Maxwell，再到DGX-1和DGX-1V，在不同的cuDNN版本和不同的硬件上，其性能差距是非常大的。在深度学习的训练方面，从最开始的1000张不到，现在可以训练的图片大概超过10000张，能够进一步加速训练，带来10倍的加速提升，而这样的加速对于开发成熟的产品是非常重要的。NCCL用于多GPU之间的通信，使用通信算法，底层采用NVLink，PCIe和 InfiniBand，同时能够去检测到整个系统的拓扑结构。从上图可以看到最开始的Maxwell，以及两个P100的比较，然后到1024个P100，可以看到用NCCL在GPU通讯方面能够达到线性的加速，也意味着通信的开销不会导致训练的延时，这个是非常难做的。有HPC (高性能计算) 背景的朋友都知道，能达到线性的加速是非常难的一个任务，而NCCL在通信方面取得了这样的效果。最后一个我想讲的是TensorRT，训练好一个模型，最重要的是模型的准确性和怎么把模型交付给客户使用？推理和训练其实是不一样的，训练时可能用的是FP32的精度，但在推理的时候，可以用更低的精度。训练时，各层之间的关系是固定的，而且需要把中间参数保存下来，从而进行反向迭代。但推理时，只有正向的迭代，此时可以通过使用TensorRT达到免费加速的效果。TensorRT可以做一些Layer fusion，同时也可以做些精度校准，对于不同的GPU卡，可以实现模型的自动调整，动态分配内存，不管是在内存、计算、网络结构以及参数精度方面，都可以用TensorRT达到更好的效果，取得一更好的性能。以P4为例，如果使用FP32精度的参数算力可以达到5.5T，如果使用Int 8精度的参数算力可以达到22T，所以说硬件的性能提升也需要通过软件的优化才能够完成。最后我想讲的是deep learning的菜单，在医疗领域最重要的就是数据，当然也需要强大的计算力。在此基础上，我们可以用监督学习，或者增强学习，训练各种模型。关于数据来源，我们有各种合作伙伴和研究机构，他们会为我们提供各种数据集。我们也在跟很多医院展开合作，能够提供这样的数据。我们为大家提供最快的计算平台，以保证拿到这些数据之后，能够最快的取得结果。而在算法方面，现在深度学习社区，每年大概有几万甚至十几万篇论文发出来，他们提供了各种各样的思路，比如做图像分割，最开始从一个很简单的网络开始，后来用FCN来实现，现在可能用GAN来做。通过不同的算法，完成各种各样的应用，解决医疗上各种各样的难题。不管是对个人来讲，还是对社会来讲，都能带来很大的帮助。以上就是我今天关于AI在医疗领域应用的一些分享，谢谢大家！提问环节问题一郭家豪-上海应用技术大学-研究助理针对传统的在校医学生，毕业后希望转型到医疗领域的深度学习中，在这一转型中，优势有哪些？劣势有哪些？针对深度学习的技术，最关键的核心技术是哪一块儿？罗晟：你现在是在医疗行业，如果你想要转型到深度学习，我们是非常欢迎的，同时我们也非常希望有专业的医疗行业的人才加入到深度学习的队伍当中，因为对于深度学习来说，它只是一个工具，怎么用这个工具，在哪个方向能够用这个工具才是最关键的。你的优势在于知道怎样应用深度学习技术，用在什么方向，你只要去加强深度学习方面的技术，甚至可以让专业的技术人员帮你做加速。我相信未来也会有相应的工具，能够让人很快的使用，所以方向才是最重要的。其实，在深度学习领域，想要知道怎么应用，确定好要用的医疗技术及方向之后，就可以用GPU技术来实现，NVIDIA提供了所有框架的优化，你可以使用这些框架来做数据整理，确认好方向之后，有各种各样的research community提供的网络，都可以去尝试，从而在确定的方向取得一定的成果，我相信在确定了方向之后，一切的技术，都不会成为你的阻碍，而且这样的技术肯定会随着未来的发展也变得越来越普及，越来越有用。问题二高蓉彬-甘肃畜牧工程职业技术学院-教师深度学习对药物药理学研究能起到什么作用？罗晟：我前面的内容已经涉及到了怎么用深度学习做药理学的研究以及在分子方面的研究。比如做药物发现时使用GCN网络，通过该方法，可以去把药物分子结构做映射，从而知道不同的药物之间互相的联系，同时也可以判断药物之后的结果是什么样的，这些都可以用深度学习来完成。问题三罗力川-大唐电信-芯片设计工程师该平台是否用到了英伟达的 DLA加速器了吗？如果用到了，可否详细介绍下？罗晟：很高兴听你提到NVIDIA的DLA，DLA是一个深度学习加速器，目前实现是在Jetson Xavier上面，Xavier现在是在申请试用中。当然不管是DLA也好， Xavier也好，Tesla GPU也好，还是Tensor Core也好，各种软件在NVIDIA平台都是统一的。任何软件都可以运行在NVIDIA任何版本的GPU上，并且都可以取得很好的效果。同时这部分的加速都是用TensorRT来实现，TensorRT可以去感知不同硬件的区别，比如P4有Int8的支持，而在P40和v100上有FP16的支持，这样TensorRT就可以屏蔽底层任何硬件的信息来使用。但另一个方面，因为Xavier现在是刚开发出来。相信在未来，比如我有一个平板电脑，就跟我前面案例提及的平板电脑，提供这样的解决方案，帮助贫困地区的人们使用到GPU加速，在医疗行业为边远地区的人民带来新的希望。问题四秦智勇-北京微电子所-工程师医疗领域信息比较私密，训练怎样解决数据源的问题？罗晟：这个问题问的非常好，医疗行业数据是比较私密的，怎么解决数据源的问题呢？其实我是这么理解的，首先在最开始训练的时候，会有各种各样的开放的数据集，可以去使用。另一方面，也可以尝试跟一些重要的医疗机构进行合作，我相信随着深度学习的发展，他们未来会需要用到深度学习的技术，而通过合作，他们可以提供各种各样的数据，就像我前面的提到一个案例，美国的一个研究所，就在展开这样的一个合作项目，去收集各样各种各样的数据，并开放给大家，帮助大家把深度学习的技术更好的的应用在医疗方面。问题五张承龙-中科院计算所-程序员医疗领域主要采用哪种深度学习模型，为什么这种模型效果要好，怎么进行小样本学习？罗晟：深度学习模型有很多种，主要还是取决于应用的领域。比如药物发现领域，可能会用图卷积的网络，两种图卷积的模型都可以使用。如果是一些文本的记录，肯定会用到NLP以及相关的模型；而对于医疗图片，目前来说比较前沿的都会用GAN（生成时对抗网络）来做，训练一个图像分割器，以及一个生成器，来训练一个更好的模型。当然对于medical image来说，现在是比较容易做的。但是因为GAN有一个很大的问题，就是训练比较难。对于图像分割，用FCN可以取得一个好的效果。小样本的学习，可以通过数据增强的方式，把数据集扩大，同时训练时不要选择太过复杂的网络，以避免一些问题，同时也可以进行一些数据的收集，以便在未来获得一个通用性更强的模型。问题六潘宇-北航-微电子专业学生目前要实现深度学习在医疗领域更好的应用还有哪些问题需要解决罗晟：我觉得有非常多的问题需要解决，比如拿到了数据如何解释。很多年前我在跟清华的一个教授合作的时候，使用一些医疗的信息，比如用深度学习去挖掘诊脉的信息，怎么让诊脉的结果出来之后可以做判断？之前去拍MI和CT照片的时候，为什么医生可以说这样是有问题的，那样是没问题的呢？我相信在当时也是通过数据统计的方法，因为有些病人MI和CT的照片里面有这样的情况，所以我们就理解这个地方有这样的问题。对深度学习或者在医疗行业做medical image来说，解决这个问题很简单，我们能够对最后的结果给出一定的解释。不管是经验也好，还是怎样，我们能够把它还原成类似MRI的照片从而告诉医生这个地方是有问题的，通过这样的方式，把可解释性解决。从另一个方面就是我们的技术还有更多方面需要挖掘，在药物发现里面怎么去做进一步的加速，在诊断系统里面，怎样更好的提高系统的准确性等，这些都是未来技术需要去解决的，也需要我们去为之努力。问题七乔冠超-电子科技大学-微电子专业学生深度学习在医疗领域的应用在技术方面和其他领域有什么区别？主要是算法的创新还是硬件平台的创新？罗晟：从技术根本来说，很多领域，比如图片与图像领域是一样的，没有太多的区别，在深度学习领域，我们谈论的是通用型的模型，虽然不是通用人工智能。像前面的例子，一个模型可以预测七十八种疾病，而之前只能识别一种，这样一个通用的模型最重要一点就是数据，能提供这样的数据，就需要一些数据的创新，也需要算法的创新和更强的算力。因为更多的数据，意味着需要更强的算力来支撑计算，有更好的模型能够提供更好的精确性，但是在一定程度上模型的复杂度肯定是在增加的，也是需要更大的算力来支持的。所以更强的算力能够保证可以去做一些迭代和测试，从而推动模型的发展，收集更多的数据，其实三者是相辅相成的。问题八刘汝洲-北京精真估-NLP技术部负责人NLP在疾病诊断方面有哪些落地的应用罗晟：前面已经讲过关于NLP相关内容，可以用NLP对一些病例的信息分析，对于病例的分析主要有两个方面，首先我们可以拿到一些疾病的信息，去做预测，当我们拿到一个最新的病人信息，把它放到模型里面，可以通过病历记录训练出一个模型，从而去判断是否有潜在的疾病风险；另一方面，拿到这些信息之后，跟真实的信息进行比对，可以去做些推荐，获得更好的推荐结果，这两方面也已经落地应用了。当然还有很多，现在有各种各样的机器人在医院里面提供服务，比如问诊机器人，去医院就诊时，可以去问一下机器人，它会根据你的描述给出相应的诊断反馈，这些都是未来需要提供的，也有一些项目已经落地，我觉得是非常好的。现在的三甲医院是非常拥挤的，有了最开始的定位，才能更准确的选择相应的科室，或者根据这些基本信息推荐解决方案等。新课预告#智东西公开课#9月13日晚8点，超级公开课IBM专场将开讲，由IBM中国芯片设计部门高级经理尹文主讲，也是首次公开线上讲解POWER 9处理器！课件获取第一讲，NVIDIA大中华区高性能计算及Applied Deep Learning部门技术总监主讲赖俊杰，主题为《如何搭建适合自己的深度学习平台》第二讲，NVIDIA高级系统架构师吴磊主讲，主题为《如何为深度学习和HPC提供更高算力》第三讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《不需要写代码，如何用开源软件DIGITS实现图像分类》（线上实践课程，无课件）第四讲，图玛深维首席科学家陈韵强、NVIDIA高级系统架构师付庆平共同主讲，主题为《深度学习如何改变医疗影像分析》第五讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《手把手教你使用开源软件DIGITS实现目标检测》（线上实践课程，无课件）第六讲，西安交大人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成共同主讲，主题为《智能监控场景下的大规模并行化视频分析方法》第七讲，清华大学计算机系副教授都志辉、NVIDIA高级系统架构师易成共同主讲，主题为《GPU加速的空间天气预报》第八讲，希氏异构人工智能首席科学家周斌主讲，主题为《如何利用最强GPU搭建医疗人工智能计算平台——医学图像AI领域最强超级计算机首次解密》第九讲，NVIDIA中国GPU应用市场总监侯宇涛主讲，主题为《揭秘深度学习》第十讲，NVIDIA高级系统架构师张景贵主讲，主题为《在你的桌面端通过NVIDIA云端GPU开展深度学习》第十一讲，百度AI技术生态部高级算法工程师赵鹏昊主讲，主题为《如何借助GPU集群搭建AI训练和推理平台》第十二讲，NVIDIA 深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》

AI 正在对医学成像领域深度渗透，这已是业内共识。根据市场调查公司 Signify Research 报告，包括自动检测、量化、决策支持和诊断软件在内，全球医学影像 AI 市场在 2023 年将达到 20 亿美元。如今除了通用电气公司（GE）、西门子和谷歌等大公司，大量的新创公司正在涌入到这个领域来。图：全球医学成像软件的收入预测（Signify Research）。然而，很少有人能看清渗透将如何发生。4 月 16 日，一篇题为《医学影像 AI 路线图》的报告在业内顶级杂志《放射学杂志》（Radiology）上发布。这份攸关医学影像 AI 应用未来发展方向的路线图，厘清了未来数年医学影像 AI 可能重点突破的技术主题，应为业内重点关注。它是 2018 年 8 月一次研讨会的成果，当时美国国立卫生研究院、北美放射学会 (RSNA)、美国放射学院 (ACR) 和放射学与生物医学成像研究学院在华盛顿特区联合主办这次会议。路线图指出了 5 个关键主题：1）图像重建：如何从源数据生成适合解释的图像；2）图像自动标记和注释：从临床影像、电子档案和结构化图像中提取信息；3）临床影像机器学习新方法：包括定制的、预先训练的模型架构和分布式机器学习方法等；4）机器学习人工智能方法的解释性；5）图像识别和数据共享：以促进临床影像数据应用和学科发展。如何解读这份路线图？这份路线图对于下一步的医学影像 AI 应用有多大的指导价值？为此 DeepTech 专访了路线图作者之一、美国纽约伦斯勒理工学院讲席教授王革。DeepTech：为什么放射医学更热衷 AI 应用？王革：这和图像性质有关。在医院，成像技术会产生大量的图像数据，而图像数据分析正是 AI 相对成熟的技术。医学成像相当于是现代医学中的眼睛，可以把人的五脏六腑看得一清二楚。无论做手术，还是开药方，或者是放疗都离不开图像。所以人工智能介入进来理所应当，于是就变成了很热的一个领域。此外，在医疗数据里边，断层扫描图像应该是最精确的数据了，因此利于 AI 研发。其他如电子病历或者是保险数据可能都会有较大误差，这也让医学影像领域在 AI 方面走得较快。不过那些不太精确的数据并非没用，如果这些数据分析和精确的图像数据结合起来分析，就会让医生有一个整合性的更精准的决策。图：ImageNet大规模视觉识别挑战错误在过去6年中下降了8倍以上，2017年低于3％，好于人类错误率5%的表现。尤其是2012年引入深度学习后，识别准确性大大提高。DeepTech：AI 在医学影像中的应用达到了什么阶段，是否还处于初级阶段呢？王革：是的，还是初级阶段。比如说图像重建的问题，现在 AI 用在医学图像品质提升方面进展稍微快一些。比如说，对于一张模糊的医学影像，我们可以增强它的清晰度。原来用经典的 CT 影像分析方法可以将清晰度增强 30% 左右，现在我用深度学习分析 CT 图像或核磁共振图像，能增强 100% 甚至到 200%。这个进步是显著的，但还需深入研究与严格检验。图像增强对病患者是有实际收益的。比方说 X 光 CT 筛查癌症。因为大部分来体检的人是没有癌症的，在这个过程中人们会担忧 X 射线的安全性。因为 X 光照射本身可能会引发基因变异以及增加癌变的可能性。尽管这个可能性很小，但是毕竟让人们有所顾虑。在这种情况下，我们就考虑用比较少的 X 光剂量来做癌症筛查。问题是把剂量减少之后，就会得到背景嘈杂的影像。那么我们可以用机器学习来减少低剂量照射的噪音和伪影。也就是说，低剂量照射得到的原始图像是模糊的，有噪音的，经过机器学习处理这个图像就变得清楚了。这也是 2018 年 8 月 NIH 会议说的第一个要点，低剂量造影图像的重建。图像重建是机器学习的一个新领域。我们正在和 GE 合作研究基于 AI 的 CT 图像的重建。另外，如何审批这类应用产品还没有明确规则。美国 FDA 正在考虑这个方向。AI 研究结果看着很好，但要是用到病人身上，万一有失误怎么办？而且 AI 产品的监管和传统产品监管不一样，以前的产品的发布和修改是很明确的，但是 AI 产品是交互式的和自适应的，它会不断从现实环境中学习迭代，因此给 FDA 监管带来新挑战。所以说，AI 在医学影像中距离广泛应用还有工作要做。在非医学图像数据库 ImageNet 大规模 AI 识别中，错误率已经低于人类的错误率。这是机器学习的结果，而错误率的降低对患者的健康至关重要。要知道，诊断错误造成了不少病患者死亡，而放射科医生的读片常有错误。在某些特定的图像识别中，现在人工智能已经超过人类了。将来机器一定程度上甚至是很大程度上会取代医生来读片。我认为这正在发生或迟早会发生。DeepTech：AI 将来能全面取代医生吗？王革：至少目前看我们还不能完全让机器来做复杂的处理，现在的 AI 还有可解释性、鲁棒性（即系统稳定性）等在医学影像领域尤其重要的问题需要解决。AI 的介入希望能提高医生的诊治效率。我认为，最终这样的半自动化技术会在很多场景下变为全自动。也就是说，在一些特定场合取代医生是可以实现的。一些很常规的分析，比方说骨头在 X 照射中看得很清楚。机器分析会明确诊断出有没有骨折。这种情况下，我觉得医生就可以相信机器。那么，医生的重要性怎么体现呢？在整个诊断过程中，将来医生的角色可能更宏观一些，进行一些有创造性、有想象力的分析。DeepTech：你刚才说医学影像的 AI 发展还是初级阶段，那么路线图是如何描述下一个阶段要解决的问题的？王革：这份路线图是行业专家告诉美国相关机构下一步要怎么走，侧重的是接下来几年要关注的要点以及可实现的改进，而不侧重 AI 的远景。除了刚才说的图像重建问题，还有一个当前重要的问题是黑匣子问题，就是说机器学习的可解释性。医生可以和患者沟通病情、病因以及诊治的依据，但机器学习只会给出一个结论，这不容易让患者放心，会让人感觉把自己完全交给未知了。但这其实也是一个进步，以前患者只能听到医生的判断，现在患者还能听到 AI 的判断。我们现在正与 IBM 合作研究神经网络可解释性的问题。另外一个问题是图像数据库。机器学习需要用大数据，来保证训练分析是合理的。还有外国的数据库拿到能不能用，要不要监管部门来审批，公司能不能开放数据，这都是问题。再一个问题是硬件。机器学习用到大量的数据，所以对硬件的要求越来越高，尽管这几年硬件在快速升级，但对于普通机构可能就要负担不起。还有，数据库会涉及病患者隐私，现在机器学习可能猜出患者的身份信息。对于隐私问题，我们可以借助于模拟计算来解决。比如用 10 个病人的图像，根据特征随机构造出一个新的患者（他不是这 10 个病人中的任何一个）。然后，我们用这个模拟患者来训练分析，这样就规避了数据隐私的问题。当然这个也会有弊端，它毕竟不是实际的病例，这就需要强大的数字模拟能力。DeepTech：目前美国的医学影像数据库足够大了吗？还需要哪些完善措施？王革：美国有一些公开的数据库，但更多数据库是不让别人用的。医院出于隐私的考虑很少开放其数据库。他们担心病人的诉讼。如果要把病人的身份信息去掉，以及标注这些数据，要花大量的时间精力。DeepTech：你怎么看待中国在这方面的研究？王革：中国国内的应用研究很好，前景广阔。但源头创新比方说神经网的基础理论以及硬件芯片还是落后的，这方面定会进步。DeepTech：你怎么看待美国 FDA 去年批准了 AI 在糖尿病视网膜病变中的应用？怎么看待医学 AI 商业化发展趋势？王革：因为视网膜图像是两维的，相对比较简单，不像那种三维的甚至动态的图像分析那么复杂。另外糖尿病视网膜病变数据也比较丰富，又不是那么隐私敏感，所以这类应用已有很好的结果，甚至在智能手机上就能使用，很贴近老百姓。我觉得发展都是从易到难。将来 AI 能不能精准地预测心脏病，预测中风以及癌症，就要一步一步来。我们和康奈尔大学在心脏疾病方面有些合作。对于放射影像而言，放射科的主流机器都是由大公司来做。我们从两年前开始与 GE 合作人工智能成像方面的研究。而 IBM 侧重于大数据和推理，属于自然语言理解分析。有人说自然语言理解的进展没有图像领域进展大，但是我认为这事也不能急，时机成熟自然就会有好的结果。王革（右）于2014年当选美国科学促进会会员。王革（Ge Wang），美国纽约伦斯勒理工学院（RENSSELAER POLYTECHNIC INSTITUTE）的讲席教授（Clark & Crossan Chair Professor），也是生物医学影像中心主任。他于 1982 年毕业于西安电子科技大学电子工程系，于 1991 年和 1992 年在美国纽约州立大学获得硕士和博士学位，现为 IEEE、AAPM、AIMBE、SPIE、OSA，和 AAAS 多个国际学术组织的 Fellow。他专注于 X 射线计算机断层扫描、光学分子成像、多尺度和多模态成像、机器学习等方面研究。他的团队在医学成像方面进行了一系列开拓性的研究工作，提出了螺旋状锥束 CT 重建、自发荧光断层成像、CT 内重建理论和方法等。他发表了 450 多篇期刊论文，主持多个大型 NIH 和 NSF 项目。其团队与哈佛、斯坦福、康奈尔、MSK、UTSW、耶鲁、GE 全球研究中心、 Hologic 和 IBM 等均有活跃的合作。

通过深度学习、机器学习等人工智能技术，能够对医学影像进行无监督或者半监督的自动化分析，提升医学影像临床诊断效率，深入发掘影像数据中潜藏的医疗与科研价值。医疗行对医学影赛道像诊断的准确度与诊断效率要求在日益增长，传统医学影像科室无法满足国内日益增长的患者需求，由于硬件算业力和算法模型的飞速发展，医学影像中人工智能技术的应用成为必然趋势。人工智能技术对医学影像系统智能化升级体现在：医学影像软件系统诊断及分析功能的升级、医学影像成像设备的升级、助力医学科研工作等方面。自2016年以来，大量初创公司和行业巨头开始加速探索人工智能技术在医学影像领域的商业化应用，医学影像人工智能成为热门投资。作者 | 付海天、田辰一、全球及中国医学影像市场规模据Zion Market Research测算，全球影像诊断市场在2016-2021年年复合增长率（CAGR）约为6.0%，预计在2021年市场规模将达335亿美元。据Signify Research报告显示，全球人工智能医学影像市场有望将在2023年达到20亿美元规模。海通证券等多家机构预测，到2020年国内医学影像市场规模将达6000-8000亿元。据机器之心数据统计，2016年中国医学影像相关企业（包含医学影像业务的通用型人工智能公司）累计融资额约63亿人民币，之后呈现快速增长趋势，2018年融资额度创历史新高，高达约300亿人民币，企业产品创新研发投入持续加码，诊断产品覆盖病种达近百种。中国医学影像相关产品/解决方案服务商年度融资额二、人工智能技术对医学影像行业的影响医学影像数据感知及分析：医学影像的处理本质上就是计算机视觉技术在医疗行业的应用，涉及医学图像分割、图像配准、图像融合、图像压缩、图像重建等多个领域。人工智能的作用主要体现在对于经过一定计算机视觉技术处理后的图像数据进行进一步的智能化分析，辅助医生进行标注、诊断或者手术工作。医学影像数据与其他类型数据融合处理及分析：医学影像能够展现患者身体特定部位的结构特征和代谢情况，具有大量图像数据信息供计算机进行分析，如果将医学影像数据结合患者的生理体征、病史、基因信息、身份信息等非图像数据，通过人工智能算法模型进行训练和应用，则能够帮助计算机从更高维度来分析数据和提取重要特征，更加全面展现疾病背后的隐含关联因素，辅助医生对疾病状况进行更精准的分析诊断。影像数据挖掘加速医疗科研过程：医学影像数据挖掘指从存放在数据库或其他信息库中的大量影像数据中挖掘有价值信息的过程，其目的是寻找影像数据背后的关联和模式。计算机辅助诊断（CAD）系统的原始处理对象为医学影像信息数据库 , 对影像信息进行数据挖掘和知识发现, 能够发现其中的诊断规则和模式，加速医疗科研过程。三、人工智能技术在医学影像中的应用分布四、医学影像中人工智能技术落地案例简述腾讯觅影：腾讯觅影利用腾讯优图在大数据、图像识别与深度学习方面的技术，对早期肺癌的敏感度（识别正确率）达到 85% 以上，在良性肺结核的特异性（识别正确率）超过 84%，对于直径大于 3mm 小于 10mm 的微小结节检出率超过 95%。博为软件：博为肝脏三维手术规划系统解决了肝脏切除手术方案设计困难问题，通过对原始的CT数据进行后处理重建为三维立体图像，精准肝脏分割与分段，自动提取肿瘤病脏，直观地展示肝脏肿瘤、肝段、肝脏内部复杂的管道解剖结构，对病例进行量化分析，并自动生成临床脏器定量分析报告。Curexo：由美国 Curexo 公司制造的Robodoc主要用于膝关节和髋关节置换手术。RoboDoc 包括两部分：手术规划软件和手术助手，分别完成 3D 可视化的术前手术规划、模拟和高精度手术辅助操作。RoboDoc机器人采用了四轴直角坐标工业机器人本体，使用患者股骨上插入的钛金属定位针来实现机器人与患者骨骼的相对定位，精度达到了0.1mm。RoboDoc主要用于关节置换术中辅助骨骼和假体的成形、定位和植入，可提高全膝（髋）置换手术的质量。深思考：基于宫颈细胞学领域知识，通过深度学习、机器学习、医学图像处理等技术提取宫颈细胞的关键特征，自动分割团簇重叠细胞，快速识别涂片上病变细胞的分级类别，实现宫颈细胞涂片的辅助阅片。深思考人工智能辅助阅片机器人可在100秒内完成单张涂片的阅片，适配国内多种制片方法，其中鳞状上皮细胞异常敏感性约为98.4%，特异性约99.77%，腺细胞异常敏感性约为93.4%，特异性接近90%。五、医学影像领域人工智能技术发展所遇瓶颈1. 影像数据分散在各个机构：影像数据是训练影像智能诊断算法模型所需的核心资源，但大量的影像数据分散在各个医院、影像中心、研究机构，不易被高效整合利用。2. 影像训练数据集标注结果存在主观差异：不同医生对图像的理解存在主观差异性，造成标注结果的不确定性，导致影像训练数据集的标注结果受到主观因素的影响。3. 人工智能算法模型适用的影像类型有待拓展：目前人工智能影像诊断主要集中在X光、CT、病理领域，而在超声、MRI、PET、红外等影像领域应用较少。六、医学影像领域人工智能技术发展的未来趋势1. 医学影像技术进一步发展：医学影像系统中成像设备技术升级、影像设备图像处理算力增加、智能诊断软件集成病种增多、影像数据融合应用、迁移学习加速影像诊断模型训练。2. 人工智能在医学影像应用领域不断拓宽：除疾病的鉴别诊断外，还可应用于分子及细胞层面图像处理、应用于介入影像学、助力非外科手术方法诊断及治疗等。3. 医学影像产业升级：区域影像数据中心建设促进区域级别影像数据流转及应用，医学影像专家团队开发模型评估体系与统一标准作为产业界产品标准等。* 本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布，敬请大家关注。针对「医学影像中人工智能应用现状及展望」这一主题，有哪些方向或主题，你希望在报告深度版中读到更详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。

医学影像是人工智能与医疗健康结合中，发展最为迅猛的领域。据不完全统计，国内涉足医学影像AI业务的企业已经多达上百家。以汇医慧影、推想科技、图玛深维为代表的医学影像AI初创公司在过去几年里飞速成长，团队规模不断壮大，均取得了单轮数亿元人民币融资的亮眼成绩。技术层面，医学影像AI已经从前沿概念变成了成熟可用的产品，具备了临床应用的条件。应用边界不断拓展，从最常见的肺结节、眼底逐步延伸到了乳腺癌、骨科、心血管、脑部疾病等诸多领域，产品矩阵不断丰富，并形成了差异化。产品与临床诊疗流程的结合也日益深入，从只能完成单点任务（例如优化结节检出）进阶到能完成以疾病（例如肺癌）或者部位（例如全肺CT影像诊断）为中心的诊疗流程。不管是在产品形态还是临床应用场景的进化上，都已经跨出了重要的一步。填补行业报告的空白医学影像AI发展到今天已经自成一隅，成为医学AI中最为繁盛的分支，值得单独拿出来深入剖析。然而，雷锋网发现目前市面上鲜有重点聚焦医学影像AI的独立行业研报。作为一家跟踪医学影像AI发展长达两年多的专业媒体，雷锋网有责任开风气之先。为此，经过近两个月的企业调研、报告撰写后，雷锋网推出了首份医疗影像AI行业垂直深度报告——《2018医学影像AI行业研究报告》。本报告不拘泥于格式，不堆砌无意义的表格和数据，不做价值较小的常识内容普及，而是深入行业本质，剖析入微。报告内容报告中，我们针对医学影像AI这个庞大市场中相关的各类玩家及其技术、产品和商业化路径进行剖析，试图为大家呈现出医学影像AI的真实面貌，以帮助各位把握这个行业的概况，同时作为投资、创业的参考。概括来说，本报告的主要内容包括：还原医学影像AI领域的发展现状，及行业共同面临的几大挑战分析8大主流赛道的市场需求、技术挑战及代表性企业的产品落地情况对比中美医学影像AI监管思路，介绍中国医学影像AI监管体系的建设情况对行业未来发展趋势的几大判断雷锋网梳理出了目前医学影像AI领域最热门和最具代表性的八条赛道——肺结节、眼底、乳腺癌、宫颈癌、皮肤病、骨龄测试、脑部疾病、靶区勾画，以及每条赛道上最具代表性玩家，将其产品特点及落地情况进行横向对比，力求直观地还原行业现状。同时，医疗作为一个强监管行业，受到国家政策的引导和约束，医疗影像AI产品上市必须先获得相关部门审批。雷锋网在报告中单独辟出一个章节，对中美两国的医疗AI产品监管思路进行了深入对比。从结果来看，在传统医疗器械领域，中国由于起步较晚，和美国的发展存在一定差距，审批要求也有很大的不同。但在医疗人工智能领域，两国起步时间差不多，基本保持齐头并进的态势，监管思路非常接近，有很多可以相互交流和借鉴的地方。雷锋网在医学影像AI行业的积累医学影像AI作为一个多学科交叉领域，需要各方思想的交流和碰撞。过去两年多时间里，雷锋网采访了近百位医学影像AI公司与医疗器械企业高管，73位三甲医院影像科主任、30多位国际知名医学影像分析学术专家、数十位知名医疗投资人，以及监管部门核心负责人，发表了百篇以上的医学影像行业深度报道。与此同时，7大Fellow得主田捷、飞利浦中国CTO王熙、MICCAI 2019大会主席沈定刚、微软亚洲研究院副院长张益肇、斯坦福医学物理系主任邢磊等顶尖医学影像专家均在雷锋网举办的医疗大会中做深度报告。2018年，我们对过去两年多的调研结果进行了重新组织与梳理，同时在近三个月内与产、学、医、投资、监管五界的资深人士再次交流碰撞，从市场需求、技术、资本、监管等多个维度，对医学影像AI的发展进行全景、立体式的展现。报告适宜人群与机构：企业：医疗人工智能从业者与创业者风投：投资医疗AI赛道的风险投资人高校：计算机视觉、图像处理与医学影像研究背景的教授、研究员；欲从事医学影像分析的学生医院：影像科/放射科/病理科主任医师、信息中心主任监管：NMPA等医疗相关监管机构的从业者相信这样一份行业研究报告，将帮助医疗投资人、行业从业者、医生等实现从技术到市场的全面理解，更好地建立行业共识，继而推动技术革命走向产业化落地。购买方式12月3日起，所有雷锋网「AI投研邦」年度会员可前往会员页面免费阅读本报告，非会员亦可通过官方渠道购买后在线查阅。关于「AI投研邦」「AI投研邦」系雷锋网旗下会员组织，聚焦AI+ 10大领域 ：AI+汽车（智能驾驶）、AI+教育、AI+金融、AI+智慧城市、AI+安防、AI+医疗、AI+IoT、AI+芯片、AI+零售、AI+安全。「AI投研邦」提供4大服务权益，包括每日投研通讯、每周「大咖Live」、每月AI+主题研报和其他不定期会员彩蛋等，全年365天投研资讯精选推送，40场+国内外AI大咖线上亲授，12份人工智能行业研报。我们希望能给认同投研产生价值的一二级市场投资人、以及给希望知识创造财富的工业界业者，提供更多专业深度的知识服务和交流平台。「AI投研邦」服务将在2018年12月3日与《2018医学影像AI行业研究报告》同步上线。欢迎加入「AI投研邦」，成为行业1000+投研领袖，一起引领人工智能未来。

自中华人民共和国成立以来，医学影像人经过几代人的努力，经过70年的不断建设和发展，现在已经成为设备先进、专业设置齐全、诊疗技术力量雄厚、人才梯队结构合理、发展方向明确并具有特色的学科。如果要给70年的风雨历程谱一曲时代华章，医学影像学的变迁无疑是华美、炫目、精彩的篇章，让我们随着动人的旋律一起走进放射科，走进那一个个历史的瞬间。1 设备与环境的改善医学影像学的发展离不开设备的发展。随着科技进步和医院规模的不断扩大，科室设备得到不断引进和更新。早期，医院放射科医师尚在黑暗中工作，胶片冲洗是手工操作，在暗室内将胶片从片盒中取出夹在片夹上，程序化地从显影、定影到水洗，并随时观察冲洗情况，然后拎出滴水或烘干的胶片放在观片灯上观看。30多年前，放射科可谓进行了暗室的革命，胶片冲洗从手工操作逐渐向机械化迈进，首先是自动洗片机的发明，让我们脱离了纯手工操作和人工随时观察冲洗进程。然后到先进的激光干式相机的出现，全明室操作的机械化流程，真正把我们从黑暗带向光明。胸部透视的年代，放射科老前辈们首先需要提前做好眼睛的暗适应，然后穿着厚厚的铅围裙，带着患者进入黑暗的机房。胸部透视和特殊造影检查随着电视透视和数字胃肠机、DSA等大型设备的引进，让我们终于可以脱掉沉重的铅围裙，坐在明亮的、与患者隔离的操作间内进行操作。随着计算机与影像设备制造技术的发展与进步，放射科得到飞速发展。X线成像从最初的暗盒摄影，到20世纪90年代出现的计算机X线摄影（CR），进入21世纪数字X线摄影（DR）的出现使X线成像真正实现了数字化。我国各级医疗机构目前几乎已经完全实现了数字化X线摄影。1972 年首台CT诞生，标志着放射影像进入计算机断层成像时代，在减少组织重叠的同时，还把X线的密度分辨力提高了约20倍，是现代医学发展的一个里程碑，CT发明者麦克劳与豪斯菲尔德也因此获得1979年诺贝尔奖。20世纪90年代，螺旋CT的出现大大提高了扫描速度，使动态增强扫描成为可能，有利于病变的检出与定性诊断。21世纪初，多排螺旋CT问世并快速发展，探测器的排数从最初的4排，逐步增加到8排、16排、64排、128排，直至256～320排，并同时出现双源CT等技术。CT成像速度显著加快，使心脏CT成像成为临床较为常规的筛查与诊断方法；能谱成像的出现使CT图像的组织对比增强，并可获得更多的组织特征信息。我国于20世纪70年代末（改革开放初期）引进了首台CT，而目前16排以上的多排螺旋CT已经普及到县级甚至县级以下医院。据不完全统计，目前我国CT的装机量已经突破3万台。同时国产的CT设备也在国内占据越来越大的份额，并远销到国外。20世纪80年代初期开始用于临床的MRI也是人类医学史上的伟大创举，MRI发明者劳特布尔与曼斯菲尔德因此获得了诺贝尔奖。40年来MRI发展迅速，场强也从原来的0.5T以下为主发展为1.5T～3.0T为主，7.0T设备也开始应用于临床。MRI具有无辐射、软组织对比更好、多参数成像、功能成像等优势，在神经系统、关节、腹部实质器官等部位的疾病评价方面不同程度地优于CT，在临床上得到越来越广泛的应用。自从我国于1985年引进了第一台MRI以来，据不完全统计目前国内临床MRI装机量已经突破2万台。国产MRI的质量也越来越好，部分产品可与进口同类产品媲美，市场占有率也越来越高。2 放射影像资源的网络化和信息化随着国民经济和科学技术的发展，我国已逐步进入网络时代，网络信息和视频的临床应用使远程会诊已经不再是梦想，为及时准确诊断并制订准确治疗方案赢得了宝贵的治疗抢救时间。早期，放射科老前辈们还需要抱着厚厚的胶片，借助观片灯，一张一张地阅读结果。随着科技的飞速发展，PACS系统已经被各级医院广泛使用，医学影像学真正实现了无胶片化工作、远程会诊、线上管理的工作模式，成为现代网络科技在医学领域应用的示范科室。3人工智能（AI）新技术的广泛应用近年来，随着新兴技术的发展，医疗产业作为人工智能与垂直行业紧密结合的一个重点领域，已经越来越多地落地到实际运用场景中。在新一代信息技术的引领下，数据快速积累，运算能力大幅提升，算法模型持续演进，行业应用快速兴起，人工智能的发展环境发生了深刻的变化，迎来了第三次高速发展的浪潮。影像医学作为医疗领域中新技术发展和应用最前沿的科室，由于医疗影像诊断具有可存储、可传输、相对标准化的特点，率先参与到基于图像的人工智能医学领域关键技术的研发，也成为最早应用在人工智能研发和落地的领域。运用人工智能技术对影像医学数据进行深度学习和决策判断，显著提高了从业人员的工作效率，并大幅降低医疗成本，影像医学的人工智能发展已经成为智能医疗的核心。国内很多大学附属医院的放射学专家与科研院所及人工智能科研人员合作，开展医学影像人工智能的研究和产品研发，部分技术处于世界先进水平。目前，基于人工智能的肺结节检出与良恶性判断、冠状动脉自动重建等系列产品，已经初步从实验室走向临床，并在多家医院进行了较为成熟的应用，为影像学诊断工作提供了极大的便利。同时，基于人工智能的图像学习、信息深度挖掘等，在影像医学的科研领域中也发挥着重要的作用，形成了一系列科研成果，为将来的临床转化和应用奠定了良好的基础。人工智能新技术在影像医学的广泛应用，提高了医师的工作效率，减轻了医师的劳动负荷，开启了当代医学发展的新纪元。新中国成立以来，国家的飞速发展为我国医疗发展提供了重要的基础，医学影像学的发展也成为医疗水平发展中的“排头兵”。医学影像学的变化使医疗事业有了一个长足的发展，正因为这些发展变化，医务工作者才能够把最好的服务带给患者，才能够让大家更加健康快乐地生活。医学影像学取得的一系列成绩和不断提升的水平，无一不是一代又一代医学影像人在国家的带领下，发扬团结奋斗、艰苦创业的精神创造出来的，展示了医学影像人自强不息、开拓创新、永不服输的强大凝聚力量。党的十九大作出了实施健康中国战略的重大决策部署，充分体现了对维护人民健康的坚定决心。成绩属于过去，站在新的历史起点，我们任重道远。新的号角已经吹响，医学影像人又踏上了新的征程。面对日新月异的新形势，2019年必将成为医院承前启后、继往开来的里程碑和再铸辉煌的新起点。