40004-98986
气息沸然深度学习在医学影像中的研究进展及发展趋势
深度学习在医学影像中的研究进展及发展趋势王丽会1,2, 秦永彬1,21 贵州省智能医学影像分析与精准诊断重点实验室，贵州 贵阳 5500252 贵州大学计算机科学与技术学院，贵州 贵阳 550025摘要：医学影像是临床诊断的重要辅助工具，医学影像数据占临床数据的90%，因此，充分挖掘医学影像信息将对临床智能诊断、智能决策以及预后起到重要的作用。随着深度学习的出现，利用深度神经网络分析医学影像已成为目前研究的主流。根据医学影像分析的流程，从医学影像数据的产生、医学影像的预处理，到医学影像的分类预测，充分阐述了深度学习在每一环节的应用研究现状，并根据其面临的问题，对未来的发展趋势进行了展望。关键词：深度学习 ; 医学影像 ; 图像处理 ; 人工智能 ; 卷积神经网络论文引用格式：王丽会,秦永彬. 深度学习在医学影像中的研究进展及发展趋势[J]. 大数据, 2020, 6(6): 83-104.WANG L H, QIN Y B. State of the art and future perspectives of the applications of deep learning in the medical image analysis[J]. Big Data Research, 2020, 6(6): 83-104.1 引言医学成像已成为临床诊断的重要辅助手段，其包括计算机断层扫描（computed tomography，CT）成像、磁共振成像（magnetic resonance imaging，MRI）、正电子发射断层扫描（positron emission tomography，PET）成像、超声（ultrasound， US）成像、X射线（X-ray）成像等。如何借助大数据和人工智能技术，深入挖掘海量的医学图像信息，实现基于影像数据的智能诊断、智能临床决策以及治疗预后，已成为目前的研究热点。深度学习属于机器学习的分支，是目前实现人工智能技术的重要手段。随着深度学习技术在图像处理和计算机视觉领域的广泛应用，利用深度学习技术辅助临床诊断和决策已成为医学图像分析领域的研究重点。医学影像智能诊断的流程可大致分为3个步骤，首先获取大量高质量的图像数据，然后对图像进行预处理，最后挖掘图像信息，进行分析预测。其具体环节如图1所示。其中海量、高质量的图像数据是深度学习训练的基础，图像预处理（如配准、感兴趣区域提取）是后续分析准确度的基本保障，挖掘信息、建立预测模型是临床智能决策的关键。因此，本文将分别围绕这3个方面，阐述深度学习在医学图像处理分析流程中每个环节的主要应用现状，最后总结深度学习在医学影像研究中的发展趋势。图1 医学图像处理分析过程2 医学图像复原、重建与合成2.1 医学图像复原与重建海量、高质量的医学图像数据是利用深度学习技术实现影像精准诊断的基础。然而，由于成像设备和采集时间等因素的限制，在医学成像的过程中不可避免地会受到噪声、伪影等因素的影响。同时，针对某些成像方式，需要在成像分辨率和采集时间上进行折中，例如在CT成像中，为了降低辐射的影响，需要减少投影采集数目；在磁共振成像中，为了减少患者运动或者器官自身运动引起的伪影，需要降低K空间的采样率以减少采集时间，然而低采样率会严重影响图像的重建质量。为了获得高质量的采集图像，经常需要进行图像降噪、图像超分辨率重建、图像去伪影等复原与重建工作。下面将分别阐述深度学习在这几方面的研究现状。2.1.1 医学图像降噪基于深度学习的医学图像降噪主要应用在低剂量CT图像中。卷积降噪自动编码器（convolutional neural networkdenoise auto-encoder，CNN-DAE）是早期用于医学图像降噪的深度学习模型。该模型通过一些堆叠的卷积层，以编码和解码的方式从噪声图像中学习无噪图像，其鲁棒性较差，对噪声类型变化较为敏感。随后，Chen H等人提出RED-CNN降噪模型，将残差网络与卷积自动编码器相结合，通过跳跃连接形成深度网络，实现低剂量CT图像的降噪。同年，Kang E等人首先对低剂量CT图像进行方向小波变换，然后将深度卷积神经网络模型应用于小波系数图像，实现降噪，并使用残差学习架构加快网络训练速度，提高性能。虽然这些网络结构的降噪性能相较于传统方法得到了显著的提升，但是其网络训练均以复原CT图像与相应正常剂量CT图像之间的均方误差最小为优化目标，使得降噪图像存在细节模糊和纹理缺失等问题。为了解决这一问题，研究者提出改进损失函数和模型结构的方法来优化低剂量CT图像的降噪效果。WGAN-VGG模型通过引入感知损失，采用WGAN（Wasserstein generative adversarial network）模型进行降噪，利用Wasserstein距离和感知损失提高降噪图像与真实图像的相似性。基于WGAN-GP（gradient penalty）的SMGAN （structurally-sensitive multi-scale generative adversarial net）模型将多尺度结构损失和L1范数损失结合到目标函数中，并利用相邻切片之间的信息降噪，其结果优于WGAN-VGG模型。但是梯度惩罚的使用削弱了生成式对抗网络（generative adversarial network，GAN）的表示能力。为了解决这个问题，Ma Y J等人提出基于最小二乘生成对抗网络（least-square GAN，LS-GAN）的残差生成器结构，通过引入结构相似度和L1范数损失来提高降噪能力，生成器负责学习噪声，降噪图像为生成器的网络输入与网络输出的相减结果。除了生成模型，为了提高降噪效果，Yin X R等人同时在投影域和图像域采用3D残差网络进行降噪，并利用滤波反投影重建算法，实现投影域和图像域的相互转化，通过迭代的思想实现图像降噪。Wu D F等人提出一致性神经网络模型，实现了无监督的图像降噪方法，其不需要无噪图像标签，仅利用有噪图像对模型进行训练，从而获得降噪图像。可以看出，在利用深度学习进行降噪时，常需要利用有噪图像和无噪图像来训练模型，学习噪声类型，或者学习无噪图像与有噪图像之间的对应关系，进而实现图像降噪。这种方式具有一定的局限性，在临床的某些应用上，很难获得真实的无噪图像。因此，如何采用无监督或者自监督模型，仅利用有噪图像实现医学图像降噪将是未来研究的主要方向。2.1.2 医学图像超分辨率重建高分辨率的医学图像可以提供更多的临床诊断细节，然而由于采集设备的限制，临床上高分辨率图像较难获取。因此，如何利用深度学习技术从一幅或者多幅低分辨率医学图像中获得高分辨率图像成为当前主要研究热点之一。随着深度学习模型在自然图像超分辨率重建中的成功应用，采用深度学习模型进行医学图像超分辨率重建的研究逐渐开展起来。然而，医学图像与自然图像有本质的区别，其超分辨率重建不仅需要在图像切片平面上进行，还需要在切片之间进行，如图2所示。图2 医学图像超分辨率图像示意图（此图部分来自参考[9] ）除了将自然图像中的超分辨率重建模型直接应用到医学图像，Oktay O等人采用深度残差卷积网络从多个2D心脏磁共振（magnetic resonance，MR）图像中重建出3D高分辨率MR图像，提高了层间分辨率。Pham C H等人将SRCNN模型拓展到3D，以实现脑部MR图像的超分辨率重建。McDonagh S等人提出对上下文敏感的残差网络结构，可以得到边界和纹理清晰的高分辨率MR图像。Zheng Y等人提出多个Dense模块和多路分支组合的MR高分辨重建模型，该模型具有较好的重建结果和泛化能力。Zhao X L等人提出通道可分离的脑部MR图像高分辨率重建模型，一个通道采用残差结构，一个通道采用密集连接结构，实现了特征的有效利用，从而提高高分辨率图像的重建质量。Tanno R等人结合3DSubpixelCNN和变分推论实现了磁共振扩散张量图像的超分辨率重建。Peng C等人提出空间感知插值网络（spatially aware interpolation network，SAINT），充分利用不同切面的空间信息提高超分辨率图像的重建质量，该模型在对CT图像进行2倍、4倍和6倍分辨率重建时，均取得了较好的结果。Shi J等人提出一种多尺度全局和局部相结合的残网络（multi-scale global local resial learning，MGLRL）模型，实现了MR图像的超分辨重建，该模型可以增强图像重建细节。Lyu Q等人采用GAN实现了多对比度MR图像的超分辨率重建。与医学图像降噪相似，基于深度学习的超分辨率图像重建需要低分辨率图像样本和高分辨率图像样本对对网络进行训练。通常采用下采样的方式进行高/低分辨率图像样本对的构造。然而针对不同模态的医学成像，其成像原理大不相同，高分辨率和低分辨率之间的对应关系也不尽相同。因此，采用人工下采样的方式获得训练数据，学习低分辨率图像与高分辨率图像的对应关系，很可能与实际采集中低分辨率图像与高分辨率图像的对应关系不相符，进而导致重建的高分辨图像无意义，因此如何构建符合实际的高/低分辨率图像样本对是利用深度学习进行超分辨重建的难点。2.1.3 医学图像重建医学图像重建是指将采集的原始数据重建为临床上可视图像的过程，如CT采集的原始数据为投影图像，MR采集的原始数据为K空间数据，需要重建算法才能获得临床上用于诊断的图像。在实际应用中，由于一些采集条件的限制（如在CT中尽量减少投影数目，缩短采集时间，以降低辐射影响；在MR成像中，减少K空间填充数目，缩短采集时间，以避免患者的不适或者由患者运动带来的图像伪影），需要降低原始数据的采集率。然而，降低原始数据的采集率必然会影响图像的重建质量。因此，研究合适的重建算法，保证在原始数据低采样率下仍能获得高质量的重建图像，成为医学图像重建中的研究重点。目前采用深度学习模型进行医学图像重建的方法主要分为两类：一类是从原始数据直接到图像的重建，另一类是基于后处理的方式提高重建图像的质量。第一类方法的代表模型有：ADMM-Net，其用深度迭代的方式学习传统交替方向乘子（alternating direction method of multipliers，ADMM）优化算法中的超参数，可以直接从欠采样的K空间数据中重构出MR图像；Adler J等人提出对偶学习模型，用其代替CT重建中的滤波反投影方法，实现了投影数据到CT图像的准确重建；Cheng J等人在此基础上提出原始-对偶网络（primal-al network， PD-Net），实现了MR图像的快速重建；Zhang H M等人提出JSR-Net（joint spatial-Radon domain reconstruction net），利用深度卷积神经网络模型，同时重建CT图像及其对应的Radon投影变换图像，得到了比PD-Net更好的重建结果。第二类方法是目前主要的重建方式，即采用图像去伪影的后处理模型进行重建。用于图像降噪、超分辨重建的模型都可以用于该类型的图像重建，如Lee D等人提出带有残差模块的U-Net模型结构来学习重建图像与原始欠采样图像之间的伪影；随后，他们又提出利用双路U-Net模型对相位图像和幅度图像进行重建，进而提高了MR图像的重建质量；Schlemper J等人采用深度级联的卷积神经网络（convolutional neural network，CNN）模型，学习动态MR图像采集的时序关系，进而在快速采集下提高动态MR图像的重建质量；Han Y等人采用域适应微调方法，将CT图像重建的网络应用到MR图像重建上，可以实现高采样率下的准确重建；Eo T等人提出KIKI-Net，同时在K空间和图像空间域上使用深度学习网络进行重建，提高了MR图像重建的性能；Bao L J等人采用一个增强递归残差网络，结合残差块和密集块的连接，用复数图像进行训练，得到了较好的MR图像重建结果；Dai Y X等人基于多尺度空洞卷积设计深度残差卷积网络，以较少的网络参数提高了MR图像的重建精度；受到GAN在视觉领域成功应用的启发，Yang G等人提出一种深度去混叠生成对抗网络（DAGAN），以消除MRI重建过程中的混叠伪影；Quan T M等人提出一种具有周期性损失的RefinGAN模型，以极低的采样率提高了MR图像的重建精度；Mardani M等人基于LS-GAN损失，采用ResNet的生成器和鉴别器来重建MR图像，获得了较好的可视化结果。图像降噪、图像超分辨率重建、图像重建等均属于反问题求解。因此，其模型可互相通用，本文不对其进行一一阐述。2.2 医学图像合成2.2.1 医学图像数据扩展目前，临床上医学图像合成主要有两个目的。其一，扩展数据集，以获得大量医学影像样本来训练深度学习模型，从而提高临床诊断和预测的准确度。尽管已有很多数据扩展方法，如平移、旋转、剪切、加噪声等，但是其数据扩展方式无法满足数据多样性的需求，在提升深度学习模型的预测精度以及泛化能力上仍有待提高。其二，模拟成像。由于不同模态的医学图像可以提供不同的信息，融合不同模态的医学影像信息可以提高临床诊断精度。然而同一个病人的多模态影像信息很难获取，此时图像合成便提供了一种有效的手段。此外，某些新兴的成像技术对成像设备具有较高的要求，仅少数的医院及科研机构可以满足要求，因此图像合成为获取稀缺的影像数据提供了可能。随着GAN模型在自然图像合成上的成功应用，应用GAN的衍生模型进行医学图像合成已成为近几年的研究热点。在医学图像数据集扩展方面，主要采用无条件的GAN模型进行合成，即主要从噪声数据中生成医学图像。常用的方法是以深度卷积生成对抗网络（deep convolutional GAN，DCGAN）为基线模型进行改进。如Kitchen A等人基于DCGAN模型成功地合成了前列腺的病灶图像；Schlegl T等人基于DCGAN提出一种AnoGAN模型，用来生成多样的视网膜图像，以辅助视网膜疾病的检测；Chuquicusma M J M等人采用DCGAN模型生成肺结节数据，其结果可达到临床放射科医生无法辨别的程度；Frid-Adar M等人使用DCGAN生成了3类肝损伤（即囊肿、转移酶、血管瘤）的合成样本，以提高肝病分类的准确性；Bermudez C等人采用DCGAN的原有训练策略，生成了高质量的人脑T1加权MR图像。尽管DCGAN在医学图像合成上取得了众多有价值的成果，但其仅能合成分辨率较低的图像。为了提高医学图像合成的质量，一些改进的GAN模型被提出，如Baur C等人采用LAPGAN，基于拉普拉斯金字塔的思想，利用尺度逐渐变化来生成高分辨率的皮肤病变图像，该方法生成的图像可以有效地提高皮肤疾病分类的准确性。此外，基于渐进生长生成对抗网络（progressive grow GAN，PGGAN）在高分辨率图像合成方面的优势，Korkinof D等人利用PGGAN合成了分辨率为1 280×1 024的乳腺钼靶X光图像。2.2.2 医学图像模态转换医学图像的模态转换合成可以分成两类。一类是单模态的转换，如低剂量CT到普通计量CT图像的转换提出上下文感知生成模型，通过级联3D全卷积网络，利用重建损失、对抗损失、梯度损失，采用配对图像进行训练，实现了MR图像到CT图像的合成，提高了合成CT图像的真实性。除了级联模型，在多模态图像转换任务中，常采用的深度模型网络架构为编码-解码结构，典型代表为Pix2Pix以及CycleGAN模型。如Maspero M等人采用Pix2Pix的网络结构，实现了MR图像到CT图像的转换，进而实现放化疗过程中辐射剂量的计算；Choi H等人基于Pix2Pix模型，从PET图像生成了结构信息更加清晰的脑部MR图像。尽管Pix2Pix模型可以较好地实现多模态图像的转换，但是其要求源图像与目标图像必须空间位置对齐。这种训练数据在临床上是很难获取的。针对源图像和目标图像不匹配的问题，通常采用CycleGAN模型进行图像生成。Wolterink J M等人使用不配对数据，利用CycleGAN从头部MRI图像合成了其对应的CT图像，合成图像更真实。目前，CycleGAN已成为多模态医学图像转换中广泛采用的手段，如心脏MR图像到CT图像的合成、腹部MR图像到CT图像的合成、脑部C T图像到M R图像的合成等。然而CycleGAN有时无法保留图像的结构边界。Hiasa Y等人引入梯度一致性损失，对CycleGAN模型进行了改进，该损失通过评估原始图像与合成图像之间每个像素梯度的一致性来保留合成图像的结构边界，进而提高了合成图像的质量。3 医学图像配准与分割在很多医学图像分析任务中，获得高质量的图像数据后，经常需要对图像进行配准，并对感兴趣区域进行分割，之后才能进行图像分析和识别。本节分别对深度学习在医学图像配准以及分割领域的应用进行详细的阐述。3.1 医学图像配准图像配准是对不同时刻、不同机器采集的图像进行空间位置匹配的过程，是医学图像处理领域非常重要的预处理步骤之一，在多模态图像融合分析、图谱建立、手术指导、肿瘤区域生长检测以及治疗疗效评价中有广泛的应用。目前，深度学习在医学图像配准领域的研究可以分成3类，第一类是采用深度迭代的方法进行配准，第二类是采用有监督的深度学习模型进行配准，第三类是基于无监督模型的深度学习配准。第一类方法主要采用深度学习模型学习相似性度量，然后利用传统优化方法学习配准的形变。该类方法配准速度慢，没有充分发挥深度学习的优势，因此近几年鲜见报道。本文主要集中介绍有监督学习和无监督学习的医学图像配准。基于有监督学习的配准在进行网络训练时，需要提供与配准对相对应的真实变形场，其配准框架如图3所示。网络模型的训练目标是缩小真实变形场与网络输出变形场的差距，最后将变形场应用到待配准的图像上，从而得到配准结果。在有监督学习的医学图像配准中，变形场的标签可以通过以下两种方式获得：一种是将经典配准算法获得的变形场作为标签；另一种是对目标图像进行模拟形变，将形变参数作为真实标签，将形变图像作为待配准图像。在基于有监督学习的刚性配准方面，Miao S等人首先结合CNN，采用回归的思想将3D X射线衰减映射图与术中实时的2D X射线图进行刚体配准；Salehi S S M等人结合深度残差回归网络和修正网络，采用“先粗配准，再细配准”的策略，基于测地线距离损失实现了3D胎儿大脑T1和T2加权磁共振图像的刚体配准，建立了胎儿大脑图谱；随后，Zheng J N等人采用域自适应的思想，利用预训练网络实现了2D和3D射线图像配准，其设计了成对域适应模块，用来调整模拟训练数据与真实测试数据之间的差异，以提高配准的鲁棒性。在非线性配准方面，模拟非线性变形场比模拟刚性变形场困难很多，因此在基于有监督学习的非线性配准中，大多采用经典方法获得变形场，并以其为标签，对模型进行训练。Yang X等人首先以U-Net网络模型为基线结构，利用微分同胚算法获得变形场，并将其作为标签，实现2D和3D脑部MR图像的端到端配准。因为非线性变形场较难模拟，所以在监督学习中引入弱监督配准和双监督配准的概念。弱监督配准指利用解剖结构标签做配准的标记，学习变形场。Hu Y P等人使用前列腺超声图像和MR图像的结构标记训练CNN模型，学习变形场，然后将变形场施加在灰度图像上，从而实现MR图像和超声图像的配准。Hering A等人采用相似度测量和组织结构分割标签，同时训练配准网络，提高了心脏MR图像的配准精度。双监督配准是指模型采用两种监督形式的损失函数进行训练，如Cao X H等人在进行MR图像和CT图像配准时，先利用生成网络将MR图像转换为其对应的CT图像，将CT图像转换为其对应的MR图像，在配准的过程中，同时计算原始MR图像与生成MR图像之间的相似性损失以及原始CT图像与生成CT图像之间的相似性损失，通过两种损失的优化，提高配准的精度；Fan J F等人结合有监督模型损失和无监督模型损失，实现了脑部MR图像的准确配准。有监督学习的医学图像配准的精度取决于标签的可靠性，因此，如何生成可靠的标签并设计合适的损失函数，是有监督学习的医学图像配准中待解决的难点。图3 有监督深度学习医学图像配准框架随着空间变换网络（spatial transformer network，STN）的问世，利用无监督深度学习模型进行医学图像配准成为研究热点。其配准网络框架如图4所示。Yo o I等人结合卷积自动编码器（convolutional auto-encoder，CAE）和STN模型，实现了神经组织显微镜图像的配准，其中CAE负责提取待配准图像与目标图像的特征，基于该特征计算相似性损失，结果表明，该种损失能取得较好的配准结果。2018年，Balakrishnan G等人提出VoxelMorph网络结构，以U-Net为基线模型，结合STN模块，实现了MR图像的非线性配准；随后，其对模型进行了改进，引入分割标记辅助损失，进一步提高了配准的Dice分数。Kuang D等人提出空间变换模块，用于替代U-Net网络结构，在降低模型参数的前提下，实现了脑部MR图像的准确配准。Zhang J为了进一步提高无监督配准的准确度，除了相似度损失，还引入了变换平滑损失、反向一致性损失以及防折叠损失。其中，变化平滑损失和防折叠损失是为了保证变形场的平滑性。反向一致性损失在互换待配准图像与目标图像时，可保证变形场满足可逆关系。Tang K等人利用无监督网络实现了脑部MR图像的端到端配准，即网络模型同时学习了仿射变换参数和非线性变换参数。除了基于CNN模型的无监督配准，采用GAN模型进行配准也已成为一种研究趋势，即采用条件生成对抗网络进行医学图像配准。其中，生成器用来生成变换参数或者配准后的图像，判别器用于对配准图像进行鉴别。通常在生成器与判别器之间插入STN模块，以进行端到端训练。目前，基于GAN模型的医学图像配准有较多的应用，如前列腺MR图像与超声图像配准，以CycleGAN为基线模型的多模态视网膜图像、单模态MR图像配准，CT图像和MR图像配准等。在基于GAN的医学图像配准中，GAN模型或者起到正则化的作用，用来调节变形场及配准图像，或者用来进行图像转换，利用交叉域配准提高配准的性能。表1总结了典型的无监督配准模型和有监督配准模型。图4 无监督深度学习图像配准网络框架3.2 医学图像分割医学图像分割是计算机辅助诊断的关键步骤，是进行感兴趣区域定量分析的前提。随着深度学习在语义分割中的快速发展，将自然图像分割模型扩展到医学图像已成为主要趋势。在医学图像分割中，采用的主流网络框架有CNN、全卷积网络（full convolutional network，FCN）、U-Net、循环神经网络（recurrent neural network，RNN）和GAN模型。目前常用的医学图像分割模型包括2.5D CNN，即分别在横断面、失状面、冠状面上使用2D卷积进行分割，在节约计算成本的前提下，充分利用三维空间的邻域信息提高分割的准确度。FCN是深度学习语义分割的初始模型，通过全卷积神经网络和上采样操作，可以粗略地获得语义分割结果。为了提高分割细节，采用跳跃连接将低层的空间信息和高层的语义信息相结合，以提高图像分割的细腻度。FCN及其变体（如并行FCN、焦点FCN、多分支FCN、循环FCN等）已被广泛应用到各种医学图像分割任务中，且表现良好。U-Net是由一系列卷积和反卷积组成的编码和解码结构，通过跳跃连接实现高级语义特征和低级空间信息的融合，进而保证分割的准确度。U-Net及其变体（如Nested U-Net、V-Net、循环残差U-Net）在医学图像分割上取得了较好的分割结果，是目前医学图像分割的主流基线模型。RNN类分割模型主要考虑医学图像分割中切片和切片之间的上下文联系，进而将切片作为序列信息输入RNN及其变体中，从而实现准确分割。典型的模型有CW-RNN（clockwork RNN）和上下文LSTM模型，其通过抓取相邻切片的相互关系，锐化分割边缘。在此基础上， Chen J X等人提出双向上下文LSTM模型——BDC-LSTM，即在横断面双向、矢状面双向和冠状面双向上学习上下文关系，其结果比采用多尺度分割的金字塔LSTM模型要好。基于GAN的分割的主要思想是生成器被用来生成初始分割结果，判别器被用来细化分割结果。一般在分割网络中，生成器常采用FCN或者U-Net网络框架，判别器为常见的分类网络结构，如ResNet、VGG等。基于GAN的医学图像分割已经被应用到多个器官和组织的医学图像分割任务中。表2为常见医学图像分割模型所用的数据集以及其分割性能对比。4 医学图像分类及识别4.1 医学图像分类医学图像分类和识别是计算机辅助诊断（computer-aided diagnosis，CAD）的最终目标。在深度学习出现前，常采用人工定义的图像特征（如图像的纹理、形状、图像的灰度直方图等），经过特征选择后，再基于机器学习模型（如支持向量机、逻辑回归、随机森林等）进行分类。典型代表为影像组学方法，其在肿瘤的分型分期、治疗的预后预测方面取得了很多重要的成果。然而，人工定义特征以及特征选择方式很大程度上影响了分类的可靠性和鲁棒性。近年来，深度学习模型的飞速发展，尤其是CNN的广泛应用，使得利用神经网络模型自动提取和选择特征并进行分类成为主流趋势。CNN模型的不同变体已经在基于医学影像的临床疾病诊断中得到了广泛的应用，例如基于Kaggle公司的眼底图像公开数据集，Shanthi T等人使用改进的AlexNet进行糖尿病视网膜病变的分类，其精度可以达到96.6%左右；基于VG G，利用胸片进行肺结节的良恶性分类，其精度可高达99%。目前，在常见的CNN变体中，ResNet和VGG在医学影像分类中的表现最好，因此大多数的肿瘤检测、脑神经系统疾病分类、心血管疾病检测等将这两种模型作为基线模型进行研究。与自然图像数据相比，医学图像数据中满足模型训练需求的数据较少。因此，为了提高临床影像智能诊断的准确性，通过知识迁移来训练医学图像分类模型已成为主流。常见的知识迁移包含自然图像到医学图像的迁移、基于临床知识的指导迁移。在自然图像到医学图像的迁移中，主要有两种方式：一种是固定利用自然图像训练的网络模型的卷积层参数，利用该参数提取医学影像特征，然后利用该特征结合传统的机器学习方法进行分类；另一种是将自然图像训练的网络模型参数作为医学图像训练模型的初始化参数，通过微调来实现医学图像分类。除了自然图像到医学图像的迁移，还可以利用其他医学图像数据集，采用多任务学习的方式进行数据信息共享，弥补数据不足带来的分类缺陷。基于临床知识的指导迁移将临床医生诊断的经验（如医生的经验学习方式、影像诊断方式以及诊断关注的图像区域和特征等）融入模型，根据临床医生诊断的经验，即先掌握简单的疾病影像诊断，再进行复杂疾病诊断，研究者们提出了“课程学习”模型，将图像分类任务从易到难进行划分，模型训练先学习简单的图像分类任务，再学习较难的分类任务。基于该方式的学习可以提高分类的准确度。基于医生诊断的方式（如迅速浏览全部医学图像，再选择某些切片进行诊断），研究者提出基于全局和局部的分类模型，其在胸片和皮肤疾病的诊断上取得了较好的效果。基于诊断时关注的影像区域，带有注意力机制的分类模型被提出，典型的代表有AGCNN（attention-based CNN for glaucoma detection）、LACNN（lesion aware CNN）和ABN（attention branch network），通过引入注意力，网络可以关注某些区域，从而提高分类的精度。此外，根据医生诊断用到的经验特征，如肿瘤的形状、大小、边界等信息，将人工定义的特征与深度模型提取的特征进行融合，提高医学图像的分类精度，也是一种趋势。如Majtner T等人将人工特征分类结果与深度学习分类结果进行融合，提高了皮肤癌分类的准确度；Chai Y D等人将人工特征和深度学习特征进行融合并训练分类器，从而实现青光眼图像的分类；Xie Y T等人将人工提取的特征图像块与深度学习图像块同时作为ResNet模型的输入，实现肺结节的准确分类。如何将深度学习特征与传统人工特征进行有效的融合，是该类模型设计的难点。4.2 医学图像目标识别医学图像目标识别也属于临床诊断的一种，即在一幅图像中标记出可能病变的区域，并对其进行分类，如图5所示。图5 医学图像目标识别示意图传统的人工标记识别费时费力。最初将深度学习模型应用于目标识别时，主要是将图像分成小块，逐块输入由CNN等组成的二分类模型中，判断其是否属于目标区域。随着深度学习模型在目标检测领域的快速发展，尤其是Fast R-CNN模型和Mask R-CNN模型的出现，将整幅医学图像输入模型，即可一次找到所有可能的目标区域。但是在这两类模型中均存在一个区域建议模块和一个分类模块，二者需要进行迭代更新，模型的速度并不能满足临床的实时性要求。YOLO（you only look once）和SSD（single shot multibox detector）模型的问世解决了目标检测的实时性问题。基于此类模型，Lin T Y等人提出RetinaNet模型，并将其扩展应用到病理图像和钼靶图像乳腺肿瘤识别、CT图像的肺结节检测中。上述模型均针对2D图像进行目标检测，忽略了3D图像中切片和切片之间的空间信息。为了提高识别的准确度，基于RNN和LSTM的识别模型被应用到医学图像中。此外，在医学图像目标识别中，同样存在数据不充足的问题。为了解决这个问题，基于迁移学习的医学图像识别逐渐开展起来，如基于ImageNet数据进行模型迁移，实现肺结节、乳腺癌和结直肠息肉的检测。同时，基于临床经验知识指导的迁移学习也被应用到医学图像的目标检测中。典型代表有AGCL模型，其基于注意力的课程学习，实现胸片中的肿瘤检测；CASED （curriculum adaptive sampling for extreme data imbalance）模型，其可检测CT图像中的肺结节；特征金字塔模型（feature pyramid network，FPN），其采用不同对比度的图像，利用多尺度注意力模型实现肿瘤检测。图像分类和图像目标识别是医学影像临床诊断的最终目标，是目前人工智能技术与临床紧密结合的研究方向。笔者仅对分类识别的几种情况进行了阐述，以便掌握其发展方向。表3给出了肿瘤分类中常用的医学图像数据集以及深度学习模型，并对比了其分类性能。5 结束语本文从医学图像数据产生、医学图像预处理，以及医学图像识别和分类等方面，阐述了深度学习模型在医学图像分析领域的应用现状。尽管深度学习模型（如CNN、LSTM、GAN、注意力机制、图模型、迁移学习等）在医学图像分析中已取得众多突破，然而将深度学习应用于临床，辅助临床进行精准诊断和个性化治疗仍受到以下几方面的限制。首先，现有的深度学习模型对影像数目和质量有较高的要求，而临床上带有标记的医学影像数据难以获取，且目前临床诊断预测常使用的方法是有监督学习，数据的不充足势必会影响预测的准确性和稳定性。因此，如何在只有少量有标签数据的情况下，采用弱监督、迁移学习以及多任务学习的思想，提高分类预测的准确度，将是持续的研究热点。其次，临床应用对可解释性要求较高，而目前深度学习模型所学习的特征无法进行有效的解释。尽管现阶段已有研究学者提出采用可视化以及一些参数分析来对模型和结果进行解释，但是与临床需求中要求的形成可解释的影像学标记还有一定的距离。因此，研究深度学习模型的可解释方法将是医学图像领域的研究热点。最后，如何提高模型预测的鲁棒性是待解决的难点。现有深度学习模型多数仅针对单一数据集效果较好，无法在不训练的情况下，较好地预测其他数据集。而医学影像由于采集参数、采集设备、采集时间等因素的不同，相同疾病的图像表现可能大不相同，这导致现有模型的鲁棒性和泛化性较差。如何结合脑认知思想改进模型结构以及训练方式，提高深度学习模型的泛化能力，也是医学图像应用领域中待研究的关键问题。作者简介王丽会（1982-），女，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室副教授，主要研究方向为医学成像、机器学习与深度学习、医学图像处理、计算机视觉 。秦永彬（1980-），男，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室教授，主要研究方向为大数据治理与应用、文本计算与认知智能。联系我们:Tel:010-81055448010-81055490010-81055534E-mail:bdr@bjxintong.com.cn
名止于实重磅丨雷锋网《2018 医学影像 AI 行业研究报告》正式上线：医生、企业、投资人多方融入，梳理八大细分赛道
医学影像是人工智能与医疗健康结合中，发展最为迅猛的领域。据不完全统计，国内涉足医学影像AI业务的企业已经多达上百家。以汇医慧影、推想科技、图玛深维为代表的医学影像AI初创公司在过去几年里飞速成长，团队规模不断壮大，均取得了单轮数亿元人民币融资的亮眼成绩。技术层面，医学影像AI已经从前沿概念变成了成熟可用的产品，具备了临床应用的条件。应用边界不断拓展，从最常见的肺结节、眼底逐步延伸到了乳腺癌、骨科、心血管、脑部疾病等诸多领域，产品矩阵不断丰富，并形成了差异化。产品与临床诊疗流程的结合也日益深入，从只能完成单点任务（例如优化结节检出）进阶到能完成以疾病（例如肺癌）或者部位（例如全肺CT影像诊断）为中心的诊疗流程。不管是在产品形态还是临床应用场景的进化上，都已经跨出了重要的一步。填补行业报告的空白医学影像AI发展到今天已经自成一隅，成为医学AI中最为繁盛的分支，值得单独拿出来深入剖析。然而，雷锋网发现目前市面上鲜有重点聚焦医学影像AI的独立行业研报。作为一家跟踪医学影像AI发展长达两年多的专业媒体，雷锋网有责任开风气之先。为此，经过近两个月的企业调研、报告撰写后，雷锋网推出了首份医疗影像AI行业垂直深度报告——《2018医学影像AI行业研究报告》。本报告不拘泥于格式，不堆砌无意义的表格和数据，不做价值较小的常识内容普及，而是深入行业本质，剖析入微。报告内容报告中，我们针对医学影像AI这个庞大市场中相关的各类玩家及其技术、产品和商业化路径进行剖析，试图为大家呈现出医学影像AI的真实面貌，以帮助各位把握这个行业的概况，同时作为投资、创业的参考。概括来说，本报告的主要内容包括：还原医学影像AI领域的发展现状，及行业共同面临的几大挑战分析8大主流赛道的市场需求、技术挑战及代表性企业的产品落地情况对比中美医学影像AI监管思路，介绍中国医学影像AI监管体系的建设情况对行业未来发展趋势的几大判断雷锋网梳理出了目前医学影像AI领域最热门和最具代表性的八条赛道——肺结节、眼底、乳腺癌、宫颈癌、皮肤病、骨龄测试、脑部疾病、靶区勾画，以及每条赛道上最具代表性玩家，将其产品特点及落地情况进行横向对比，力求直观地还原行业现状。同时，医疗作为一个强监管行业，受到国家政策的引导和约束，医疗影像AI产品上市必须先获得相关部门审批。雷锋网在报告中单独辟出一个章节，对中美两国的医疗AI产品监管思路进行了深入对比。从结果来看，在传统医疗器械领域，中国由于起步较晚，和美国的发展存在一定差距，审批要求也有很大的不同。但在医疗人工智能领域，两国起步时间差不多，基本保持齐头并进的态势，监管思路非常接近，有很多可以相互交流和借鉴的地方。雷锋网在医学影像AI行业的积累医学影像AI作为一个多学科交叉领域，需要各方思想的交流和碰撞。过去两年多时间里，雷锋网采访了近百位医学影像AI公司与医疗器械企业高管，73位三甲医院影像科主任、30多位国际知名医学影像分析学术专家、数十位知名医疗投资人，以及监管部门核心负责人，发表了百篇以上的医学影像行业深度报道。与此同时，7大Fellow得主田捷、飞利浦中国CTO王熙、MICCAI 2019大会主席沈定刚、微软亚洲研究院副院长张益肇、斯坦福医学物理系主任邢磊等顶尖医学影像专家均在雷锋网举办的医疗大会中做深度报告。2018年，我们对过去两年多的调研结果进行了重新组织与梳理，同时在近三个月内与产、学、医、投资、监管五界的资深人士再次交流碰撞，从市场需求、技术、资本、监管等多个维度，对医学影像AI的发展进行全景、立体式的展现。报告适宜人群与机构：企业：医疗人工智能从业者与创业者风投：投资医疗AI赛道的风险投资人高校：计算机视觉、图像处理与医学影像研究背景的教授、研究员；欲从事医学影像分析的学生医院：影像科/放射科/病理科主任医师、信息中心主任监管：NMPA等医疗相关监管机构的从业者相信这样一份行业研究报告，将帮助医疗投资人、行业从业者、医生等实现从技术到市场的全面理解，更好地建立行业共识，继而推动技术革命走向产业化落地。购买方式12月3日起，所有雷锋网「AI投研邦」年度会员可前往会员页面免费阅读本报告，非会员亦可通过官方渠道购买后在线查阅。关于「AI投研邦」「AI投研邦」系雷锋网旗下会员组织，聚焦AI+ 10大领域 ：AI+汽车（智能驾驶）、AI+教育、AI+金融、AI+智慧城市、AI+安防、AI+医疗、AI+IoT、AI+芯片、AI+零售、AI+安全。「AI投研邦」提供4大服务权益，包括每日投研通讯、每周「大咖Live」、每月AI+主题研报和其他不定期会员彩蛋等，全年365天投研资讯精选推送，40场+国内外AI大咖线上亲授，12份人工智能行业研报。我们希望能给认同投研产生价值的一二级市场投资人、以及给希望知识创造财富的工业界业者，提供更多专业深度的知识服务和交流平台。「AI投研邦」服务将在2018年12月3日与《2018医学影像AI行业研究报告》同步上线。欢迎加入「AI投研邦」，成为行业1000+投研领袖，一起引领人工智能未来。
弟为盗跖深睿研究院8篇论文入选CVPR2019，图像识别与医学影像分析等技术实现了创新性突破
2019年6月16日-6月20日，全球计算机视觉与模式识别顶级会议(IEEE CVPR 2019)将在美国长滩拉开帷幕，本次会议论文收录工作已经结束。CVPR( Conference on Computer Vision and Pattern Recognition)作为行业最顶级的研究型会议，每年被收录的论文均来自计算机视觉领域顶级团队，代表着国际最前沿的科研技术，并指引着计算机视觉领域未来的研究方向。本届CVPR总共录取来自全球顶级学术论文1299篇，中国团队表现不俗。深睿 AI LAB 8篇论文入选CVPR 2019根据CVPR 2019官网显示，共提交了7144篇论文，其中5165篇为有效投递论文，比去年CVPR2018增加了56%，最终录取了1299篇。这些录取的最新科研成果，涵盖了计算机视觉领域各项前沿工作。2019年深睿医疗有8篇论文被本届CVPR大会接收，跻身中国论文发布数量排名前列的科技公司之一。深睿研究院CVPR2019录取论文在以下领域实现了创新性突破：医学影像微小病灶检测、细粒度图像分类、基于弱监督的显著性检测、图像与自然语言的综合理解，统计理论与深度学习相结合，采用“异常检测”新思路准确检测医学图像中富于变化的弱信号等前沿技术。这些全球领先的计算机视觉算法显示了深睿研究院在计算机视觉领域强大的核心人才储备、科研文化底蕴和技术创新能力。深睿研究院独创的算法已被应用于深睿医疗现有医疗AI产品中，同时对未来产品研发提供有力的技术支撑。对于自研算法在智慧医疗领域的应用，研究院本次被录取了一篇文章题目为《基于级联生成式与判别式学习的乳腺钼靶微钙化检测(Cascaded Generative and Discriminative Learning for Microcalcification Detection in Breast Mammograms)》的论文。论文针对乳腺钼钯中的微钙化(直径<=1cm)检出问题提出了结合生成式和判别式模型的新思路。钙化检测对于乳腺癌的早期诊断十分关键，根据美国放射学院第五版BI-RADS标准，可疑恶性钙化点通常直径在1cm以内。因此，研究微钙化的检出算法具有重要的临床意义。(论文中配图)钼靶影像的微钙化点通常不到10个像素，且形态多变，再加上正常组织背景变化较复杂且样本量极大，仅使用判别式分类器很难提取到有效的特征。本篇论文设计了一个生成式模型“异常分离网络”，与判别式模型相结合，在公开和私有数据集上均超越了当前钙化检出的先进水平。深睿医疗2018年发布的一款基于乳腺钼靶的人工智能辅助诊断系统的产品，主要应用于乳腺癌的早期筛查和诊断，这篇论文中的算法已经在深睿这款产品上得到应用。另外一篇入选论文《为自底向上细粒度图像分类服务的弱监督互补部件模型(Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up)》提出了一种新颖且有效的框架—弱监督互补部件模型，来完成细粒度图像分类任务。(论文中配图)作者首先通过基于弱监督学习的物体检测和实例分割提取粗糙的物体实例，然后在尽可能保持多样性的原则下，对每个物体实例的最佳组成部件进行估计和搜索。实验表明本文提出的框架在一些常用的为细粒度图像分类服务的公开标准测试集上大幅度地超越了当前最先进的算法。俞益洲教授领衔的深睿研究院，在2018年的科研攻坚战取得了阶段性的成果。俞教授本人在2018年度入选2019 IEEE Fellow以及2018ACM杰出科学，获得两项殊荣，并带领团队完成了7款医疗AI 领域的人工智能产品的研发。俞教授坦言成立深睿研究院的初衷就是为了可以集中企业最核心的技术力量，探索前瞻性的技术，为医疗AI提供领先的技术，为医疗机构提供优质的临床痛点的解决方案，同时培养优秀的医疗AI科技人才。目前深睿医疗已经和10多家国内外顶级学术机构建立长期学术科研合作，20多家顶级三甲医院建立长期临床科研合作。医疗AI任重道远，需要更多的科研人员投身其中，要有克服困难的决心，也要有进行长期技术积累的耐心。深睿研究院CVPR2019收录论文列表如下：[1] “Cascaded Generative and Discriminative Learning for Microcalcification Detection in Breast Mammograms”Fandong Zhang, Ling Luo, Xinwei Sun, Zhen Zhou, Xiuli Li, Yizhou Wang, Yizhou Yu, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, June 16-20, 2019.[2] “Towards Accurate Task Accomplishment with Low-Cost Robotic Arms”Yiming Zuo, Weichao Qiu, Lingxi Xie, Fangwei Zhong, Yizhou Wang, Alan Yuille, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, June 16-20, 2019.[3] “Convolutional Spatial Fusion for Multi-Agent Trajectory Prediction”Tianyang Zhao, Yifei Xu, Mathew Monfort, Wongun Choi, Chris Baker, Yibiao Zhao, Yizhou Wang, Yingnian Wu, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, June 16-20, 2019.[4] “Completeness Modeling and Context Separation for Weakly Supervised Temporal Action Localization”Daochang Liu, Tingting Jiang, Yizhou Wang, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, June 16-20, 2019.[5] “Cross-Modal Relationship Inference for Grounding Referring Expressions ”Sibei Yang, Guanbin Li, Yizhou Yu, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.[6] “Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up ”Weifeng Ge, Xiangru Lin, Yizhou Yu, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.[7] “Multi-Source Weak Supervision for Saliency Detection”Yu Zeng, Huchuan Lu, Lihe Zhang, Yun Zhuge, Mingyang Qian, Yizhou Yu, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.[8] “Towards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification”Wenjie Yang,Houjing Huang,Zhang Zhang,Xiaotang Chen,Kaiqi Huang,Shu Zhang. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.来源：中国网
追命枪腾讯优图吴运声：大数据、人工智能为医学影像分析带来了新机会
在9月6日腾讯优图与《科学》联合举办的首届计算机视觉峰会上，腾讯优图总经理吴运声提到，大数据、人工智能的突飞猛进，为医学影像分析带来了很多新的机会。因此，优图也在医疗领域的基础研究上进行了大量的投入。目前，优图利用AI医学影像分析技术，为食管癌等疾病提供了全面高效的癌症早筛方案。（腾讯一线）
海之泪深度学习可超快分析三维医学影像
英国《自然·医学》杂志13日在线发表的两项独立研究显示，最新的人工智能（AI）已可以基于三维医学影像，对神经系统疾病和视网膜疾病给出快速、准确的自动诊断。这意味着深度学习算法已成功应用于三维医学影像的超快分析。深度学习方法已经能识别二维医学影像，实现疾病诊断，但其对复杂详细的三维影像的识别效果尚不明朗。容积成像技术已经协助从业医师完成了不少医疗诊断，将深度学习算法应用于三维影像识别和疾病诊断，有望进一步缩小这项技术与人类专家的差距。此次美国伊坎医学院科学家埃里克·欧曼及其同事，使用全新卷积神经网络方法分析了37200多张头部CT扫描，不但对中风或出血等急性神经系统疾病发作实现了正确诊断，还通过模拟临床应用证实该系统能缩短诊断时间。在另一项研究中，谷歌旗下人工智能子公司——“深度思维”（DeepMind）科学家奥拉夫·罗纳伯格及其同事，开发了一款深度学习架构，用于分析视网膜光学相干断层（OCT）扫描并诊断视网膜疾病，准确率高达95%。该系统可以分别进行三维影像分割和疾病诊断，对不同成像设备输出的复杂医学扫描都能作出准确判断。而早在去年5月，“深度思维”就已宣布，包括其最知名的人工智能“阿法狗”在内，不再参加到人机大战竞技中去。团队将研发出广泛算法以投入应用，其中最重要的就是能“提供疾病治疗方案”的人工智能，并与全球最知名的眼科医院之一、伦敦摩菲眼科医院展开了为期两年的合作。以上两项互补研究，将深度学习算法成功应用于三维医学影像的快速分析，意味着这些系统有望实现快速准确的诊断，从而帮助人类提升医疗工作效率。
豆满江周少华 Kevin：医学影像分析顶会 MICCAI 2018，我的三个预测都实现了吗？
雷锋网 AI 科技评论按：本文首发于美篇（https://www.meipian.cn/1lec7hpu），作者周少华，雷锋网 AI 科技评论获本人授权转载，特此表示感谢。周少华 Kevin，是中国科学技术大学学士、美国马里兰大学博士, 专业为电子工程。他曾在西门子负责研发与医学图像相关的创新产品，现任中科院计算所研究员。他撰写编辑了五本学术专著，发表了 180+ 篇学术期刊及会议论文和著作章节，拥有 80+ 项批准专利，并多次获奖，包括发明奥斯卡奖、西门子年度发明家、爱迪生专利奖、马里兰大学 ECE 杰出校友奖。同时，他还是 IEEE TMI 和 Medical Image Analysis 期刊副主编、CVPR 和 MICCAI 的领域主席、《视觉求索》联席主编以及美国医学与生物工程院 Fellow。MICCAI 是医学影像分析 (Medical Image Analysis) 研究领域的顶尖年会。今年，MICCAI 2018 于 9 月 16 日至 20 日在西班牙的格拉纳达 Granada 举行。九月中的西班牙，已经是秋季，可西班牙人的热情却还似夏日一样久久不曾褪去。一年一度的 MICCAI 盛会就在这样的热情中于西班牙的格拉纳达 Granada 举行了。【一、格拉纳达】格拉纳达 Granada 地处西班牙中偏东南部，坐落在 Sierra Nevada 山脚，四条河 (the Darro, the Genil, the Monachil and the Beiro）的汇聚之处。海拔平均 738 m，离地中海一小时车程。她是个中等城市，人口超 20 万；也是个大学城，每年有八万多学生在格拉纳达大学求学。因此，整个城市显得年轻，充满活力，洋溢着朝气。格拉纳达是西班牙最受欢迎的旅游景点之一。她历史悠久，曾是西班牙的历史长河中一个奠基石。当年，哥伦布在此附近被任命去探索新大陆，开启了当代的美洲历史。她文化荟萃，伊斯兰、犹太、基督三种文化共存。著名的 Alhambra 宫殿就是一座阿拉伯城堡。【二、大势所趋】前两天，读到一篇文章说，世上聪明人分三等，三等聪明靠做事，二等聪明靠观人，一等聪明靠夺势。这里我斗胆记载如下趋势，希望与大家一起「耍聪明共夺势」。1. MICCAI 热度升高本次大会与前几年相比，全面升级。投稿、接收文章、与会人数、workshop 数量、turotial 数量、赞助商个数等方方面面都创新高。因为文章数增加但会议天数没有变化，今年会议也首次引进部分双轨制，与单轨制结合。究其原因，主要受益于大环境。人工智能在这两年经历了野性生长期，虽然最近热度略有回热，但市场增量是确定的，而这种增长性会沿着惯性延续下去。2. 与相关领域紧密结合MICCAI 正在与别的领域加强合作。最近，MICCAI 与 American College of Radiology（ACR）签署了合作备忘录，来保证 AI 算法可以满足临床需求。ACR 主席 Geraldine McGinty 也给了主旨演讲。与 MICCAI 主席 Wiro 私下交流中得知，MlCCAI 与其他类似 ACR 的 societies 也正在接洽中。MICCAI 与计算机视觉本身就是一家。十多年前，我个人的文章只发 CVPR、lCCV、ECCV 等会议。可是形势逐步演化，MICCAI 成为我的首选，为的是与更多的同行有交流，影像分析与视觉似乎越走越远。可最近情况有所逆转，特别是算法方面，很多基于深度学习的算法很快就会在两边普及。本次会议也邀请了 Professor Kristen Grauman 作为主讲嘉宾。3. 深度学习红透半边天深度学习技术渗透到每一个角落。Reconstruction，enhancement，segmentation，registration, synthesis 等技术方向纷纷转向深度学习。另外，随着学习框架的开源与普及，使用深度学习成为了必然的首选。现在的研究更在于如何将深度学习结合自己问题的领域知识，才能达到原创性。这也是我这么多年来一直在实践的"机器学习+知识模型"思路。【三、花样年华】3.1 主旨演讲 Keynote SpeechGeraldine McGinty MD, MBA, FACRChair of the ACR‘s Board of Chancellors & Chief Strategy and Contracting Officer, Weill Cornell Medicine Physician Organization全面总结了 radiology 的前世今生、现状未来、困境机会、希冀展望，very informative！也给大家指明了努力方向。这张 Slide 充分说明了 radiology 的复杂度。根据经典的 gamuts.net, 一共有 4600 unique imaging findings，13000 unique conditions that cause findings, 57000 linkages between findings and conditions。Professor Paolo DarioDirector of the BioRobotics Institute at Scuola Superiore Sant』Anna, Pisa, Italy他描述了手术机器人的奇遇记 fanastic voyage: 从三十多年前的科幻到如今的现实。从毛毛虫的爬行中得到启示，他和团队发明了可爬行的 Capsule endoscopy，而爬行的动力来自于外部的核磁场！Professor Kristen GraumanFacebook AI Research & Professor in the Department of Computer Science at the University of Texas at AustinProfessor Bradley Nelson Professor in Robotics and Intelligent Systems at ETH Zürich全面介绍了 Micro and nano size robots。搭建微型 robot, 难点在于如何给它提供动力，让它运动，突破物理规律。当然 fibrication 难度系数也大大提高。3.2 MICCAI2018 华人学者聚餐会**联影智能、汇医慧影、视见医疗、图玛深维、比格威医疗、柏视医疗、深透医疗、体素科技、讯飞医疗、视源股份** 联合冠名9 月 18 日周二晩上 7 点半La Restauracion del Hotel Alhambra Palace曾国栋 姚林林 周少华 马锴 陈子仪 严文君 乔梦云 窦琪 闫平昆 吴烨 付华柱 朱卓暾 赵瑜 史勇红 章琛曦 杜浩 张帆 吴丝桐 赵灿 薛武峰 吴健 杨欣 陈章 孔斌 刘立 陈延位 陈强 闫增强 张天翊 王淑君 倪东 蒋官忆 吴国庆 刘思奇 容毅标 刘满华 吴轶成 杨鑫 俞凯 王醒策 李硕 张拓 冯驰宇 李玉洁 陈翰博 程骏 韩忠义 袁奕萱 魏本征 陈城 项磊 赵一天 曹一挥 邵伟 印胤 庞树茂 夏勇 夏炯 纪则轩 刘明霞 张建鹏 谢雨彤 郑亚林 孙蓬 吕乐 刘江 许言午 李刚 王利 张贺晔 朱文涛 赵天依 李钦策 张燕平 王沛 刘香园 陈军 张道强 程健 李小萌 张文 范永辉 廖昊夫 任旭华 王娜 张冬青 寿昊畅 徐晨初 王玉平 谷林 李霄霄 王伽宁 吴俊 蔡卫东 孙鑫伟 张益硕 林兰芬 梁栋 霍元恺 汪琳薇 谢龙 唐晖 钱真 史颖欢 罗捷 施鹏程 吴奕凡 沈理 闵哲 聂栋 赵涛 郑国焱 吴博烔 顾运 郑冶枫 王纯亮 陈晨 陶倩 李全政 杨光 刘力豪 王国泰 叶谋添 贺太纲 冯雪 王承嘉 莫元汉 夏沪川 陈志祥 刘亚淑 谷艳阳 郑昊 *联影智能 -- 曹晓欢 *汇医慧影 -- 孟博文、左盼莉、钟淑玲、史瑞琼、王成*视见科技 -- 陈浩、林黄靖、Karen、Stratios*图玛深维 -- 高大山、陈韵强*比格威医疗 -- 陈新建*柏视医疗 -- 沈烁*深透医疗 -- 张涛*体素科技 -- 梁建明*讯飞医疗 -- 殷保才*视源股份 -- 杨铭特别感谢志愿组织者曾国栋和姚林林，他们做了大量的极其琐碎工作：找餐馆、人员登记、Check-in、拍照等。众学者拾级而上五星级皇宫旅馆正门到达饭店正值夕阳红酒会之后下山"夜巡"3.3 Tutorial：Deep Reinforcement Learning for Medical Imaging从 2004 年博士毕业开始工作起，我就坚定不移地从事利用机器学习算法并结合知识模型来分析医疗影像。同时，也组织了一系列 Tutorial 来宣传 Machine Learning for Medical Imaging 的基本知识。-- 2009, Discriminative Learning for Medical Imaging, London, United Kingdom. (Jointly with Profs. Zhuowen Tu and Adrian Barbu)-- 2014, Generative and Discriminative Learning for Medical Imaging, Boston, Massachusetts. (Jointly with Prof. Adrian Barbu)-- 2015, Deep Learning for Medical Imaging, Munich, Germany. (Jointly with Prof. Dinggang Shen, Prof. Heung-il Suk and Prof. Hien van Nguyen)-- 2018, Deep Reinforcement Learning for Medical Imaging, Granada, Spain. (Jointly with Prof. Hien van Nguyen, Dr. Khoa Luu, Dr. Animesh Garg, and Dr. Hoang Ngan Le)今年，我们聚焦深度增强学习（DRL）。第一部分，从 Reinforcement Learning 的最基本概念开始，讲到 Deep Learning，然后介绍 Deep Reinforcement Learning。第二部分涉及了 DRL 在医疗影像中的几个具体例子。我也讲述了如何应用 DRL 来解决参数化检测和配准问题，并详细讨论了三篇相关文章。个人感觉，DRL 在未来是大有可为的研究方向。究其原因，主要有二:1. CNN 及 adversarial learning 目前大行其道，缺少创新感; DRL 则是稀缺资源。为了准备本次 turorial, 我们也颇费了一番周折才找到了合适的工作。2. DRL 本身是个非常 powerful 的 framework，几乎可以用来解决任何问题，但是漂亮框架后面还有不少技术难点，任何 little step 可以 make good impact。举个例子，Supervised Action Classifier: Approaching Landmark Detection as Image Partitioning 是我们去年在 MICCAI 发表的工作。常规的 landmark 表达包括点坐标、heatmap 图等。我们提出一种新的表达方式 action map，用于表示 landmark。其中的玄机就是引进了 DRL 的思路。a) landmark 检测转化成 path 查找，从图中任何一点，如何通过上下左右前后各方移动达到标志点; b) 直接学习 Q 函数比较复杂，最佳 policy 不够直觉化，所以我们干脆指定最佳 policy 来"反向学习"。这其实非常接近 lnverse RL 的思路。实验结果表明此表达方式效果明显。欢迎大家一起合作来玩 DRL。满堂的听众，目测超过 100 人。3.4 Gala dinner3.5 MedIA Editorial Board Lunch85%: overall rejection rate10: # of chinese universities are within top 20 institutes downloading MedIA articles13: # of accepted articles from China in 2017 (It was 9 in 2016)64: # of submitted articles from China in 2017 (so the rejection rate for China is 80%, which is lower the overall rate)5.356: 2-year impact factor (tmi is 6.131)MedIA ranks the 8th in all publications matching computer vision and pattern recognition per Google Scholar.【四、中国力量】本次参会的华人同比去年大幅增加，来自大陆的学者达 130 多人，还有在海外的华人学者估计也有一百多人。另一个例证就是聚餐会今年人数达 150 人，而去年有 100 多人。华人公司参展也有不少，包括 CVTE、汇医慧影等。赞助聚餐会的公司更达 10 个。更可喜的是文章质量也同步提升，获奖连连，包括 Young Scientist Award。【五、拙作介绍】介绍一下自己的 MICCAI2018 工作。今年一共投了 5 篇，3 篇首轮被录，1 篇次轮被录，1 篇杯具。其实，次轮被录的那篇其实 reviewer 评论很好，但因一个小失误被抓住把柄，其中某张图一不小心重复了一次（ctrl+V 多了一次）而超过指定页数。S. Liu, D. Xu, S. Kevin Zhou, O. Pauly, S. Grbic,T. Mertelmeier, J. Wicklein, A. Jerebko, W. Cai, and D. Comaniciu. 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes.三维图像往往各方向的精度差异很大，在这种情况下如何有效地学习深度网络是个难题。本文试图利用迁移学习，把二维特征有效地转到三维。Z. Xu, Y. Huo, J. Park, B. Landman, A. Milkowski, S. Grbic, and S. Kevin Zhou. Less is More: Simultaneous View Classification and Landmark Detection for Abdominal Ultrasound Images. 本文训练一个网络做二件事: 识别超声图的类别以及检测相关特征点，做到一石二鸟，以少胜多。H.Liao, Y. Tang,G.Funka-Lea, J. Luo, and S. Kevin Zhou. More Knowledge is Better: Cross-Modality Volume Completion and 3D+2D Segmentation for Intracardiac Echocardiography Contouring.心脏消融手术可用无辐射的 Intracardiac Echocardiography(ICE) 来导航，从而要在 ICE 中找到心房、心室、肺静肺等器官的轮廓线。本文提出一种方法，融合多方面知识 (探头几何位置、来自 CT 的图像信息) 来达到满意的效果。H. Liao, Z. Huo, W. Sehnert, S. Kevin Zhou, and J. Luo: Adversarial Sparse-View CBCT Artifact Rection. (Oral)如何以 1/3 的采样却达成全采样的效果，本文介绍了利用对抗学习来降低重建图的瑕疵，特别是难缠的 streak artifacts.杯具的这篇也顺便广告一下。S. Guendel, S. Grbic, B. Georgescu, S. Kevin Zhou, L. Ritschl, A. Meier, and D. Comaniciu: Learning to recognize Abnormalities in Chest X-Rays with Location-Aware Dense Networks. arXiv:1803.04565.本文记载了当时的在 Xray 疾病检测的最好结果。创新点在于充分利用大数据还有病灶的位置信息。【六、明年预测】先回顾一下我去年的预测，看看是不是准确。去年预测一 >> DL 已经大肆＂入侵＂MICCAI。据不完全统计，约一半文章与 DL 相关。遗憾的是，真正突出的文章不多，CVPR 也是这样。预测明年 DL 相关文章占比会更多。实际情况：正是如此，据不完全统计，今年约八九成文章与 DL 相关。去年预测二 >> 随着人工智能大热，今年 CVPR 在各个方面达到了顶峰。MICCAI 则不然，文章数基本持平，参会人数达到新高。原因可能是 Miccai 的文章更偏向 research 场景，侧重 clinical 应用的不算太多；而 CVPR 的文章很多是关于实际应用的。预测明年 MICCAI 文章会有更多侧重 clinical 应用，文章数和参会人数达新高。实际情况：正是如此。投稿逾 1000（超过去年 33%），接受 373 篇，。参加主会人数近 1400 人，其他 Satellite Events 逾 1600 人，两者都创新高。去年预测三 >> MICCAI 华人力量日益强大。预测华人与会人数会更多。实际情况：正是如此。前面也有阐述。今年的预测如下：1) 以上三个预测会继续成立，特别是预测三，因为明年在深圳举行。2) 赞助的公司数会更多，因为我和廖洪恩老师负责拉赞助。赞助商们，请踊跃朝我们拍砖，向我们开炮。【七、花絮合影】# 崔松野的福利 #去年 MICCAI，崔松野作为魁北克当地学生参与组织了大获成功的聚餐会，也因此在聚餐会名单上排名第一。据说，他得到了不少公司（包括腾讯）猎头的青睐。顺便，也帮本次的志愿者曾国栋和姚林林广告一下。#「机」缘巧「合」#沈定刚教授在浦东机场上飞机，发现同航班 CA389 至少有 20 多人一起去参加 MICCAI, 遂提议大家下飞机时一起合影。这可谓是「机」缘巧「合」！# 贴心之群 #出门在外，总有一些意料之外的事情发生。这不，徐群友在群里一声询问：「还没出发的同学老师 方便带点感冒药吗？」马上不少人回答，「我有白加黑」「我有必理痛 16 日带到」「我有藿香正气胶囊 治感冒很管用」。过一会，陈群友分享攻略：「granada 机场很小，没有 uber，只有少量的 taxi. 门口可以做去市区的 bus，3 欧一人。做到最后一站就到了 miccai 会场。然后可以去附近的酒店。」其他群友：「granada 出租也不贵的」「taxi 27euro」最贴心的莫过于来自号称南方哈佛－土伦大学的王玉平教授。他先是给大家推荐 Google Translate App，然后无私分享了格拉纳达超全攻略（link 如下），信息充足详实，实乃收藏备用之佳作。# 西班牙小费 #小费一定要用现金。午餐或白天用餐：考虑一人一欧元左右。晚餐：一般不用给小费。若你觉得服务超好，可以给 5-10% 的小费。# 西班牙电压 #电压：220 伏。插座：欧洲通用的三相圆孔电源插座，中国的两脚圆形插头不需要转换器# 名额紧张 #聚餐会报名信息在群里一公开，报名者如脱缰野马般蜂拥而至，人潮人涌，甚至出现了「践踏」现象。报名单序号狂涨，漏号错号不时发生。群员也是颇有微词，对这种「乱象」提出了「抗议」。这主要是作为组织者的我，事前没有想到，因为去年的聚餐会报名过程还相对 smooth。当然，这与 NIPS 十分钟名额截止还是有不少差距的，争取以后尽力缩小差距，把报名过程进一步完善。# 赞助商与 gala dinner #本次会议参加 gaIa 约 1500 人，120 多桌，满满一帐篷。难怪有人发朋友圈说，像是来参加一场婚礼。觥筹交错中，我初步算了一笔帐，发现基本上赞助经费是不够 gala dinner 开支 (场地费、餐前酒会、正式用餐、餐后表演、包车接送等)，但可以很大程序上补足子弹以保证质量。因此，赞助的多少与 gala dinner 的质量息息相关，而"gala dinner 的质量似乎是人们记忆中的会议质量最决定因素"(Quote from 倪东，明年 MICCAI 的东道主)，毕竟民以食为天。我个人还记得去年我马里兰导师组织的夏威夷 CVPR，gala dinner 就在海滩公园举行。乘着海风欣赏星辰大海，就着中餐美酒大快朵颐，别提有多美了！写到这里，我作为明年的 sponsorship chair, 顿觉亚历山大。赞助商们，赶快拿出支票本努力来砸我们，砸到我们抬不起头来，挺不一直腰，伸不开四肢为止。实在不行，我就只能"卖身投靠"，希望这把老骨头还值得钱。# 西班牙效率 #第一天，会务组 Onsite registration 大排长龙，很多人为了参加 workshop 不得排两个多小时。这个效率不说也罢。# 西班牙美食 #会议全程提供午餐，大家普遍反应很好，美味可口，但肉食居多，素食主义者会有点困难。期间碰到本次大会主席 Alex Frangi, 反映了这个情况，他说: "This is the hardest part to screw up in Spain."# 「一吻」千金 #Nicholas Ayache 颁发 Elsevier Medical Image Analysis MICCAI2017 Special Issue 最佳文章，Lena 上台领奖并获一千刀奖励。两人礼节性地致贴面礼，于是 Nicholas 戏称「一吻」值千金。格拉纳达超全攻略（附阿尔罕布拉宫详尽介绍）三人组: 李硕.UWO、施鹏程. 罗彻斯特理工、郑国焱. 伯尔尼大学最佳点评:沈定刚. 联影智能> 合肥 × 1.5吴健. 浙大> 连重三圆闫平昆.RPI> 朝鲜最高统帅金 xx与图玛深维 CTO 高大山和首席科学家陈韵强合影与柏视医疗 CEO 沈烁在视见科技 booth 合影视见科技陈浩与 Unet 发明者 olaf老男孩组合: 施鹏程. 罗彻斯特理工、王玉平. 土伦、我、沈理. 宾大、夏炯.methodist houston【八、感谢致辞】感谢赞助商支持聚餐，感谢志愿者辛苦付出，感谢同仁好友们带给我的美好时光，感谢朋友圈提供照片。MICCAI2018 在格拉纳达落幕了。明年深圳见！【九、花甲母校】会议期间，正值母校中国科学技术大学六十周岁，在此也送去一份来自西班牙的祝福！【十、广而告之】本人最近开始了新的生活篇章。希望可以与诸位老师同学们、公司同仁们多多合作，合作方法可以多种多样: 科研合作、共同指导、交换交流、实习加盟、成果转化等，有意者请私聊 (微信号: xietangren)。去年，雷锋网也转载了周少华博士的文章：《周少华 Kevin：医学影像分析顶会 MICCAI 17 有哪些惊喜？》，大家可移步社区（http://www.gair.link/page/blogDetail/3940）阅读此文。
彩虹城前瞻研究：医学影像中人工智能技术应用现状及展望｜智周核心版
通过深度学习、机器学习等人工智能技术，能够对医学影像进行无监督或者半监督的自动化分析，提升医学影像临床诊断效率，深入发掘影像数据中潜藏的医疗与科研价值。医疗行对医学影赛道像诊断的准确度与诊断效率要求在日益增长，传统医学影像科室无法满足国内日益增长的患者需求，由于硬件算业力和算法模型的飞速发展，医学影像中人工智能技术的应用成为必然趋势。人工智能技术对医学影像系统智能化升级体现在：医学影像软件系统诊断及分析功能的升级、医学影像成像设备的升级、助力医学科研工作等方面。自2016年以来，大量初创公司和行业巨头开始加速探索人工智能技术在医学影像领域的商业化应用，医学影像人工智能成为热门投资。作者 | 付海天、田辰一、全球及中国医学影像市场规模据Zion Market Research测算，全球影像诊断市场在2016-2021年年复合增长率（CAGR）约为6.0%，预计在2021年市场规模将达335亿美元。据Signify Research报告显示，全球人工智能医学影像市场有望将在2023年达到20亿美元规模。海通证券等多家机构预测，到2020年国内医学影像市场规模将达6000-8000亿元。据机器之心数据统计，2016年中国医学影像相关企业（包含医学影像业务的通用型人工智能公司）累计融资额约63亿人民币，之后呈现快速增长趋势，2018年融资额度创历史新高，高达约300亿人民币，企业产品创新研发投入持续加码，诊断产品覆盖病种达近百种。中国医学影像相关产品/解决方案服务商年度融资额二、人工智能技术对医学影像行业的影响医学影像数据感知及分析：医学影像的处理本质上就是计算机视觉技术在医疗行业的应用，涉及医学图像分割、图像配准、图像融合、图像压缩、图像重建等多个领域。人工智能的作用主要体现在对于经过一定计算机视觉技术处理后的图像数据进行进一步的智能化分析，辅助医生进行标注、诊断或者手术工作。医学影像数据与其他类型数据融合处理及分析：医学影像能够展现患者身体特定部位的结构特征和代谢情况，具有大量图像数据信息供计算机进行分析，如果将医学影像数据结合患者的生理体征、病史、基因信息、身份信息等非图像数据，通过人工智能算法模型进行训练和应用，则能够帮助计算机从更高维度来分析数据和提取重要特征，更加全面展现疾病背后的隐含关联因素，辅助医生对疾病状况进行更精准的分析诊断。影像数据挖掘加速医疗科研过程：医学影像数据挖掘指从存放在数据库或其他信息库中的大量影像数据中挖掘有价值信息的过程，其目的是寻找影像数据背后的关联和模式。计算机辅助诊断（CAD）系统的原始处理对象为医学影像信息数据库 , 对影像信息进行数据挖掘和知识发现, 能够发现其中的诊断规则和模式，加速医疗科研过程。三、人工智能技术在医学影像中的应用分布四、医学影像中人工智能技术落地案例简述腾讯觅影：腾讯觅影利用腾讯优图在大数据、图像识别与深度学习方面的技术，对早期肺癌的敏感度（识别正确率）达到 85% 以上，在良性肺结核的特异性（识别正确率）超过 84%，对于直径大于 3mm 小于 10mm 的微小结节检出率超过 95%。博为软件：博为肝脏三维手术规划系统解决了肝脏切除手术方案设计困难问题，通过对原始的CT数据进行后处理重建为三维立体图像，精准肝脏分割与分段，自动提取肿瘤病脏，直观地展示肝脏肿瘤、肝段、肝脏内部复杂的管道解剖结构，对病例进行量化分析，并自动生成临床脏器定量分析报告。Curexo：由美国 Curexo 公司制造的Robodoc主要用于膝关节和髋关节置换手术。RoboDoc 包括两部分：手术规划软件和手术助手，分别完成 3D 可视化的术前手术规划、模拟和高精度手术辅助操作。RoboDoc机器人采用了四轴直角坐标工业机器人本体，使用患者股骨上插入的钛金属定位针来实现机器人与患者骨骼的相对定位，精度达到了0.1mm。RoboDoc主要用于关节置换术中辅助骨骼和假体的成形、定位和植入，可提高全膝（髋）置换手术的质量。深思考：基于宫颈细胞学领域知识，通过深度学习、机器学习、医学图像处理等技术提取宫颈细胞的关键特征，自动分割团簇重叠细胞，快速识别涂片上病变细胞的分级类别，实现宫颈细胞涂片的辅助阅片。深思考人工智能辅助阅片机器人可在100秒内完成单张涂片的阅片，适配国内多种制片方法，其中鳞状上皮细胞异常敏感性约为98.4%，特异性约99.77%，腺细胞异常敏感性约为93.4%，特异性接近90%。五、医学影像领域人工智能技术发展所遇瓶颈1. 影像数据分散在各个机构：影像数据是训练影像智能诊断算法模型所需的核心资源，但大量的影像数据分散在各个医院、影像中心、研究机构，不易被高效整合利用。2. 影像训练数据集标注结果存在主观差异：不同医生对图像的理解存在主观差异性，造成标注结果的不确定性，导致影像训练数据集的标注结果受到主观因素的影响。3. 人工智能算法模型适用的影像类型有待拓展：目前人工智能影像诊断主要集中在X光、CT、病理领域，而在超声、MRI、PET、红外等影像领域应用较少。六、医学影像领域人工智能技术发展的未来趋势1. 医学影像技术进一步发展：医学影像系统中成像设备技术升级、影像设备图像处理算力增加、智能诊断软件集成病种增多、影像数据融合应用、迁移学习加速影像诊断模型训练。2. 人工智能在医学影像应用领域不断拓宽：除疾病的鉴别诊断外，还可应用于分子及细胞层面图像处理、应用于介入影像学、助力非外科手术方法诊断及治疗等。3. 医学影像产业升级：区域影像数据中心建设促进区域级别影像数据流转及应用，医学影像专家团队开发模型评估体系与统一标准作为产业界产品标准等。* 本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布，敬请大家关注。针对「医学影像中人工智能应用现状及展望」这一主题，有哪些方向或主题，你希望在报告深度版中读到更详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。
概念从基因诊断到医疗影像分析，11个案例帮你读懂深度学习的应用
主讲导师 | 罗晟本文编辑 | 梁家祥7月24日，智东西公开课推出的超级公开课NVIDIA专场进行完第十二讲，由NVIDIA深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》。罗晟老师系统讲解了深度学习在医疗影像、基因分析、药物研发及疾病诊断等医疗领域的应用及其背后所使用的深度学习技术特点。以下是罗晟老师的主讲实录和提纲，共计13549字，预计14分钟读完。大纲：1.深度学习在医疗领域发展现状及常见应用场景2.深度学习加速药物研发3.深度学习加速基因研究4.深度学习加速疾病诊断5.医疗领域英伟达解决方案平台主讲实录罗晟：大家好，我叫罗晟，来自NVIDIA的深度学习解决方案架构师。今天很高兴能够在这里和大家分享医疗领域的深度学习应用，以及NVIDIA为医疗领域提供的解决方案平台，希望今天的分享能给大家带来帮助，也希望本次分享可以起到抛砖引玉的作用，让各位能够为整个行业带来新的创意，帮助大家用AI和GPU加速医疗行业的应用，为医疗领域提供新的方案。在正式开讲之前，我想先给大家分享一个关于医疗领域创业的故事，为什么要用深度学习做医疗呢？大家知道现在深度学习很火，但是并不是火什么，我们就应该做什么，我们用深度学习来做医疗，肯定有其背景原因，有它带来的好处。在美国，有这样一个深度学习应用的案例，就是一个工程师，带着自己的父亲去看病，医生诊断出他父亲是癌症的第四期，也就是尾期，医生直接让他父亲进行化疗，之后大概经历了一到两个礼拜的化疗期，化疗之后，他父亲也掉了很多头发，人也觉得很辛苦。后来，他正好有一个朋友是医生，然后这个医生就为他爸爸做了第二次诊断，才发现上一个医生的诊断是错误的，其实他父亲只是在癌症的第一期。而癌症第一期不需要化疗，只通过药物就可以控制住。这位AI工程师就下定决心，要用AI技术来改善医疗领域，去解决由于医生的一些失误导致的医疗问题，这也是为什么我们要用AI做医疗的原因。对NVIDIA不熟悉的朋友，可能对NVIDIA的印象还停留在GPU的计算卡和游戏卡上，但其实从2007年NVIDIA提出CUDA用于作为GPU计算的编程语言开始，我们已经在医疗行业耕耘了十年。可以应用的领域除了计算之外，还有可视化，而现在，我们还可以用来做深度学习。有宝宝的小伙伴应该知道，做婴儿三维超声波检查的时候，看到婴儿的那些图像，其实从2009年西门子的超声波机器已经用NVIDIA的GPU来做渲染方面的工作。不仅如此，GE的CT扫描仪，也用到了GPU的技术，实现实时重建，直接把传感器的数据映射到图像上，这样带来的好处就是我们能直接去看到相关的图像，不仅如此，还能够对图像进行优化，我们可以使用更低剂量的x射线来实现相同质量的图像，从而减少诊断对健康带来的损害。2012年，由于AlexNet的出现，深度学习证明了其在计算机视觉方面具有非常好的性能，也就是从这个时候开始医疗行业的各个领域也逐渐开始利用深度学习，也扩展了GPU的应用领域，比如在2013年，GPU驱动的深度学习的方法，在病理切片上检测并统计有丝分裂数，击败了其他所有的技术，这个统计数据是癌症的早期指标，换句话说，用GPU之后我们能够获得更好的准确性，同时也能降低漏诊的风险。随着技术的发展，DL在医学影像领域获得过很多的成功，其实我们现在听到的大多数关于深度学习的应用都是在医疗领域。比如2014年，我们做的大脑肿瘤分析，2016年肺癌检测，这些都是在医疗领域的应用。而这些深度学习应用不仅是在商业应用、搜索里面取得的成功，而且在一些数据科学竞赛方面也取得了很好的成绩，并且两次打败其他队伍，成功完成了任务。这两次成功，一次是基于心脏MI成像自动注射量的计算，可以用来衡量心脏的运行状态。另一次是关于CT扫描中肺癌的早期检测。这些都是DL在医学影像领域取得的成功。不仅如此，最让我兴奋的是在去年NVIDIA首次参加北美放射学会，吸引了大概五万名的与会者，大部分都是放射科医师，其中有四十八个初创公司都在用深度学习或者机器学习进行医学成像。而且其中百分之九十的公司都在使用GPU。在本次会议上，DL相关文章的数量，相比往年增加了十倍，NVIDIA在会议期间进行了为期5天的DLI（NVIDIA深度学习学院）培训，平均每天培训200人。2018年NVIDIA发起了Project Clara，它的名称来源于红十字会的创立人，他的名字就是Clara 。我们希望通过Clara项目 ，帮助医疗行业利用NVIDIA GPU技术，改善人们的生活。大家知道，2012年AlexNet网络出来之后，首先在ImageNet上取得了非常好的结果，战胜了传统记忆学习的方法，当时AlexNet性能有10%的提升。而在往年，每年都是1%的性能提升。这样飞跃的性能提升确实能够丰富我们的应用种类，比如人脸识别，自然语言处理。同时对于一些商业应用来说，能够获得更精准的推荐，比如大家平时使用的今日头条新闻推荐，系统会根据你自身的的喜好为你推荐相应的内容，这就是基于深度学习来做的。对于深度学习来说，这样的精确意味着什么呢？对于其他的行业来说，准确度确实很重要，但也不是很关键，因为推荐错了，并不会对生命造成影响，但在医疗行业则不然，用更好的方法不仅仅只是提高准确度。比如在药物发现领域，可以缩短药物的整个研发周期，在医疗诊断领域，可以在最早期进行医疗诊断，减少病人的痛苦。而此时能够提高的准确度，不只是数字上的十个百分点，在医疗领域，可能会为每一个人带来更好的生活，为整个社会带来更好的未来。整个深度学习的流程，就如右边这张图所示，通过训练数据和深度学习网络训练生成一个深度学习的模型，之后对模型进行评估，再用一些新的数据来确认，验证以及测试，从而得知模型是否准确，而且通过这样一个模型，可以解决医疗领域的很多问题，至于怎么解决、未来怎么做，我会在后面详细给大家介绍。深度学习在医疗领域的应用不仅为个人带来了新的变化，同时也为社会和人类未来的发展带来了新的动力。对整个行业和研究社区来说也有一些新的变化。我们也可以看到一些趋势，也是我们所谓的深度学习动量，上图左边展示的是SPIE、ISBI、MICCAI这三个顶级会议医学影像图片领域使用深度学习文章数量这几年的比例变化，从2014年不到5%，到2017年，尤其是在ISBI上面，其比例已经超过20%，从而证明了深度学习确实能够为研究社区带来新的帮助，也确实成为了一个有用的工具。研究机构利用AI带来了新的应用和思路，解决了之前在医疗方面遇到的问题，现在有一百零六个初创公司，他们也在推动整个医疗行业去使用AI。他们可能在各个领域，比如药物发现、医学图像以及相关的自然语言处理等，丰富了整个生态环境，也希望今天的分享能够给大家带来一些新的思路，去打造在中国医疗行业的人工智能生态环境，帮助改善在未来医疗服务。说起医疗行业的深度学习，不得不考虑对医生和病人来说，他们在哪些方面可以用到深度学习。比如在看病的时候，医生怎么为病人制定治疗方案。一方面，可以了解病人的基因，因为很多疾病其实是基因的变异引起的，如果知道有基因变异的情况，就可以在最开始做一些人为干预和早期的治疗。在看病时，医生会去看病人以前的健康记录，了解病人以前的健康状况，从而帮助医生诊断病情。对患者来说，要去了解病人之间的差异，以及为什么会患病。比如有些人会患一种疾病，另外一些人不会患这种病，这样就可以用深度学习做一些基础的研究，加速药物的发现过程，因为这些疾病只出现在了一些病人身上，通过筛选，以达到更好的治疗效果。其实医生在工作期间不仅仅是为病人看病，也要去了解一些文献和法规、写论文，因为他们也需要去了解医疗行业最新的出版物，才能知道一些新的治疗方式。今年关于癌症的出版物有93393篇，到目前为止已经有350万篇论文，此时我们可以用深度学习从论文里挖掘出跟我们相关的信息，帮助医生更好的了解到一些最新的研究动态，尤其是在临床方面，可以了解到最新的论文和研究状态，以及一些最新的治疗方法，从而提出新的治疗方案，来研究能不能通过新的方法，或者一些验证过的方法去帮助病人获得更好的治疗效果。医生和病人之间是应该有互动的，医生每天会看非常多的病人，他们看病的时候，其实也是一个经验学习的过程，医生可能从A病人的治疗过程得到这样一个经验，从B病人的治疗过程中得到另一个经验。对于医生来说，他们看到了这么多东西，并不是每一个都会记住，因为人都会慢慢忘记以前的一些事情，因此我们可以用深度学习去记录以前所有的经验，并通过以前医生在看病时候的情况，去收集这些病人的信息，从而辅助医生在下一次判断中做出最优的决定，帮助医生更好把以前所看过病的经验利用起来，而不是会因为太过忙碌忘记了以前的经验去翻医疗记录。现在来看下深度学习在医疗领域的应用有哪些。首先在放射科领域，我们希望通过早期的筛选和检测，减轻病人因为放疗承受的痛苦。在国外，大家每年都会做体检，希望在早期了解自己的身体状况，把疾病治疗提到早期阶段，降低整个社会的负担，同时也减轻个人痛苦。Zebra就在做这样的工作，通过深度学习提高筛选的准确率，降低检测整体的误报率，获得更好的早期判断结果。早期诊断只是告诉我们有和无的问题，下一步要解决的问题就是有多少，如上图中间照片所展示，当诊断出肿瘤之后需要去判断肿瘤所在的部位、大小等情况，即是定量的分析，这种方式，也可以用深度学习来获得更准确的结果，并且可以降低病人治疗时的痛苦。另外一个让人非常兴奋的领域是精准医学，上图右边展示的是脑部扫描图片。在面对某些脑癌的时候，医生有能力去判断需要什么药物，问题是医生不可能在大脑上打个洞，然后去切片，再去分析，现在通过脑部的MI扫描方式，用深度学习神经网络去判断和预测患者肿瘤突变的概率，目前准确度也超过了90%，使得医生可以用精准的药物去帮助病人做治疗，减轻他们的痛苦。第二个领域是深度学习在诊所里的应用，三星和通用的扫描仪已经在使用深度学习来优化整个工作流，提高准确性。比如婴儿三维超声波检测时，可以冻结一些图像进行测量。第二个ARTERYS公司，也是首批通过FDA认证的公司。通过与GE合作，把他们的工具带到了心脏病专家那边，进行所有相关的一些检测，能够进一步提高护理质量。最后一个是PATHAI与飞利浦合作，也是第一个由FDA批准的扫描仪诊断，通过将病理图片与热力图结合，帮助病理学家分析肿瘤的情况，进一步降低病理学家诊断错误率，大约降低50%，使得病理学家在看图的时候能够更加方便。第三个是深度学习在药物发现方面的应用，第一个是deep genomics公司。他的成立要追溯到2002年，当时Brendan Frey的妻子怀孕了，在做检查的时候发现孩子有遗传缺陷，虽然只是可能，但是他们不得不终止妊娠。Brendan Frey是计算机工程的教授，所以他开始尝试把深度学习和医疗结合到一起，要解决的痛点是人群中的DNA的变异数，突变概率大于1的SNP（单核苷酸多态性）有三百万个左右，要完全的挨个调查SNP和疾病的关联非常困难，因此要建立一个数学模型导入全部的健康基因组序列和SNP序列，对模型进行训练，让模型能够学习到健康的RNA（核糖核酸）的裁剪模式，然后用分子生物学的方法验证模型，并加以校验，同时用病理数据，判断模型输出的准确性，从而理解有害基因和基因突变病理之间关系，再做一些初步筛选，把有害基因和基因突变病理关系建立起来。第二个是做分子系统的研究，在做新药研究时遇到很多挑战，HCS是指在保持细胞结构和功能完整性的前提下，同时检测被筛样品对细胞形态、生长、分化、迁移、凋亡、代谢途径及信号转导各个环节的影响, 在单一实验中获取大量与基因、蛋白及其他细胞成分相关的信息, 确定其生物活性和潜在毒性的过程，就是PHENOMIC AI要解决的。第三个也是PathAI做的，通过热力图以及药理的图片，去帮助医生更好的观测现象。最后一个是CLOUD MEDX，他们拿到了很多医疗记录，通过这些医疗的记录，实时分析病人的信息，同时通过真实的病例数据和实验数据，做健康诊断的推荐，从而帮助医生更好的做诊断，并合理进行药物的配发。在各个方面的应用讲完之后，我想深入的讲一下，目前这几个领域，用到了什么样的技术或者方法，可以帮助医生改善诊断效果。最近有一部很火的电影叫《我不是药神》,谈到了医药公司的问题现状，在最开始的专利期，他们的药会价格非常高以收回投资成本。因为在医药研发的领域，需要非常大的投资，需要非常多的人才，做非常多的实验，这些都是非常昂贵的成本。为了弥补企业成本并且达到盈利，只能在最开始的专利期收取高价，这也是为了让药物研发公司有动力继续投入研发。如果可以用深度学习的方式，或者用GPU加速整个药物的研发过程。将能够在一定程度降低药物的价格，从而去帮助整个医疗行业进入更加良性的发展阶段。既然可以用GPU和深度学习来加速，到底该怎么具体操作呢？如果有做视觉的同学，可能知道是从CNN开始，能够取得一个好的效果，其实就是从图片的分类开始。结果很简单，就是用卷积核在图片上面做卷积，然后经过各种隐藏层的计算之后，可以判断图片内容。图片是一个很简单、很规整的RGB数据 ，但是对于药物发现来说，药物的结构并不是一个规整的矩阵，该怎么来做呢？这个时候就有了所谓的Graph convolution，即图卷积。通过图卷积的方式，可以把药物的结构映射成卷积结构，映射成一个矩阵。然后就可以用CNN来做一些检测判断或者药物的发现。那么图上的卷积网络从卷积方式来说，可以分为两种，图卷积和空间域卷积，在此只对空间域卷积进行简单的介绍。图卷积是将卷积网络的滤波器和图信号，同时搬到傅立叶域之后再处理，而空间域卷积是用图中的节点在空间域进行相连达到层积的结构，从而进行卷积，获得一个好的效果，具体怎么来操作呢？跟传统方法相比，图卷积有更低的计算开销和更少的计算时间，但是也有一个难点，就是很难保证准确性。常见的图卷积算法包括NFP、Weave、GGNN以及SGCN。这些方法都已经应用到了医疗领域，并进行了一些基本的研究。空间域的卷积相对来说比较简单。以药物分子为例，其实每一个分子，都可以看成一个节点，对每个结点去寻找最开始旁边的域，一个分子会有非常多的节点，到底哪个节点，对这个分子比较重要，那肯定是连接数越多的越重要，通过这样的方式筛选出很多节点，找到每个节点邻近的几个分子；第二步，把临近的分子拼成一个感知域，之后用卷积神经网络，在感知域上做卷积操作，从而获得该卷积域的特征。做卷积时，会执行一些非线性的操作，生成一些新的特征，然后应用到节点上，图卷积的过程之后加上Batch normalization、Dropout和Relu，重复四次，就是整个图卷积的结构。通过这样的结构，就能把分子的状态应用到CNN领域。不像以前，由于分子的结构是非矩阵型的，不能够进行应用，而和应用相比能不能带来加速呢，下面我就会给大家讲一下。这个是CPU和GPU在Tox21上使用GCN方法的性能比较，可以看到图上最多有132个节点，每个节点有六十四个feature（特征），跑了二十个Epoch，Batchsize是一百二十八，使用Tesla V100 GPU或Xeon E5-2698CPU，在准确率达到90%的情况下，用CPU训练的时间是260秒，而GPU只用了32秒，也就意味着GPU是10倍快于CPU，因此我们能够更好地利用GPU来加速药物的研究，从而降低药物研发成本和社会负担，让所有的患者用良心的价格获得更好的药物，其实还有很多方式可以把AI应用到药物发现领域。AI除了在药物发现方面的应用，也可以应用于基因领域。很多疾病是由于基因突变或者基因缺陷引起的。人类曾经有一个非常大的工程叫做基因测序，把人类的两对染色体进行基因测序。具体怎么做基因测试的，不知道大家有没有了解。那么我给大家介绍一下，首先将待测序的DNA进行扩增，复制出很多DNA，之后进行加热变性，由于基因是双螺旋结构，把双链DNA分开之后，在里面加入引物，从而让聚合酶发挥作用，这样就可以复制这一段基因的信息。把DNA聚合酶加入到反应容器，每个反应容器里面放的都是前面所提取出来的单链DNA，利用ATGC基本的碱基酶原料，就可以复制整个基因序列，同时放一个特殊的碱基A进去，能够停止复制。此时就可以开始进行整个DNA的反应。在完成了DNA的反应之后，因为有一个特殊的碱基A可以停止DNA的复制，在四个不同的样本里，他们有很大的概率是在不同的时间停止，可以根据不同的停止情况，对其通电，较轻的DNA会在通电之后进行移动，通过荧光标记的方式就可以在胶片上留下记号，从而得到整个DNA的顺序。对于DNA测序有两个难点需要解决，首先，染色体三十亿对碱基，怎么去测序？其次是用什么办法进行加速。对于人来说，两对染色体包含30亿个碱基对，包括了鸟嘌呤、胞嘧啶、腺嘌呤、胸腺嘧啶，组成二十三对染色体。但是我们这些仪器能够产生十一个短序列，我们称之为Read，每个read仅代表了三十亿个碱基中的一百个，每个碱基的错误概率在0.1%-10% 之间，把单一的、小的基因序列完整而准确的拼起来是很困难的。这个时候Google cloud platform提出了开源的方案叫做DeepVariant，通过以编码HTS仪器数据的方式，生成了数千万个训练样本，然后用这个训练样本，基于TensorFlow做图像分类，以便从仪器生成的实验数据中识别出真实的基因组序列。通过这样的方式，可以很简单的判断哪个基因组序列是正确的。在右边的图上，有四种基因组序列：正常的染色体、有一个碱基出现问题的染色体、两个染色体对都被删除，还有一种情况就是由于一些其他因素，比如在最开始做生成的时候复制出错等相关问题，就会出现最后一种图像，通过这样的方式，就能加速基因测试的过程。加速完基因测试之后，把每一个read的结果拼到一起，中间会有一个比对过程，把每一个小的单元都跟其对应的序列作比对，从而判断是否准确，此时就有了新的Parabricks，他们在做加速DNA测序的工作，比如说用BWA MEM （比对的工具库），支持较长的Read，然后做一些剪切性的比对。通过这样的方式，用GPU来加速，可以看到跟32个CPU相比，其性能达到了25倍的提升，结果的准确率达到100%。接下来跟大家分析下AI在医疗记录分析方面的应用，医疗记录分两个部分：医疗文本记录和医疗图片记录，这两个领域分别有怎样的研究，他们具体是怎么操作的呢？第一个是依靠Icahn School提供的解决方案，他们通过12年的积累，总计700万的医疗记录，训练了一个深度学习模型，可以实现多疾病的预测，以前传统的方法是收集医疗记录做预测模型，但是只能预测一种疾病，现在可以预测七十八种疾病，并且能够做到预防疾病的发生，可以很大程度上降低病人的痛苦。第二个应用是CLOUD MEDX做的，他们做的内容跟之前几家公司不一样。前面几家公司是基于已有的医疗记录，生成预测模型，去预测病人患病的可能性。CLOUD MEDX则是拿到了一些电子健康记录，比如病史、药物测试报告等数据，里面有两部分数据，一部分是来自医生记录的，跟国内一样，大家都知道我们看自己的病例是看不懂的，当拿到这些非结构化数据之后，做数据结构化的分析，然后直接结合NLP自然语言处理技术；另一部分是实验室的数据，或者生命统计的数据，通过这两部分的数据，开发了一个新的AI平台。利用该平台分析患者的整个病史、关联的症状以及人口统计的数据和诊断，就可以看到该症状以及对应其他临床上的情况，从数据判断患某种疾病的可能性，帮助医生做一些推荐测试、药物治疗的方案以及辅助医生修改治疗方案等。第二个领域就是医疗图片，大多是指图片分割和检测判断，这里大概有五个例子，我会详细给大家介绍一下他们是怎么做的。第一张图是PathAI做的，把拿到的病例图片以及识别出的结果做热点图，帮助医生更好的判断；第二个是由凯斯西储大学做的，致力于常见的乳腺癌的研究，正常来说，女性发现乳腺癌之后，最开始医生都会建议做化疗，另一种方式是做病理切片，拿到切片的细胞信息之后才能判断，该测试需要花费四千美金，对于大多数非发达国家的人来说，他们是付不起的，那这个时候怎么做，他们又提出可以用MRI的一些照片，依据现在的病理学照片做风险评估。这张图展示的是一个library，即医学图像数据库，医学图像由于其敏感性和工作量，正规的注册数据集很难得到，但在诊断和治疗中非常关键， 是美国的国立研究院提出的一个注册系统，其实这就是一个获得数据集的方法。上图展示的是用SocialEyes，基于我们的NVIDIA SHIELD 平板电脑上，可以利用里面的GPU，运行深度学习的模型，去判断眼部疾病，因为在一些偏远地区看眼科是非常难的，通过这样一些模型，就能够解决这些问题。另外可以用深度学习做骨龄测试，传统做法是用X射线图片，和传统的书里面的照片或者以前的图像进行比对，从而判断骨龄。现在可以用深度学习的方式，使用了大概七千四百个X光射线的记录训练了一个深度学习的模型，能够很快地进行训练，通过这样的方式，能够很快的取得很好的结果，其实骨龄测量对小孩来说非常重要。尤其是在国内，很多时候小孩的发展跟他的骨龄完全是不一样的，怎么选择更快的获得结果并进行干预是很重要的。最后一个是用ML发现脑肿瘤，以前的做法可能需要直接打开头颅，然后打个孔，去看拿到的切片，看看里面是不是有肿瘤，及肿瘤状况。现在MAYO CLINIC使用GPU加速，可以用MRI的信息，以前用非深度学习方法发现不了的数据信息，去做一些比对，进而判断到底里面是不是有肿瘤，准确率也超过了90%，所以通过这样的方式，不仅可以把以前的结果做得更好，同时也可以做以前不能做的，而对于medical image（医学图像）我们需要怎样的一个平台呢？NVIDIA在2018年提出了CLARA平台，我们叫做虚拟、通用、远程、可扩展的平台，所有的合作伙伴都可以加入进来，利用NVIDIA GPU计算资源和加速库，为医院和合作伙伴提供新的算法和方案，CLARA平台可以做基于DL-BASED的Image重建、深度学习的图像分割、图像渲染等操作，该平台最底层用的是DGX以及NVIDIA的GPU，也会提供非常多的软件库，包括CUDA、cuDNN、TensorRT加速库以及Image和各种虚拟化的APP，帮助大家利用这个平台，开发出各种各样的应用。首先从硬件开始，平台底层需要做计算，我们使用了世界上第一台GPU超级计算机DGX-1，里面配置了八块32G Tesla V100 GPU以及NVLink Mesh。整个系统具有1 PetaFLOPS的计算性能，在做深度学习训练的同时，提供300 Gb/s的NVLink通信带宽。从而保证在训练时能够最快的取得效果。当然这只是硬件方面，除了硬件之外，NVIDIA也提供了一整套的软件支持。硬件没有软件的支撑，是运行不了的，虽然硬件达到了加速，软件该如何操作呢？NVIDIA提供了一整套软件栈，底层有我们的操作系统，上面有英伟达的GPU驱动以及容器的Runtime，以保证在底层能够调用GPU计算资源。在GPU之上，NVIDIA还提供各种GPU Docker容器，比如Caffe，Caffe2，TensorFlow，PyTorch，Chainer等，这些容器和驱动以及Docker，包括精简过的OS，驱动都是专门为DGX配置的，而且上面的容器都基于GPU的特性做过优化，从而保证大家能够用到最好的计算性能，训练出自己的GPU模型，为客户提供应用。在DGX之上，我们有NGC（NVIDIA GPU Cloud），可以提供各种各样容器镜像，DGX也接入到了NGC，这样用户不需要再去配置硬件环境，通过NGC把容器镜像拉下来，就可以开展深度学习的训练和Inference（推理）。目前NGC提供的容器镜像有35个，分别在不同的领域，包括深度学习、HPC、HPC的视觉、Kubernetes以及我们的合作伙伴提供的各种容器镜像。NGC提供的深度学习容器镜像包括caffe、caffe2、CNTK，CUDA等，CUDA是NVIDIA提供 的一个基础镜像，包括DIGITS，对深度学习不熟悉的朋友，可以尝试使用DIGITS，它是一个Web UL的界面，底层调用TensorFlow或者Caffe，在里面可以直接开始深度学习的训练，inference server是我们提供的一个Inference的API，它是一个推理的web框架范例。因为我们要做的就是把训练好的模型交付给客户去使用，比如帮助医生去做一些检测。那么如何部署训练好的模型呢？就是使用inference server，它的作用就是把模型放进去，相当于一个web框架，此时会对外暴露出一个API以供调用，从而简化模型开发的过程。另外一个重要的容器镜像叫做TensorRT，是NVIDIA提供的一个容器加速库，里面已经完成了相应的配置，可以直接使用，能够为深度学习模型带来几倍的加速，下面我会详细介绍。所以基于DGX的硬件，我们提供了专用的OS以及Linux Kernel和CUDA驱动，在上面做各种各样的容器化应用，包括优化好的TensorFlow、CNTK、caffe2、PyTorch等模型，以及各种各样的软件，包括之前提到的inference_ server，这样一整套的软件可以帮助大家更好的去开展深度学习训练，去应用深度学习算法，或者开展一些算法的研究，同时大家也可以利用这些容器镜像进行自己的算法部署。当然除了DGX和NGC之外，还要考虑怎么使用GPU为深度学习加速？这里NVIDIA提供了DIGITS、深度学习框架以及深度学习的SDK。深度学习的SDK主要包括cuDNN、NCCL、cuBLAS、cuSPARSE、TensorRT以及DeepStream6个部分。cuDNN是用CUDA写的DNN加速器。NCCL用于做多GPU的通信，一般来说，训练的时候会有参数服务器，因为GPU之间的数据是要通信的。怎么去加速GPU的通信呢？我们做了算法的实现，做了底层的优化，比如说使用NVLink，多节点之间用了RDMA等，通过这样的方式加速了通信。cuBLAS做一些线性代数的计算；cuSPARSE用于做稀疏矩阵的计算，TensorRT是做inference的加速引擎，可以做到inference的加速，最后一个是DeepStream，提供视频分析的一些方案，提供整套的pipeline，底层调用GPU里面硬件核心、解码器以及CUDA核，从而完成一整套的计算过程。cuDNN是一个高性能深度学习神经网络加速库，被利用到所有的深度学习框架中，包括Caffe、Caffe2、CNTK、TensorFlow、PyTorch等，都在用cuDNN做加速。当然如果需要写自己的软件，也可以用cuDNN来加速，从上图可以看到从最开始的8个K80，到8个Maxwell，再到DGX-1和DGX-1V，在不同的cuDNN版本和不同的硬件上，其性能差距是非常大的。在深度学习的训练方面，从最开始的1000张不到，现在可以训练的图片大概超过10000张，能够进一步加速训练，带来10倍的加速提升，而这样的加速对于开发成熟的产品是非常重要的。NCCL用于多GPU之间的通信，使用通信算法，底层采用NVLink，PCIe和 InfiniBand，同时能够去检测到整个系统的拓扑结构。从上图可以看到最开始的Maxwell，以及两个P100的比较，然后到1024个P100，可以看到用NCCL在GPU通讯方面能够达到线性的加速，也意味着通信的开销不会导致训练的延时，这个是非常难做的。有HPC (高性能计算) 背景的朋友都知道，能达到线性的加速是非常难的一个任务，而NCCL在通信方面取得了这样的效果。最后一个我想讲的是TensorRT，训练好一个模型，最重要的是模型的准确性和怎么把模型交付给客户使用？推理和训练其实是不一样的，训练时可能用的是FP32的精度，但在推理的时候，可以用更低的精度。训练时，各层之间的关系是固定的，而且需要把中间参数保存下来，从而进行反向迭代。但推理时，只有正向的迭代，此时可以通过使用TensorRT达到免费加速的效果。TensorRT可以做一些Layer fusion，同时也可以做些精度校准，对于不同的GPU卡，可以实现模型的自动调整，动态分配内存，不管是在内存、计算、网络结构以及参数精度方面，都可以用TensorRT达到更好的效果，取得一更好的性能。以P4为例，如果使用FP32精度的参数算力可以达到5.5T，如果使用Int 8精度的参数算力可以达到22T，所以说硬件的性能提升也需要通过软件的优化才能够完成。最后我想讲的是deep learning的菜单，在医疗领域最重要的就是数据，当然也需要强大的计算力。在此基础上，我们可以用监督学习，或者增强学习，训练各种模型。关于数据来源，我们有各种合作伙伴和研究机构，他们会为我们提供各种数据集。我们也在跟很多医院展开合作，能够提供这样的数据。我们为大家提供最快的计算平台，以保证拿到这些数据之后，能够最快的取得结果。而在算法方面，现在深度学习社区，每年大概有几万甚至十几万篇论文发出来，他们提供了各种各样的思路，比如做图像分割，最开始从一个很简单的网络开始，后来用FCN来实现，现在可能用GAN来做。通过不同的算法，完成各种各样的应用，解决医疗上各种各样的难题。不管是对个人来讲，还是对社会来讲，都能带来很大的帮助。以上就是我今天关于AI在医疗领域应用的一些分享，谢谢大家！提问环节问题一郭家豪-上海应用技术大学-研究助理针对传统的在校医学生，毕业后希望转型到医疗领域的深度学习中，在这一转型中，优势有哪些？劣势有哪些？针对深度学习的技术，最关键的核心技术是哪一块儿？罗晟：你现在是在医疗行业，如果你想要转型到深度学习，我们是非常欢迎的，同时我们也非常希望有专业的医疗行业的人才加入到深度学习的队伍当中，因为对于深度学习来说，它只是一个工具，怎么用这个工具，在哪个方向能够用这个工具才是最关键的。你的优势在于知道怎样应用深度学习技术，用在什么方向，你只要去加强深度学习方面的技术，甚至可以让专业的技术人员帮你做加速。我相信未来也会有相应的工具，能够让人很快的使用，所以方向才是最重要的。其实，在深度学习领域，想要知道怎么应用，确定好要用的医疗技术及方向之后，就可以用GPU技术来实现，NVIDIA提供了所有框架的优化，你可以使用这些框架来做数据整理，确认好方向之后，有各种各样的research community提供的网络，都可以去尝试，从而在确定的方向取得一定的成果，我相信在确定了方向之后，一切的技术，都不会成为你的阻碍，而且这样的技术肯定会随着未来的发展也变得越来越普及，越来越有用。问题二高蓉彬-甘肃畜牧工程职业技术学院-教师深度学习对药物药理学研究能起到什么作用？罗晟：我前面的内容已经涉及到了怎么用深度学习做药理学的研究以及在分子方面的研究。比如做药物发现时使用GCN网络，通过该方法，可以去把药物分子结构做映射，从而知道不同的药物之间互相的联系，同时也可以判断药物之后的结果是什么样的，这些都可以用深度学习来完成。问题三罗力川-大唐电信-芯片设计工程师该平台是否用到了英伟达的 DLA加速器了吗？如果用到了，可否详细介绍下？罗晟：很高兴听你提到NVIDIA的DLA，DLA是一个深度学习加速器，目前实现是在Jetson Xavier上面，Xavier现在是在申请试用中。当然不管是DLA也好， Xavier也好，Tesla GPU也好，还是Tensor Core也好，各种软件在NVIDIA平台都是统一的。任何软件都可以运行在NVIDIA任何版本的GPU上，并且都可以取得很好的效果。同时这部分的加速都是用TensorRT来实现，TensorRT可以去感知不同硬件的区别，比如P4有Int8的支持，而在P40和v100上有FP16的支持，这样TensorRT就可以屏蔽底层任何硬件的信息来使用。但另一个方面，因为Xavier现在是刚开发出来。相信在未来，比如我有一个平板电脑，就跟我前面案例提及的平板电脑，提供这样的解决方案，帮助贫困地区的人们使用到GPU加速，在医疗行业为边远地区的人民带来新的希望。问题四秦智勇-北京微电子所-工程师医疗领域信息比较私密，训练怎样解决数据源的问题？罗晟：这个问题问的非常好，医疗行业数据是比较私密的，怎么解决数据源的问题呢？其实我是这么理解的，首先在最开始训练的时候，会有各种各样的开放的数据集，可以去使用。另一方面，也可以尝试跟一些重要的医疗机构进行合作，我相信随着深度学习的发展，他们未来会需要用到深度学习的技术，而通过合作，他们可以提供各种各样的数据，就像我前面的提到一个案例，美国的一个研究所，就在展开这样的一个合作项目，去收集各样各种各样的数据，并开放给大家，帮助大家把深度学习的技术更好的的应用在医疗方面。问题五张承龙-中科院计算所-程序员医疗领域主要采用哪种深度学习模型，为什么这种模型效果要好，怎么进行小样本学习？罗晟：深度学习模型有很多种，主要还是取决于应用的领域。比如药物发现领域，可能会用图卷积的网络，两种图卷积的模型都可以使用。如果是一些文本的记录，肯定会用到NLP以及相关的模型；而对于医疗图片，目前来说比较前沿的都会用GAN（生成时对抗网络）来做，训练一个图像分割器，以及一个生成器，来训练一个更好的模型。当然对于medical image来说，现在是比较容易做的。但是因为GAN有一个很大的问题，就是训练比较难。对于图像分割，用FCN可以取得一个好的效果。小样本的学习，可以通过数据增强的方式，把数据集扩大，同时训练时不要选择太过复杂的网络，以避免一些问题，同时也可以进行一些数据的收集，以便在未来获得一个通用性更强的模型。问题六潘宇-北航-微电子专业学生目前要实现深度学习在医疗领域更好的应用还有哪些问题需要解决罗晟：我觉得有非常多的问题需要解决，比如拿到了数据如何解释。很多年前我在跟清华的一个教授合作的时候，使用一些医疗的信息，比如用深度学习去挖掘诊脉的信息，怎么让诊脉的结果出来之后可以做判断？之前去拍MI和CT照片的时候，为什么医生可以说这样是有问题的，那样是没问题的呢？我相信在当时也是通过数据统计的方法，因为有些病人MI和CT的照片里面有这样的情况，所以我们就理解这个地方有这样的问题。对深度学习或者在医疗行业做medical image来说，解决这个问题很简单，我们能够对最后的结果给出一定的解释。不管是经验也好，还是怎样，我们能够把它还原成类似MRI的照片从而告诉医生这个地方是有问题的，通过这样的方式，把可解释性解决。从另一个方面就是我们的技术还有更多方面需要挖掘，在药物发现里面怎么去做进一步的加速，在诊断系统里面，怎样更好的提高系统的准确性等，这些都是未来技术需要去解决的，也需要我们去为之努力。问题七乔冠超-电子科技大学-微电子专业学生深度学习在医疗领域的应用在技术方面和其他领域有什么区别？主要是算法的创新还是硬件平台的创新？罗晟：从技术根本来说，很多领域，比如图片与图像领域是一样的，没有太多的区别，在深度学习领域，我们谈论的是通用型的模型，虽然不是通用人工智能。像前面的例子，一个模型可以预测七十八种疾病，而之前只能识别一种，这样一个通用的模型最重要一点就是数据，能提供这样的数据，就需要一些数据的创新，也需要算法的创新和更强的算力。因为更多的数据，意味着需要更强的算力来支撑计算，有更好的模型能够提供更好的精确性，但是在一定程度上模型的复杂度肯定是在增加的，也是需要更大的算力来支持的。所以更强的算力能够保证可以去做一些迭代和测试，从而推动模型的发展，收集更多的数据，其实三者是相辅相成的。问题八刘汝洲-北京精真估-NLP技术部负责人NLP在疾病诊断方面有哪些落地的应用罗晟：前面已经讲过关于NLP相关内容，可以用NLP对一些病例的信息分析，对于病例的分析主要有两个方面，首先我们可以拿到一些疾病的信息，去做预测，当我们拿到一个最新的病人信息，把它放到模型里面，可以通过病历记录训练出一个模型，从而去判断是否有潜在的疾病风险；另一方面，拿到这些信息之后，跟真实的信息进行比对，可以去做些推荐，获得更好的推荐结果，这两方面也已经落地应用了。当然还有很多，现在有各种各样的机器人在医院里面提供服务，比如问诊机器人，去医院就诊时，可以去问一下机器人，它会根据你的描述给出相应的诊断反馈，这些都是未来需要提供的，也有一些项目已经落地，我觉得是非常好的。现在的三甲医院是非常拥挤的，有了最开始的定位，才能更准确的选择相应的科室，或者根据这些基本信息推荐解决方案等。新课预告#智东西公开课#9月13日晚8点，超级公开课IBM专场将开讲，由IBM中国芯片设计部门高级经理尹文主讲，也是首次公开线上讲解POWER 9处理器！课件获取第一讲，NVIDIA大中华区高性能计算及Applied Deep Learning部门技术总监主讲赖俊杰，主题为《如何搭建适合自己的深度学习平台》第二讲，NVIDIA高级系统架构师吴磊主讲，主题为《如何为深度学习和HPC提供更高算力》第三讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《不需要写代码，如何用开源软件DIGITS实现图像分类》（线上实践课程，无课件）第四讲，图玛深维首席科学家陈韵强、NVIDIA高级系统架构师付庆平共同主讲，主题为《深度学习如何改变医疗影像分析》第五讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《手把手教你使用开源软件DIGITS实现目标检测》（线上实践课程，无课件）第六讲，西安交大人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成共同主讲，主题为《智能监控场景下的大规模并行化视频分析方法》第七讲，清华大学计算机系副教授都志辉、NVIDIA高级系统架构师易成共同主讲，主题为《GPU加速的空间天气预报》第八讲，希氏异构人工智能首席科学家周斌主讲，主题为《如何利用最强GPU搭建医疗人工智能计算平台——医学图像AI领域最强超级计算机首次解密》第九讲，NVIDIA中国GPU应用市场总监侯宇涛主讲，主题为《揭秘深度学习》第十讲，NVIDIA高级系统架构师张景贵主讲，主题为《在你的桌面端通过NVIDIA云端GPU开展深度学习》第十一讲，百度AI技术生态部高级算法工程师赵鹏昊主讲，主题为《如何借助GPU集群搭建AI训练和推理平台》第十二讲，NVIDIA 深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》
医和透过ISICDM，看医学图像分析的未来趋势与挑战
第二届图像计算与数字医学国际研讨会（ISICDM 2018）虽已告一段落，但本次大会所带来的信息，仍值得深思与回味。医工交叉与产学结合，这两个由来已久的问题随着人工智能的兴起，让医学影像分析面临着全新的机遇与挑战。隔行如隔山，这对IT界和医学界来说尤为贴切，当双方团队共同打造一个产品时，面临着话语体系不同、评价方式不同、谁来主导等诸多问题。目前这个市场还处于初期，各路玩家相继入场，产品仍处于科研摸索期。在此大环境下，电子科技大学李纯明教授作为ISICDM会议的发起人和程序主席，汇聚了理、工、医三方知名专家，力促人工智能+医学图像的进一步研究与应用落地。电子科技大学李纯明教授会上，众多专家指出，目前企业开发的医学影像AI产品，离临床实际应用还有一定的距离。其主要体现在两点：一方面是工程技术尚未成熟；另一方面则是产品开发者对临床需求的理解和认知有限。首先，深度学习的不可解释性和调参难题仍未被实质性地解决，甚至研究成果的可重复性都时常被质疑。算法和软件的性能稳定性和鲁棒性在理论和应用实践上均缺乏有力的支持。而上述问题的本质是，由于科研人员做的研究总体偏工程，较为缺乏原创性和突破性的基础研究，导致工程技术开发正在进入瓶颈期。十分注重理论基础的李纯明教授深感基础研究的重要性，因此在会议中加强了数学理论与方法的内容，邀请了国内著名的优化理论与算法专家何炳生等数学领域的专家做了图像科学的数学理论与方法系列讲座。此外，李纯明教授也特地安排了“临床医生谈需求与挑战专场”和“医工交流会专场”，聚集众多医生与工科人，共同探讨临床问题的技术解决方案。为了更加全面地促进理工医深度融合，整个大会在3天内共设置了24个主题专场，100多位海内外知名讲者向与会者分享了他们的最新研究成果以及对理工医交叉的看法。雷锋网作为两届ISICDM的独家媒体，透过这两年的报告内容，总结出以下四个趋势：深度学习遭遇瓶颈，基础理论研究成热点罗切斯特大学罗杰波教授ISICDM期间，Baba Vemuri、罗杰波等嘉宾公开指出，利用大量标注医学图像数据做训练，这并不是一种长久的研究方式。首先，由于隐私问题，目前医院方不太可能开放出太多高质量的数据供开发人员训练和使用。与此同时，深度学习的不可解释性，无法循证，这在解决医学问题当中非常受限。而这两项也严重制约了医学影像分析的发展。因此，开拓基础理论研究，而非单一在数据上解决问题，成了学者们新的征途。四川大学华西医院步宏教授曾在第一届ISICDM大会中指出：医生应用AI，最怕的就是别人对我们说，你们什么都不用管，只要给我数据，我就一定能做出成果来。这类人我遇到很多。医学并不是一门纯粹的科学，还涉及很多人文、伦理等因素。理工科的人也许认为，只要把数据给他们即可进行训练模型。但医生还必须考虑哪些信息必须隐去，因为涉及到伦理。“很多医生也在做人工智能方面的研究。我的学生也经常看理工科学者发表的论文，他们有时候会拿着论文跑过来对我说，‘老师，你看！这篇论文连基本的医学常识都没有。是不是该给它加一个医学的reviewer呢？’如果真的这么做，很多论文其实根本发表不出来。论文成功发表并不代表取得了成果，只说明在你reviewer的知识范畴中这种方法是可行的，实际应用到临床当中，就会暴露很多问题。”“矛盾的核心在于，理工科学者和医生之间的联络太少，我绝不相信随便拿一堆片子就能做出研究成果来。”除了医学图像数据的特殊性外，深度学习本身也存在诸多弊病。2017年，雷锋网(公众号：雷锋网)赴夏威夷参加CVPR期间，明显感受到了基于深度学习的计算机视觉技术研究已进入瓶颈。CVPR会场上，港中文-商汤联合实验室主任林达华教授曾向雷锋网介绍到：“今年并没有一个特别让人兴奋、惊喜的成果出来。”包括「Densely Connected Convolutional Networks」等最佳论文在内，我们看到了很多不同的网络设计的想法和切入角度，这些扎实的工作推动了现有体系、架构的一步前进，但是，却普遍缺乏一个fundamental breakthrough。如今似乎是有新的成果诞生但又有所停滞的状态，虽然各种思路百花齐放，但是很多核心问题都尚未取得新的突破性进展。”今年Baba Vemuri和林达华教授的观点相似，两人均提到了fundamental这个词，意在表明多数学者更多停留在工程问题，而非基础学术问题层面。现在的深度学习其实是一个有问题的框架，多用大数据和很多标注数据来训练，这在过去几年很成功，但不代表是正确的方向。当前计算机视觉的系统是一个（特征为）training system的训练，而不是一个learning system，我们要从training system变成learning system，让机器主动，并结合数据的结构、时间空间结构去学习，而不是被动地用人工训练来标注它。徐立曾向雷锋网介绍到“现在，基础研究不能丢，才能带来足够的时间窗口。AI的发展需要产业和研究相结合，以定义问题，解决问题。”在大家聚焦于data set的大环境下，ISICDM却逆潮流而上，连续在两届大会中设置了数学以及基础理论的分论坛，意在让更多工科学者站在理科的视角去重新看待问题。现场情况也印证了工科学者对基础理论的热枕。大会报告嘉宾南京大学数学系教授何炳生向ISICDM大会程序主席李纯明感叹道“我完全没有想到自己的报告会有那么多人来听讲，开讲前座位就已经被占完，后来的人只能站在会议室门口。台下听众大多是研究生和教授。一般在会场作报告，都是PPT讲解演示。但PPT演示的效果哪里抵得上教室加黑板？所以我让会务工作人员在演讲台上给我加了块可以写字的白板，我在上面用黑笔写公式推导。总共讲了一个半小时，下面不少人站着听了一个半小时。你可以看到，他们往白板越走越近，一是因为挤，二是因为真心想学。”医生需求仍旧难以满足众多医生谈到，首先，人工智能在医疗领域的应用必须充分全面，不能只针对单一场景。因为医疗的对象是人，人的生命只有一次，一旦犯错就无法弥补。以肺部为例，开发AI系统的工作人员开发出来的系统不能只会检查肺部，还要确保其他地方不出问题。现有的肺结节筛查系统大都只重点关注肺部，但医生在检查期间仍需要观察软组织、纵膈有没淋巴结肿大。此外，还要观察骨骼是否有转移或其他病变，所有场景和情况都要考虑进去。有些影像，有经验的医生一看就知道是胰尾有问题。但当时医生由于只看了肺部，没注意其他部位，就漏检了。如果AI系统只是针对肺的检测，估计也不能检出胰腺的病变。这对AI来说既是机遇也是挑战。未来我们能否用AI帮助医生发现上图中的病变呢，即使无法诊断，能对医生进行提醒也是好事。广东省人民医院影像医学部主任兼放射科主任梁长虹与此同时，梁长虹、王霄英、陆菁菁等医生谈到，AI不能单单作为第三方独立产品存在，而应该嵌入在工作流程中才能最大程度地发挥它的作用。AI医学影像如何嵌入在医生流程中，最重要的一点便是每一步都可解释，每一个问题都能够定义正确。此外，医疗人工智能产品不仅要输出一个辅助诊断信息，还应把多模态的临床信息结合进来，辅助临床医生做出决策。获得监管审批，仍是一场“持久战”在ISICDM大会中，中检院等机构也谈到了医学影像AI产品的监管流程和监管现状。AI技术在NMPA过去批准的产品中其实已经有所应用，但深度学习是一项新技术，需要从风险的角度界定它是二类器械还是三类器械。出于谨慎，中检处倾向认定其为三类器械，但随着对深度学习技术有更多认知，也不排除会将其列入二类器械。目前，我国对医疗AI产品的分类界定仍是个例处理，缺少统一的标准。为了应对新版《医疗器械分类目录》，国内大部分企业采取增删诊断功能的办法， 将产品同时申报二、三类器械。上工医信等多家企业已经率先获得了二类证书。据中检院披露，目前一共有40多款产品到中检院报检，雅森科技、汇医慧影、图玛深维、推想等都在积极申报三类证书。我国的医疗器械注册流程分为注册检验、临床评价、技术审评、行政审批四大步。目前，申报三类器械的医疗人工智能产品大多还停留在注册检验阶段。FDA认为，真实世界数据和回顾式临床数据可用于AI产品的评价。在这点上，中美两国的认识是一致的。另外，AI具有快速迭代的特性，从研发阶段、注册上市、上市后到产品变更，质量评价应该贯彻它的整个生命周期。中检院目前主要是采用基于标准数据集的测试方法和模拟对抗的方法进行AI产品的质量评价。基于标准数据集的测试方法，其总体思路是在模拟临床的条件下评价AI算法的性能，减少对临床试验的压力，降低质量评价的成本，同时加速产品上市。这对标准数据集提出了很高的要求，既要考虑数据的合规性，又要保证数据容量充分、具备多样性，标注过程严谨、可追溯等。中检院目前已经与多家医院和企业合作初步完成了眼底和肺结节两个病种的标准数据集建设。作为标准测试集评价方法的补充，中检院在AI产品的质量评价过程中也用到了模拟对抗的方法，以扩充样本量和模拟真实世界的波动。比如，中检院通过控制变量的方法对机型以及压缩、平滑、背景填充等预处理算法对AI产品性能的影响进行了研究。对于医疗AI产品的审评，未来将分两步走。第一步需要制定出相关指导原则和标准，把检验、检测标准进行统一，第二步才开始对达到标准的产品“放行”，部分符合条件的，或许可以被批准免去临床试验。据悉，中检院已经成功申报了标准化归口管理单位，正在公开征集专家组专家，规划布局AI产品质量评价的标准体系。种种迹象表明，医疗AI企业离获得三类证还有一段距离，企业或许不得不做好打“持久战”的准备。学术大牛涌入工业界北卡罗莱纳大学沈定刚教授去年的ISICDM大会期间，施俊教授与沈定刚教授在晚宴中聊到一个话题，后者问前者：“你在学术界做研究，能做得过工业界吗？深度学习把门槛拉得很低，你能做的AI影像方面的研究，任何一家企业都能做。人家钱比你多，投资速度比你快，你做出成果的时候，人家早已经产品化了。”去年的一句玩笑话，却在ISICDM的多个嘉宾身上逐渐成为现实。一个月后，沈定刚正式宣布出任联影智能CEO；中山大学陆瑶教授创办柏视医疗，随后也引入IEEE Fellow徐晨阳；罗杰波教授也出任腾讯优图顾问。而在近期，Dimitris Metaxas与张少霆师徒二人加盟商汤科技。此外，邢磊也在早期出任汇医慧影首席科学家。而在这个学术界与工业界互相融合，也同时相互竞争的大时代下，德国Surpath Medical创始人谢卫国在2017 ISICDM中总结了这么一句话：我认为学术创新一定是高校先行，工业界看到可用的学术成果后才推动产品化。以西门子为例，他们有一个庞大的团队专门负责收集专业的期刊。如果一项创新已经在论文上发表了，学术界千万不要再去追赶潮流，因为肯定会被企业碾压。企业和学术界的驱动力不一样。在高校做研究，发不了论文大不了不评教授，企业如果盈不了利则关乎生死存亡。
德国版大数据分析：中国医学影像的现状与未来
12月17日，在第六届东方放射学大会上，中国医科大学附属盛京医院郭启勇教授做了《中国放射医师现状与未来》的主题报告。这次报告中也公布了最新中国医学影像大数据，我们快来一睹为快，这些数据也是以后写标书、策划书时非常好的素材。一、中国大陆设备现状 据统计目前全国二级以上医院共拥有放射医用设备60463台。X线机13200台(CR3897台，DR12662台、胃肠机5676台、乳腺钼靶2460台);CT设备12888台，每百万人口9.4台;磁共振6762台，每百万人口4.9台;DSA 2918台二、中国大陆设备分布情况 东部地区 CT每百万人口拥有量为9.33台，MRI每百万人口拥有量5.28台;海南省CT每百万人口拥有量最多，为18.66台;广东省CT每百万人口拥有量最少，为6.68台。MRI每百万人口拥有量最多的为海南省(8.67台)，最少的是河北省(3，73台)。中部地区 CT每百万人口拥有量为9.06台，MRI每百万人口拥有量为4.74台。黑龙江省CT每百万人口拥有量最多，为14.07台;安徽省CT每百万人口拥有量最少，为5.66台;MRI每百万人口拥有量最多的为黑龙江(8.90台)，最少的是安徽省(2.80台)。西部地区 CT每百万人口拥有量为9.91台，MRI每百万人口拥有量为4.62台。青海省CT每百万人口拥有量最多，为21.77台;重庆CT每百万人口拥有量最少，为6.63台;MRI每百万人口拥有量最多的为青海省(6.80台)，最少的是西藏(0.93台)。三、人员状况 放射从业人员共158072人：高级职称27799人，中级职称53089人，触及职称72370人。男性105129人，女性52943人。东部地区放射从业人员为66439人，中部地区59265人，西部地区32368人。中部地区男性从业人员占本地区放射从业人员的百分比为70.8%，高于东部地区和西部地区。按医院级别放射人员分布情况 三级医院放射从业人员68061人。男性放射从业人员42608人，占62.6%，女性放射从业人员25453人，占37.4%。二级医院放射从业人员90011人。男性放射从业人员62521人，占69.5%，女性放射从业人员27490人，占30.5%。东、中、西部各地区三级医院、二级医院均是男性放射从业人员所占的比例高于女性。不同年龄段放射人员分布情况 放射从业人员小于30岁的有35770人，占全国放射从业人员总数的22.6%，30-39岁的有56734人，占全国放射从业人员总数的35.9%，40-49岁的38934人，占全国放射从业人员总数的24.6%。东部地区、中部地区的三级医院和二级医院的全国放射从业人员年龄分布中均是30-39岁的人数最多，40-49岁的人数次之。西部地区的三级医院与二级医院30-39岁的放射从业放射人员人数最多，所占构成比分别为36.1%、36.9%，小于30岁的放射从业人员人数次之，所占构成比分别为25.6%、27.2%。不同年龄段按医院类别分布情况 综合医院共有放射从业人员126146人，30-39岁最多，为45235人，所占构成比为35.9%。中医医院共有放射从业人员18699人，30-39岁最多，为6668人，所占构成比为35.7%。专科医院共有放射从业人员11975人，30-39岁最多，为4415人，所占构成比为36.9%。东部地区与西部地区，综合医院的放射凑个人员构成比是30-39岁所占构成比最高，小于30岁所占构成比次之，大于等于70岁所占构成比最低。在中部地区综合医院放射从业人员30-39岁所占构成比最高，40-49岁所占构成比次之，大于等于70岁构成比最低。按类别分布情况 放射医师人数为86303人，技师人数为41762人，护理人员为19452人，分别占全国放射人员数量的54.6%、26.4%和12.3%。东部地区放射医师中，三级医院19271人，二级医院18468人，分别占相应级别医院放射从业人员总数的56.9%和56.7%;技师三级医院9434人，二级医院7412人。中部地区放射医师在二级医院人数最多，为22803人，占中部二级医院放射从业人员总数的60.8%。西部地区三级医院放射医师5008人，二级医院8464人，技师、护理、工程师和物理师二级医院人数均大于三级医院。全国三级医院放射医师总人数36568人，二级医院49735人，分别占全国相应级别医院放射从业人员总数的53.7%。放射人员按医院类别分布情况 东部地区不同执业类别放射从业人员中放射医师数量最多，为37739人，其次为技师16846人，物理师最少，为404人，其放射医师中综合医院占比最大，总数位29534人(56.9%)。中部地区不同执业类别放射从业人员中放射医师人数为35092人，技师14896人，物理师321人，其放射医师中综合医院占28102人(59.0%)。西部地区不同执业类别放射从业人员中放射医师人数为13472人，其中综合医院10945人(41.2%)。全国放射医师综合医院68581人，中医医院10623人，专科医院6413人，其他医院686人。放射医生职称分布 放射医师分类中主治医师人数最多，为29803人，占全国放射医师总数的34.5%，住院医师为28249人，占全国放射医师总数的17.4%，主任医师6502人，占全国放射医师总数的7.5%。东部地区主治医师人数众多，为12953人，占东部放射医师人数的34.3%，住院医师其次，占比为32.3%，三级医院和二级医院均为主治医师占比高。中部地区主治医师人数最多，为12249人，占比34.9%，其中二级医院主治医师人数高于三级医院主治医师人数，分别为8019人和4230人;其次是住院医师人数为11644人，占比33.2%。西部地区主治医师人数为4601人，占其地区放射医师总人数34.2%，其次是住院医师4397人，占比32.6%;医师和见习医师数量最少，占比仅为1.8%。
