影像研究医学应用

2018 全球人工智能与机器人峰会（CCF-GAIR）于6月29日在深圳召开。本次大会共吸引超过2500余位 AI 业界人士参会，其中包含来自全球的 140 位在人工智能领域享有盛誉的演讲与圆桌嘉宾。在大会第二天的 【计算机视觉专场】中，上午计算机视觉前沿与智能视频环节的演讲嘉宾有：ICCV 2011和CVPR 2022大会主席权龙教授、旷视科技首席科学家孙剑等人。下午环节为计算机视觉与医学影像分析，出席的嘉宾分别是包揽7大模式识别与医学影像Fellow的田捷教授，国际顶级医学影像分析大会MICCAI 2019 联合主席沈定刚教授，微软亚洲研究院副院长张益肇博士，飞利浦中国首席技术官王熙博士等。作为计算机视觉与医学影像分析环节的重量级嘉宾，本次大会，田捷教授向与会观众分享了题为“基于人工智能和医疗大数据的影像组学研究及其临床应用”的精彩专题报告。田捷教授现任中国科学院自动化所研究员、分子影像重点实验室主任。自2010年起，田捷教授连续获得计算机视觉与医学影像分析领域的7大Fellow：IEEE Fellow、IAMBE Fellow、SPIE Fellow、AIMBE Fellow、IAPR Fellow、OSA Fellow、ISMRM Fellow。同时也是两项国家重点基础研究发展计划（973计划）首席科学家。田捷教授认为，人工智能等技术给医学领域带来的改变是毋庸置疑的，并列举了几个医学常见案例进行辅证。在他看来，医疗大数据里最常见的是影像数据，而且影像数据格式标准，容易获取、容易使用。但是医疗大数据不仅限于影像，还包括病理、临床治疗信息等，只有这些信息融合在一起，我们才能建模，才能解决人工智能真正在医学上的应用。田捷教授在研究学术的同时，也在积极探索AI技术的应用前景。他认为，AI技术只有跟临床挂钩才有价值，经过企业家的转化才能变成生产力。现在我们需要更多人工智能和大数据在医疗问题上的典型应用，来拉动产业，拉动人工智能进一步深度应用。这是相辅相成的，空喊方法，不形成规模化、典型应用，是解决不了问题的。只有得到外科、内科大夫承认的技术和临床应用，才能更加有意义。与此同时，他还表示，人工智能在医学上应用一定要“医工交叉”，工科的人要穿上医学的马甲，了解医学的问题，参加医学的会，了解医生的需求；作为医生也要对工科的方法知其然，这样才能源于临床，高于临床，又回归临床。以下为田捷教授的现场演讲内容，雷锋网作了不改变原意的编辑及整理： 我下面汇报的是人工智能和医疗大数据在医学上的应用，这是大家比较关注的热门话题，我想从“临床”和“商业”两个方面来做一下简要的归纳。人工智能在医学上的应用和传统中医非常相像。我国中医几千年以来，通过“望闻问切”的方式积累了几百万人甚至几千万人的医疗大数据，后期主要通过人脑来“加工”这些数据；现代社会与此前不同的是，我们使用电脑加人脑，利用此前积累的经验以及大数据与人工智能技术，实现了现在所说的智能医疗。人工智能目前是国家战略，健康中国2030也是国家战略。从这两个角度来说，通过人工智能技术和医疗大数据，提高人们的健康水平是国家下一步的重点发展战略；与此同时，国家也有计划要将我们的医疗和健康占GDP的比重从3%提升到30%。从商业角度出发，人工智能在医学上的应用机会很多，包括通过计算能力驱动肺癌、糖网、乳腺癌等疾病的筛查。今天，我想重点与大家分享的是人工智能对于临床医疗的重要性，它能提高我们的临床医疗水平，实现精准医疗，具体涉及到术前、术中、术后三个方面。从目前医学发展背景来看，人工智能、大数据等技术在医学上的应用是众势所趋。去年北美放射医学大会上给出描述：未来的影像中心就像飞机驾驶舱一样，是各种各样信息的综合体；而未来的医生则相当于飞行员，要处理各种各样的信息。这里还需重点阐述一个观点：如今很多声音表示，AI未来将要替代医生。在我看来，AI不会替代医生，只会更有效地辅助医生。而医生也不应惧怕新兴技术，而是积极地去利用它，使用它。当今，我们处于信息变革的时代，医学大数据也在不断的增长和积累，平均每73天，医学数据就会增长一倍。因此，基于医疗大数据的人工智能医疗必将辅助甚至改变传统的临床诊疗流程。国际影像战略策略研讨会副主席Donoso说了一句很经典的话，人工智能是否会完全替代影像科医生无法下定论，但我们肯定的是，那些使用人工智能技术的影像科医生，势必会代替那些不使用人工智能技术的医生。不跟随时代的发展，面临的就是残酷的淘汰，无论是北美放射年会，还是欧洲放射年会，都不断的在突出人工智能在影像学中的异军突起的作用。所以，未来的影像科医生，不仅仅要会看片子，还要从影像大数据中挖掘大量的潜在知识，学会利用人工智能技术，站在科技潮流的前端，不是惧怕新兴的人工智能技术，而是利用它，使用它，成为新时代下的影像信息学专家。上个月刚刚结束的美国临床肿瘤年会ASCO2018，该年会的参与者大多为内科大夫、肿瘤大夫，他们也提出，要将人工智能技术作为辅助新一代无创诊疗技术发展的重要工具。Dana-Farber癌症研究所首席研究员Geoffrey指出，无创的液体活检技术可以更加便捷的实现肺癌的早期检测和筛查，血液中游离DNA可以成功检测出早期肺癌。而随着这种无创检测手段的进步，医学数据不断积累，机器学习方法将有效提高检测精度、提高测试性能。此外，南加州大学生物科学学院院长在大会指出，在肿瘤疗效评估中，结合基于液体活检技术的基因蛋白组学和基于深度学习方法的智能影像评估可有效预测患者的预后生存。由此可见，无论是在癌症诊断还是治疗中，人工智能技术都是辅助新一代无创诊疗技术发展的重要工具。一、影像组学的本质那么，人工智能在医学领域到底如何应用，接下来我会举一些例子说明。举例之前，我们首先必须了解影像组学概念，其2012年就被提出，是由英文“组学+放射”组合出来的新词：“radiomics”，我们当年认为把它翻译成“放射组学”比较准确。当年为什么用了放射这样一个词汇？它是基于CT进行扫描的数据，然后在PET和超声上得到应用，所以我们认为将“radiomics”翻译成影像组学可能更为精准，它不仅仅融合了医学影像、基因、临床大数据，它也把组学的概念和组学的方法融合在一起。它的工作流程与医生日常读片完全是一模一样的方法，针对影像数据，提取特征，人工智能建模，然后再进行临床应用、辅助决策。这个流程也是一个标准的计算机视觉流程，也是标准的模式识别流程。但它相比医生的高能之处在于计算机看到了高维信息，可能看到了蛋白基因在宏观影像上的变化，这样的宝贵数据可以辅助医生提升临床诊断的正确性和准确性。需要注意的是，人工智能技术在医学上的研究、应用，不是写文章、不是谈概念、也不是纸上谈兵、更不仅仅是做筛查，而是要将技术与临床紧密结合，解决实际临床问题。二、典型临床应用下面我就从临床和技术两个方面谈一下人工智能在医学上的具体应用。首先我想谈谈人工智能在临床上的应用，在座各位很多都是技术人员，对于技术方法比较了解。其实我们在了解技术本身的同时，更需要了解技术到底能够解决什么问题，或者说目前医学需要解决什么问题。所以我先从问题为导向，观察临床上有何需求。在这里，我想举一个细分例子，围绕着临床应用的术前、术中、术后，来说明人工智能如何使得医学治疗更加精准。第一个例子是结直肠癌。外科大夫在为病患做手术之前都会为患者做一个辅助化疗，以控制癌症的发展，之后再为他进行手术。在这个过程中，一部分病患非常不幸，经过辅助化疗之后，他们病理上完全缓解，体内也没有癌细胞存在，但外科大夫无法凭借他的经验来肯定判断他们体内是否还有癌细胞潜藏，所以不得不还为这些病人开刀（实际上病患身上已经没有癌细胞存在）。从这来看，我们能否通过其他方式来准确判别病人的实际数据，让他们在外科大夫的经验无法准确判定、常规的影像磁共振无法精确判别时，能够非常肯定地判定病人的数据。通过人工智能分析，目前我们有90%的把握能把这些PCR缓解的病人挑选出来。换句话说，系统能够将经过辅助化疗以后，体内没有癌细胞的病人找出来。后期，这部分病人就可以免受开刀，只需密切观察随访即可。所以，它的临床意义非常大，人工智能未来不仅仅能够做筛查，更重要是，它能针对临床问题来开展工作。这是我们配合北京大学肿瘤医院放射科专家做的工作，这个结果已经发表在临床肿瘤研究的顶级杂志上。第二个例子还是结直肠癌。如果病患经过化疗之后并没有PCR缓解（占比70%左右），那么他们是需要进行手术的。开刀之后，医生需要对他们做淋巴清扫，以防止癌细胞转移。问题是：清扫完之后显示，70%的淋巴是假阳性。这里需要说明的是，假阳性结果与中国医生的开刀技术没有直接关系，美国大夫开刀假阳性也有70%左右。而这个问题也可以用人工智能技术解决。我们用人工智能技术处理500例临床病理、影像数据完整的结直肠癌患者数据，经过病理、影像，提取特征以后，在实测中，能把70%的淋巴假阳性降到30%，这是医学上非常巨大的进步。目前这项研究也发表在临床肿瘤的顶级杂志JCO上。需要指出的是，其第一作者只是一个硕士二年级的小女孩，所以我们在医学领域的研究并不需要多少临床经验，关键是先要找到临床问题，以问题为导向来解决它，并不是一味的低头专耕技术。第三个例子依旧是结直肠癌。刚才我已经讲了术前及术中，术前有没有病理学的缓解，术中要不要进行淋巴清扫。我们再来看术后，结直肠癌患者做了手术之后，外科大夫还可以给他做一个放化疗控制远端转移。这里又出现了一个问题，经过手术后的结直肠癌患者远端转移的概率只有20%，换句话说，有80%的患者花了钱，忍受了放化疗的痛苦，而去做在他身上也许不可能发生或者概率非常小的远端转移。就此，我们能否用人工智能技术把这些概率大的人挑选出来，再去做放化疗，控制他远端转移；而概率不大的人也就没必要做远端转移，后期观察即可。目前我们正在做相关的人工智能技术落地实验，希望这个概率可以提升更高，预测得更为精准。综上，我举了一个非常完整的例子，从术前、术中、术后来说明人工智能、影像组学、医疗大数据到底怎么改变我们的医学，改变我们的精准诊疗。刚才我所提到的都是手术方面的内容。那么，人工智能能否解决不用开刀也能解决的问题呢？也就是说，其能否既可以辅助外科大夫，也可以辅助内科大夫。我们知道，即使是美国著名医院的外科大夫得了肺癌，他也不知道该用什么样的靶向药，怎么预测他的生存期。而这个工作可以用人工智能、大数据来解决，我们针对500余例晚期EGFR突变靶向治疗患者多中心CT数据，利用LASSO-COX构建反映靶向治疗无进展生存期预测模型，实现对EGFR突变的晚期肺癌患者靶向治疗无进展生存期进行个性化的精准预测。如果后期发现他无进展，这时候我们就提醒他不要再用这个靶向药，价格昂贵不说，效果也不大。目前这项研究发表在CCR上，也是国内学者解决的重点医学工作。举例来说，系统可以对病患的鼻烟癌给出判断及生存期预测。针对临床指标对晚期鼻咽癌的放疗后预测精度低的现状，我们对118例晚期鼻咽癌T1和DCE MR图像做了超过3年时间的随访，并结合970个影像组学特征，和临床病理信息进行分析，在此有效预测该类患者的预后，准确度超临床指标的10%。再举一个例子，我国是肝癌大国，肝纤维化、肝硬化、肝癌是肝癌患者的病变三步曲。所以，对于肝癌患者的治疗，准确判断他们的肝纤维化非常重要。过去医生一般用超声诊断，但是超声的判断准确率只有百分之六七十左右。想要准确判断还需要做一个痛苦的工作：肝穿。用一根穿刺针穿到病患肝里面用病理学组织来确定到底有没有纤维化，从而决定用不用抗病毒的治疗方法。问题来了：能不能用人工智能技术来处理这些数据，不做肝穿也能达到跟它一样的病理学效果。针对这个问题，我们走访了12家医院，采取了600多份数据样本，用深度学习来提取它的特征，实测表明，在使用过程中，人工智能的预测结果与肝穿方法非常一致。换句话说，它能够代替以往的肝穿治疗方式，让病患不需忍受痛苦，用几张图片就能达到绝佳效果。三、影像组学新模态应用在后来的研究过程中，有相关医生提出，炎症会不会对结果产生影响。可以肯定地说，人工智能在对轻度炎症困扰上没有差别；对于重度炎症有一些差别，但是影响不大，准确率还是会远远高于人工判断。后来又有人提出，能否将该技术转化为一个软件，做商业化应用。后期验证过程中，我们发现无论是轻度肝硬化还是重度肝硬化，效果都比较鲁棒，适合医院临床应用。在这里我必须强调一点，人工智能在医学上的应用最好是以问题导向，有了问题再找方法，再去解决。我们可以源于临床，高于临床，这时候我们再商业化应用，医生们就不会抵触，他会主动来使用，因为可以很好地帮助他们辅助诊断。以上是从临床角度讲了人工智能在医学上的应用。接下来我再从技术角度来讲人工智能、模式识别、大数据在医学上应用的进展。四、影像组学的关键技术以肿瘤治疗为例来说。首先是肿瘤分割，一般可能需要医生先进行勾画，然后可以用机器学习的方法进行半自动或者全自动的分工，这些分割都可以提取相关的影像组学的特征，使得我们用人工智能的方法来建模分析。这一块的技术方法有很多，但是坦率说，哪种方法好，还得针对你遇到的问题。第二方面是特征描述，影像组学、人工智能并不是比人更加聪明，只不过医生读片时，人眼提取的信息永远是以形状为主的，以结构为主的。而从影像组学提取的特征，是强度、纹理、小波，最大值、标准方差、灰度矩阵这些特征，人眼是没法看的，同时人脑也难以加工。对于计算机来说，恰恰是它最为擅长的。所以在特征选择上，计算机选择的特征和人眼识别的特征形成了互补关系。如果我们能用计算机提取高维特征，包括毛刺、分叶等信息，再融合年龄、性别、家族史等信息，肯定是1+N>N，我们就能实现人机交互、计算机和人协同工作，从而使得我们的医学更为精准。选择特征的时候切记要多多益善，特别是把这些高维特征提取得越多越好。还有一个非常重要的点，为什么现在影像组学、人工智能热，就是这些高维特征含有基因蛋白这些微观信息，在这些宏观的影像上的体现，只不过过去人眼提取不了，但现在计算机提取了，把这些信息来进行系统加工，使得我们的预测更加精准提取特征之后，还有一项非常重要的工作是降维。共有四类主要特征降维方法：稀疏选择、空间映射、神经网络、递归排除。针对具体临床问题，业界还采用建立计算机定量影像特征与所研究临床研究问题标签之间的分类模型。主要运用了两类模型：SVM模型：从影像大数据原始像素出发，提取高维手工设计特征并进行特征选择，构建影像特征与临床问题的分类模型。CNN模型：在影像大数据的原始像素的基础上，该模型可自主挖掘与临床问题相关的影像组学特征，构建影像特征与临床问题的分类模型。至于建模部分，前面很多讲者也讲了很多模型，人工智能、深度学习有一系列的模型，无所谓哪种模型好，关键是针对你的问题，你是要做生存期预测，还是要做疗效评估，针对我们在医学上不同的使用的对象和问题，我们应该选择不同的方法。有了方法之后，我们构建的模型可以提高分类精度，甚至能达到主治医生的水平，大家已经看到了很多例子，我就不展开细说。但是这里面还有一个非常重要的环节，是我们做计算机、做工科最容易忽视的：我们往往把模型建出来，就直接把这些结果拿给医生去看，希望医生可以去使用。这时候，你一定会吃闭门羹，因为医生肯定会说这不是我需要的东西，你这些模型我看不懂，我根本没法用。所以后期非常重要的步骤就是：要让他们看图识字，要把这些数据可视化。你给医生们一大堆模型，他会觉得很难懂，换成图片之后，他就觉得非常好用，我们要从医生的角度看问题，把模型可视化。另外，计算机处理离不开数据，这些数据质量到底怎么样，我们也要从医生的观点来看待它。去年临床肿瘤学杂志上发表了一篇文章，是以荷兰大夫为主发表的，他在谈数据质量标准的评价，给出了16个评价标准，36分是满分，进行数据质量打分，而且他也会编程序，编一些简单的程序，把它放到网上，你直接填表打分，最后告诉你数据质量是怎么样的，我觉得目前也是对医学用人工智能判断，用影像组学第一个比较公开的数据标准，值得大家借鉴、参考。五、人工智能+医学影像的未来展望刚才我从技术方面谈了人工智能怎么针对医疗问题，用什么样的方法解决。涉及分割、特征提取、模型构建、模型可视化、质量控制5个环节。最后我想提一下人工智能在医学影像应用未来的发展方向，主要涉及到人工智能的方法、数据、软件、共享平台。我们现在不缺方法，也有很多数据，也有各种各样的软件，但是我缺乏交流共享的平台，我们这个会议也是一个交流共享的平台，我也建议我们相关企业在会后把相关的资源共享出来，这样可以更好地促进人工智能在医学领域的应用。我先从模型讲起，这几年人工智能的模型有很多，有卷积神经网络、迁移学习、博弈进化模型，数据也在不断地增多，智能程度也在不断地提高，所以我做了一个二维的方阵来说明这个问题。迁移学习经过大数据训练，我们可以在医学的小数据上提取到复杂的影像特征，而且这些特征还有很好的解释性。与此同时，我们所提取的高维特征又会带来一个挑战，临床医生表示看不懂且不知道有何意义。此时，我们无法对于医生的困惑做出解释，因为这是计算机分析出的结果，我们不能说它跟肝的哪个血管对应，跟肾的哪个细胞对应。但是我们也可以把这些特征，用强特征分布的热点图表达出来，它有一定的可视化，对这样的强特征的热点图，你去做穿刺或者靶向治疗的时候，穿刺效果就会非常好。与此同时，我们还可以用迁移学习的深度学习方法来提高肺癌基因突变预测的精度。迁移学习模型是经过128万张图片训练出来的，我们做肺癌的时候可能没有这么多图像，但是如果我们想要提高它的预测精度，我们用前面图像训练过的模型可能也会得到比较好的效果。另外，大家知道现在博弈进化模型比较热，它可以让机器学习提高智能程度，这在医学上的应用也非常重要。需要指出的是，我们用人工智能做组学分析，我们需要多病种、多模态、多中心、多参数的数据融合，在这一块，还有非常重要的点是数据标准，虽然我们国家这一块现在已经非常重视，做了一系列的筹备，但是目前为止还没有出来一个影像大数据的数据标准，或者数据规范化的行业标准，所以依然是一个挑战。目前，我们医院有大量的数据，大量的数据不代表就是大数据，我们需要经过数据清洗，影像的数据相对来说还比较规范一些，但是病理的信息、治疗的信息、预后的信息我们都需要有，才能使得人工智能做更准确的预测。所以在这里我也想说，前面我举的那些例子，淋巴清扫的工作，原来我们是想做生存期预测的，但生存期预测我们需要两年以上的病人随访，因此很多信息的提取还需要医疗从业人员去科普，需要让患者知道，我们做临床研究需要大量的信息才能做综合。幸运的是，我们国家人口多，病人多，所以数据也是我们的天然优势，这几年我们配合不同的医院采取的数据，包括儿童水果细胞瘤这样一种眼底的肿瘤，我们都能收集相关数据；肺癌、乳腺癌的数据量更大。这些数据不太牵涉到隐私，我们提取的都是高维信息，我们也不需要存原始图象，所以从某种意义上说这些数据的隐私性是比较好解决的。有了数据，我们还需要软件，我们可以开发各种各样的软件，特别是医学图象处理的软件，我们实验室有三个软件，第一个是MITK，是医学软件的集成平台，包含重建、分割可视化；还有一个是3D软件；另外我们还有一个影像组学的软件，全部是开源的，在我们的网站上可以下载。人工智能在医学上的应用一定要医工交叉，我们工科的人要穿上医学的马甲，了解医学的问题，参加医学的会，了解医生的需求，作为医生也要对工科的方法知其然，你也许不知其所以然，但是你要知其然，这样我们才能源于临床，高于临床，又回归临床，不只是看一个病，不只是一个软件。我就汇报到这里，敬请各位批评指正，谢谢大家。（完）观众提问：刚才您说了要从影像里面提取高维信息，并且说了要源于临床，最后还要回归临床，这些高维信息是由谁来提？是医生来提，还是我们工科的人来提？我还听说您那里面有的有400个高维信息，我看到有的文章好像更多，这些信息是怎么提出来的？田捷教授：这个问题提得非常好，也非常关键。如果用计算机去做，还是停留在结构特征上，我们能弥补一些医生的错误，但是不能辅助诊断。刚才举例子讲的这些高维信息，它到底有没有用，医生也不知道，我们也不知道，但是用计算机、深度学习把它提取之后，我们只能尝试，有些问题可能能很好地解决，有些问题现在还解决不了，我们只是提取这几百个甚至上千个特征，跟那些特征、病理信息融合在一起，我们再去筛选，把关键的信息提取出来，这是降维，最后再建模，然后取得一个好的结果。跟医生在交互的过程中，这些特征是人眼看不了的，医生也搞不清楚，我们拿这些特征去投稿的时候，大部分医生是看不懂的，我们投到医疗杂志上，他会问你这到底有什么效果，我们说不清楚，所以我们把那些东西变来变去，终于变成热力图的模式，最后说明这可能是肿瘤的中心地带，它能反映这样的问题，他能看懂了，知道这是有问题的，然后就接受了我们的论文。我们这些特征不仅仅说明它有用，还要想办法跟医生沟通，把这些特征变成可视化的，让医生能接受，说明它的临床意义。这也是一个痛苦的交互过程。观众提问：刚才我看到您的迁移学习的工作，把上百万张自然图像迁移到肝脏的医学图像上，但是我看到有文章说迁移学习必须要有医学的意义，如果您这样做的话，让自然图象迁移到医学图像上，它的临床意义在哪儿？医生会接受这样做吗？田捷教授：医生能不能接受，关键看临床效果，关键看你能不能针对临床解决问题。我没有去计算机视觉的会议，我现在反而是跑到美国临床肿瘤学会、美国肿瘤学会的会议上，你要到临床医生那里，让他们“折磨”你，找出他们能接受的临床效果和临床意义，这时候你的模型才真正起作用，我们老在计算机视觉会议上谈我的方法和参数好，我觉得意义不大，当然能写文章，只是把纸变成钱。所以我说我们技术人员要穿上医生的马甲，到医学的会议上交流。我是工科生，但近些年我没有发表一篇计算机方面的文章，都是医学的文章。这一点我非常自豪，我能在医学的杂志上发文章，就非常具有临床意义，因为审稿人都是医生，说明我已经穿上医生的马甲了。我认为，这是所有想在医学领域深耕的工科生都需要做出的转变，必须站在医生的角度去思考问题，让他们来当裁判，让他们来鉴别。雷锋网雷锋网

通过深度学习、机器学习等人工智能技术，能够对医学影像进行无监督或者半监督的自动化分析，提升医学影像临床诊断效率，深入发掘影像数据中潜藏的医疗与科研价值。医疗行对医学影赛道像诊断的准确度与诊断效率要求在日益增长，传统医学影像科室无法满足国内日益增长的患者需求，由于硬件算业力和算法模型的飞速发展，医学影像中人工智能技术的应用成为必然趋势。人工智能技术对医学影像系统智能化升级体现在：医学影像软件系统诊断及分析功能的升级、医学影像成像设备的升级、助力医学科研工作等方面。自2016年以来，大量初创公司和行业巨头开始加速探索人工智能技术在医学影像领域的商业化应用，医学影像人工智能成为热门投资。作者 | 付海天、田辰一、全球及中国医学影像市场规模据Zion Market Research测算，全球影像诊断市场在2016-2021年年复合增长率（CAGR）约为6.0%，预计在2021年市场规模将达335亿美元。据Signify Research报告显示，全球人工智能医学影像市场有望将在2023年达到20亿美元规模。海通证券等多家机构预测，到2020年国内医学影像市场规模将达6000-8000亿元。据机器之心数据统计，2016年中国医学影像相关企业（包含医学影像业务的通用型人工智能公司）累计融资额约63亿人民币，之后呈现快速增长趋势，2018年融资额度创历史新高，高达约300亿人民币，企业产品创新研发投入持续加码，诊断产品覆盖病种达近百种。中国医学影像相关产品/解决方案服务商年度融资额二、人工智能技术对医学影像行业的影响医学影像数据感知及分析：医学影像的处理本质上就是计算机视觉技术在医疗行业的应用，涉及医学图像分割、图像配准、图像融合、图像压缩、图像重建等多个领域。人工智能的作用主要体现在对于经过一定计算机视觉技术处理后的图像数据进行进一步的智能化分析，辅助医生进行标注、诊断或者手术工作。医学影像数据与其他类型数据融合处理及分析：医学影像能够展现患者身体特定部位的结构特征和代谢情况，具有大量图像数据信息供计算机进行分析，如果将医学影像数据结合患者的生理体征、病史、基因信息、身份信息等非图像数据，通过人工智能算法模型进行训练和应用，则能够帮助计算机从更高维度来分析数据和提取重要特征，更加全面展现疾病背后的隐含关联因素，辅助医生对疾病状况进行更精准的分析诊断。影像数据挖掘加速医疗科研过程：医学影像数据挖掘指从存放在数据库或其他信息库中的大量影像数据中挖掘有价值信息的过程，其目的是寻找影像数据背后的关联和模式。计算机辅助诊断（CAD）系统的原始处理对象为医学影像信息数据库 , 对影像信息进行数据挖掘和知识发现, 能够发现其中的诊断规则和模式，加速医疗科研过程。三、人工智能技术在医学影像中的应用分布四、医学影像中人工智能技术落地案例简述腾讯觅影：腾讯觅影利用腾讯优图在大数据、图像识别与深度学习方面的技术，对早期肺癌的敏感度（识别正确率）达到 85% 以上，在良性肺结核的特异性（识别正确率）超过 84%，对于直径大于 3mm 小于 10mm 的微小结节检出率超过 95%。博为软件：博为肝脏三维手术规划系统解决了肝脏切除手术方案设计困难问题，通过对原始的CT数据进行后处理重建为三维立体图像，精准肝脏分割与分段，自动提取肿瘤病脏，直观地展示肝脏肿瘤、肝段、肝脏内部复杂的管道解剖结构，对病例进行量化分析，并自动生成临床脏器定量分析报告。Curexo：由美国 Curexo 公司制造的Robodoc主要用于膝关节和髋关节置换手术。RoboDoc 包括两部分：手术规划软件和手术助手，分别完成 3D 可视化的术前手术规划、模拟和高精度手术辅助操作。RoboDoc机器人采用了四轴直角坐标工业机器人本体，使用患者股骨上插入的钛金属定位针来实现机器人与患者骨骼的相对定位，精度达到了0.1mm。RoboDoc主要用于关节置换术中辅助骨骼和假体的成形、定位和植入，可提高全膝（髋）置换手术的质量。深思考：基于宫颈细胞学领域知识，通过深度学习、机器学习、医学图像处理等技术提取宫颈细胞的关键特征，自动分割团簇重叠细胞，快速识别涂片上病变细胞的分级类别，实现宫颈细胞涂片的辅助阅片。深思考人工智能辅助阅片机器人可在100秒内完成单张涂片的阅片，适配国内多种制片方法，其中鳞状上皮细胞异常敏感性约为98.4%，特异性约99.77%，腺细胞异常敏感性约为93.4%，特异性接近90%。五、医学影像领域人工智能技术发展所遇瓶颈1. 影像数据分散在各个机构：影像数据是训练影像智能诊断算法模型所需的核心资源，但大量的影像数据分散在各个医院、影像中心、研究机构，不易被高效整合利用。2. 影像训练数据集标注结果存在主观差异：不同医生对图像的理解存在主观差异性，造成标注结果的不确定性，导致影像训练数据集的标注结果受到主观因素的影响。3. 人工智能算法模型适用的影像类型有待拓展：目前人工智能影像诊断主要集中在X光、CT、病理领域，而在超声、MRI、PET、红外等影像领域应用较少。六、医学影像领域人工智能技术发展的未来趋势1. 医学影像技术进一步发展：医学影像系统中成像设备技术升级、影像设备图像处理算力增加、智能诊断软件集成病种增多、影像数据融合应用、迁移学习加速影像诊断模型训练。2. 人工智能在医学影像应用领域不断拓宽：除疾病的鉴别诊断外，还可应用于分子及细胞层面图像处理、应用于介入影像学、助力非外科手术方法诊断及治疗等。3. 医学影像产业升级：区域影像数据中心建设促进区域级别影像数据流转及应用，医学影像专家团队开发模型评估体系与统一标准作为产业界产品标准等。* 本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布，敬请大家关注。针对「医学影像中人工智能应用现状及展望」这一主题，有哪些方向或主题，你希望在报告深度版中读到更详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。

三度潮起潮落，人工智能技术终于迎来了它的黄金时代。几经沉浮，它不再是远离大众生活的高深理论，也不仅仅是人们茶余饭后作为谈资的人机大战，而是融入到各种产品中为消费者带来了切切实实的便利，为企业创造了真实可见的价值。在这一背景下，雷锋网重磅推出了「AI 最佳掘金案例年度评选」，从商业维度出发，寻找人工智能在汽车、金融、医疗、教育、安防、零售等10个行业的最佳前沿应用。日前，第二届「AI 最佳掘金案例年度评选」结果正式出炉。经过49天的筛选与评审，最终58家企业从276个参选者中脱颖而出。其中，在众多资本看好的医疗领域，依图医疗、图玛深维、Airdoc、翼展医疗集团、深睿医疗分别获得了“最佳医学影像辅助诊断奖”、“最佳深度学习医疗方案奖”、“最佳眼底影像智能诊断奖”、“最佳大型器械创新奖”和“最佳医疗科研平台奖”。“最佳医学影像辅助诊断奖” 依图医疗：打通临床闭环过去一年里，医学影像AI行业取得了长足发展，而依图医疗正是行业发展的最佳缩影。概括来说，医学影像AI已经从只能完成单点任务（例如优化结节检出）进阶到了能完成以疾病（例如肺癌）或者部位（例如全肺CT影像诊断）为中心的诊疗流程。以肺癌为例，两三年前，医学影像AI公司扎堆进入肺结节检出领域。肺结节是肺部非常典型的病灶之一，但肺结节检出只是一个单任务，在临床上无法形成闭环。而依图医疗在今年RSNA上率先发布了care.ai胸部CT智能4D影像系统以及癌症筛查智能诊疗平台。其中，胸部CT智能4D影像系统是全球首个突破肺结节检测，实现斑片、条索、囊状影、胸腔积液等多种病灶的实时影像AI系统，将极大减轻放射医师工作负担。癌症筛查智能平台则依托于依图医疗以疾病为核心的海量多模态医疗数据，以及先进的AI影像、NLP技术，构造了一个集病灶检出，性状描述，恶性评估，临床决策，患者管理，疗效预测，随访评估和科研辅助等于一体的科教研管一站式平台，贯穿整个临床诊疗流程，涵盖了目前中国高危高发的几类癌种，比如肺癌、乳腺癌、宫颈癌、结直肠癌、胃癌等。凭借care.ai胸部CT智能4D影像系统和癌症筛查智能诊疗平台，依图医疗无论在产品形态还是临床应用场景的进化上，都已经迈出了重要的一步，对整个行业也起到了重要的引领和启发作用。依图医疗：非常荣幸获得雷锋网“AI最佳掘金案例年度榜单”中的“最佳医学影像辅助诊断奖”。依图医疗坚信，AI的未来在医疗，世界级的医疗难题将诞生世界级的解决方案。作为AI医疗的引航者，依图医疗始终坚持帮助人类更准确、更全面、更深刻地认识、理解，甚至超越疾病。“最佳深度学习医疗方案奖” 图玛深维：性能、架构再度升级图像识别是深度学习等人工智能技术最先突破的领域，已经广泛用于图片搜索、自动驾驶、人脸识别。而在医疗健康领域，医学影像是深度学习与医疗结合中，发展最为迅猛的细分场景。作为致力于将深度学习人工智能技术引入到智能医学诊断的系统开发商，图玛深维采用英伟达的DGX Station以及CUDA并行加速来进行神经网络模型的训练，并在此基础上于2017年8月推出了自己的首款产品——σ-Discover/Lung Nole肺结节智能诊断系统。这套系统的亮点在于除了结合深度学习人工智能算法之外，还引入了图玛深维自主研发的三维分割技术。目前，这款产品已经覆盖超过200家医院。同时，经过一年多时间的积累和沉淀，今年11月，图玛深维又发布了四款全新的人工智能诊断系统——胸部X线智能诊断系统（σ-Discover/Lung DR）、乳腺钼靶智能诊断系统（σ-Discover/Mammo）、脑卒中CT智能诊断系统（σ-Discover/Stroke CT），以及肝脏CT智能诊断系统（σ-Discover/Liver CT）。相比σ-Discover Lung智能肺结节分析系统，这四款产品无论在架构还是性能上，都取得了长足的进步。以胸部X线智能诊断系统为例，这款产品可以基于胸腔DR图像，完成15种胸部疾病的自动检测及定位，系统敏感度超过90%，并具备良恶性风险评估功能，能够帮助医生大幅提高工作效率。这些新品采用的深度学习技术包括基于三维卷积的深度对抗生成网络和通用模型训练等，通过从多种数据中提取可共享的信息，将同一个网络模型同时使用在多个应用中，大大地提高了模型训练和运算的效率，有效地解决了医疗数据类别之间的不平衡和数据标注不完整的困境，以前沿技术奠定先发优势。图玛深维：感谢雷锋网给予图玛深维的肯定，“让深度学习进入智能医疗”是图玛深维不变的追求。未来，我们将继续创造卓越、可靠的人工智能医疗产品，助力医疗发生革命性飞跃。“最佳眼底影像智能分析奖” Airdoc：守住健康的“窗口”眼底血管和神经是人体唯一可直接观察到的血管和神经，一些慢性病如高血压、肾病、糖尿病、血液病、中枢神经系统疾病等均可引起眼底的病变，故眼底素有人体“健康窗口”之称。眼底的异常改变对于慢病的早期发现和病情监测起着重要的作用，从这个角度看，眼底检查可称得上是慢病防治的“监测窗口”。眼底病病因复杂、致盲率高。统计数字显示，目前我国各类眼底疾病患者人数在5000万以上，眼底病占眼病总数的68%，成为失明的罪魁祸首。以糖尿病眼底病变为例，目前我国糖尿病患病人数在4000万人以上，而糖尿病眼底病变患者则超过1000万，8%～12%的失明由糖尿病眼底病变引起。然而，由于我国眼科医生资源稀缺、分布不均衡，加上由于对眼底病缺乏了解、重视不足，使得一些患者错过了最佳治疗时间，造成不可挽回的视力损失。强烈的市场需求和人工智能技术的发展，催生了一批致力于眼底影像智能辅助分析的企业，Airdoc正是其中的佼佼者。目前，通过反复迭代和打磨，Airdoc的慢性病识别算法已经可以通过简单的视网膜拍照，快速、准确识别包括高血压、糖尿病、动脉硬化及眼底疾病在内的30多种常见慢性疾病及其并发症病变风险。商业模式方面，Airdoc不仅致力于帮助院内医生快速阅片，提升诊断效率；还将目光投向了更大的院外慢性病筛查市场。Airdoc副总裁张京雷介绍，随着全国范围内大规模社区慢病筛查的逐步开展，预计将来每年筛查量会超过1,000万人次，这个规模在全世界都是最大的。以年筛查1,000万人次（目标人群主要为中老年人）为例，预计可以发现数十万甚至百万的眼底疾病和早期慢病患者，有效导流给有诊疗能力的医院后，预计有十万以上的家庭因此收益，同时因为这些严重的慢性疾病在早期得到有效治疗，将为医疗体系节省后续治疗费用达到数十亿元以上。除了筛查以外，Airdoc的慢病识别算法还可以有效介入糖尿病或高血压等严重慢性疾病的患者日常病程管理，以更直观、可靠及数字化的方式为临床医生提供病程发展的指引。Airdoc：Airdoc成立4年来与数百位顶级医生展开了深度合作，借助AI帮助基层。如今成为我们在世界范围内展开了大人群的筛查，感谢雷锋网对Airdoc的肯定，将我们选为最佳掘金案例，未来我们会像空气一样伴随用户，为每个人提供最优质的服务。“最佳大型器械创新奖” 翼展医疗集团：生态土壤上开出娇艳的花做过影像软件，搭建了远程诊断平台，成立了医生集团，落地了线下第三方影像中心，随着人工智能时代到来，又积极探索智能影像诊断。进入医疗领域的九个年头里，翼展医疗集团始终紧跟时代潮流，构筑起了一个庞大的医疗产品生态。不久前的CCR大会上，翼展医疗集团再落一子，重磅发布了人工智能产品W－insight。这款产品可基于DR的胸部图像自动生成对应胸肺17种病种的分类与影像学表现报告，实现了阅片、诊断、出具报告的全流程诊断，可广泛的运用于患者体检相关项目。这款产品具有两大优势：1.极大的基层使用广泛性和普及型。DR是基层医疗机构普遍大规模使用的医学影像工具，W－insight通过业界领先的机器学习技术，可以实现DR图像自动生成诊断报告，从而广泛应用于筛查和体检。2.提高医生工作效率，降本增速。DR图像自动生成报告，能够让医生减少输入的时间，同时，可以参考机器出报告的情况，根据医生判断进行修改。经过测算，W－insight可以大幅度提高医生的诊断输入时间。此外，这款产品还可以和翼展医疗集团的翼展云影医学影像诊断平台发挥生态协同作用。借助云平台上大量的医院用户群，W－insight可以迅速覆盖2000多家医院，这是其他AI企业难以望其项背的。过去九年里，翼展医疗集团不断探索，突破创新的边界。未来的它，更加值得期待。翼展科技：谢谢雷锋网的肯定，翼展将继续用自己的创新、能力、格局不断推动行业的发展，保持让人人享有高水平的医学影像诊断的初心不变。“最佳医疗科研平台奖” 深睿医疗：跨越学科壁垒，连通创新潜能商业世界里讲求先发优势，但也不乏后来居上的传奇，深睿医疗便是一个很好的例子。成立于2017年初的深睿医疗在医学影像AI这条赛道上颇有些姗姗来迟的意味。但很快它便以黑马的姿态杀到了行业一线，成长速度之快令行业内外刮目相看。不久前，成立一年多的深睿医疗一口气发布了四大品类七款AI产品，分别是Dr.Wise癌症早期筛查AI系统，包含最新一代肺结节AI辅助筛查和诊断系统、乳腺钼靶辅助筛查系统两款产品；Dr.Wise脑卒中AI检测分析系统，包含出血性脑卒中AI检测分析系统、缺血性脑卒中AI检测分析系统、深睿智能影像云Dr.Wise Cloud和Dr.Wise多模态科研平台。其中，Dr.Wise癌症早期筛查AI系统、乳腺钼靶辅助筛查系统以及Dr.Wise脑卒中AI检测分析系统在性能上均已位于行业领先。目前，产品进入到近三百家医疗机构，是商业化落地程度最高的企业。CEO乔昕将深睿医疗的成功归结于团队的优势互补：董事长雷鸣作为“百度七剑客”之一，对技术和商业均有着独到的见解；乔昕本人具有深厚的医学背景，先后在三甲医院和西门子医疗任职；CTO李一鸣曾先后就职于百度和高德信息技术有限公司，在大数据和机器学习方面有着深厚的造诣。而首席科学家、IEEE Fellow俞益洲教授的加盟，更是让深睿医疗的团队更上了一层楼。除了强大的内部团队，深睿医疗还特别注重于医生的跨学科合作。这正是它精心打造Dr.Wise多模态科研平台的重要原因之一。这款多模态科研平台可以基于影像、病理、基因的数据分析，提取大量高维的定性特征，对疾病的诊断定性，治疗方案及预后评估提供有价值的指导。其先进的计算机深度学习技术，有助于简化科研中的复杂流程，提高科研效率，帮助医生产生高价值的科研成果和文章。对于医学影像AI这样一个多学科交叉的领域来说，Dr.Wise多模态科研平台的诞生，无疑有着跨越性的意义。深睿医疗：感谢雷锋网，深睿医疗是一家非常珍视科研成果，注重临床转化的公司，这个奖对我们来说是很有价值的肯定。未来在医疗人工智能领域深睿医疗会继续深耕细作，不断精细打磨自己的产品。推动人工智能与医疗的深度融合，让AI成为医生的好助手，为构建一个全方位的医疗+AI生态圈，深睿医疗一直在路上。透过获奖的五家企业，我们可以看到医学影像AI领域正在发生两大变化：一方面，技术上各家企业不断突破创新边界；另一方面，各家的产品也愈发成熟和贴近临床，已经具备了临床应用的条件。从量变到质变，医学影像AI的拐点或许很快就将到来。作为一家行业领先的科技媒体，雷锋网希望借助这五家企业的表率力量，号召更多企业砥砺前行，加速智慧医疗时代的到来。

深度学习在医学影像中的研究进展及发展趋势王丽会1,2, 秦永彬1,21 贵州省智能医学影像分析与精准诊断重点实验室，贵州 贵阳 5500252 贵州大学计算机科学与技术学院，贵州 贵阳 550025摘要：医学影像是临床诊断的重要辅助工具，医学影像数据占临床数据的90%，因此，充分挖掘医学影像信息将对临床智能诊断、智能决策以及预后起到重要的作用。随着深度学习的出现，利用深度神经网络分析医学影像已成为目前研究的主流。根据医学影像分析的流程，从医学影像数据的产生、医学影像的预处理，到医学影像的分类预测，充分阐述了深度学习在每一环节的应用研究现状，并根据其面临的问题，对未来的发展趋势进行了展望。关键词：深度学习 ; 医学影像 ; 图像处理 ; 人工智能 ; 卷积神经网络论文引用格式：王丽会,秦永彬. 深度学习在医学影像中的研究进展及发展趋势[J]. 大数据, 2020, 6(6): 83-104.WANG L H, QIN Y B. State of the art and future perspectives of the applications of deep learning in the medical image analysis[J]. Big Data Research, 2020, 6(6): 83-104.1 引言医学成像已成为临床诊断的重要辅助手段，其包括计算机断层扫描（computed tomography，CT）成像、磁共振成像（magnetic resonance imaging，MRI）、正电子发射断层扫描（positron emission tomography，PET）成像、超声（ultrasound， US）成像、X射线（X-ray）成像等。如何借助大数据和人工智能技术，深入挖掘海量的医学图像信息，实现基于影像数据的智能诊断、智能临床决策以及治疗预后，已成为目前的研究热点。深度学习属于机器学习的分支，是目前实现人工智能技术的重要手段。随着深度学习技术在图像处理和计算机视觉领域的广泛应用，利用深度学习技术辅助临床诊断和决策已成为医学图像分析领域的研究重点。医学影像智能诊断的流程可大致分为3个步骤，首先获取大量高质量的图像数据，然后对图像进行预处理，最后挖掘图像信息，进行分析预测。其具体环节如图1所示。其中海量、高质量的图像数据是深度学习训练的基础，图像预处理（如配准、感兴趣区域提取）是后续分析准确度的基本保障，挖掘信息、建立预测模型是临床智能决策的关键。因此，本文将分别围绕这3个方面，阐述深度学习在医学图像处理分析流程中每个环节的主要应用现状，最后总结深度学习在医学影像研究中的发展趋势。图1 医学图像处理分析过程2 医学图像复原、重建与合成2.1 医学图像复原与重建海量、高质量的医学图像数据是利用深度学习技术实现影像精准诊断的基础。然而，由于成像设备和采集时间等因素的限制，在医学成像的过程中不可避免地会受到噪声、伪影等因素的影响。同时，针对某些成像方式，需要在成像分辨率和采集时间上进行折中，例如在CT成像中，为了降低辐射的影响，需要减少投影采集数目；在磁共振成像中，为了减少患者运动或者器官自身运动引起的伪影，需要降低K空间的采样率以减少采集时间，然而低采样率会严重影响图像的重建质量。为了获得高质量的采集图像，经常需要进行图像降噪、图像超分辨率重建、图像去伪影等复原与重建工作。下面将分别阐述深度学习在这几方面的研究现状。2.1.1 医学图像降噪基于深度学习的医学图像降噪主要应用在低剂量CT图像中。卷积降噪自动编码器（convolutional neural networkdenoise auto-encoder，CNN-DAE）是早期用于医学图像降噪的深度学习模型。该模型通过一些堆叠的卷积层，以编码和解码的方式从噪声图像中学习无噪图像，其鲁棒性较差，对噪声类型变化较为敏感。随后，Chen H等人提出RED-CNN降噪模型，将残差网络与卷积自动编码器相结合，通过跳跃连接形成深度网络，实现低剂量CT图像的降噪。同年，Kang E等人首先对低剂量CT图像进行方向小波变换，然后将深度卷积神经网络模型应用于小波系数图像，实现降噪，并使用残差学习架构加快网络训练速度，提高性能。虽然这些网络结构的降噪性能相较于传统方法得到了显著的提升，但是其网络训练均以复原CT图像与相应正常剂量CT图像之间的均方误差最小为优化目标，使得降噪图像存在细节模糊和纹理缺失等问题。为了解决这一问题，研究者提出改进损失函数和模型结构的方法来优化低剂量CT图像的降噪效果。WGAN-VGG模型通过引入感知损失，采用WGAN（Wasserstein generative adversarial network）模型进行降噪，利用Wasserstein距离和感知损失提高降噪图像与真实图像的相似性。基于WGAN-GP（gradient penalty）的SMGAN （structurally-sensitive multi-scale generative adversarial net）模型将多尺度结构损失和L1范数损失结合到目标函数中，并利用相邻切片之间的信息降噪，其结果优于WGAN-VGG模型。但是梯度惩罚的使用削弱了生成式对抗网络（generative adversarial network，GAN）的表示能力。为了解决这个问题，Ma Y J等人提出基于最小二乘生成对抗网络（least-square GAN，LS-GAN）的残差生成器结构，通过引入结构相似度和L1范数损失来提高降噪能力，生成器负责学习噪声，降噪图像为生成器的网络输入与网络输出的相减结果。除了生成模型，为了提高降噪效果，Yin X R等人同时在投影域和图像域采用3D残差网络进行降噪，并利用滤波反投影重建算法，实现投影域和图像域的相互转化，通过迭代的思想实现图像降噪。Wu D F等人提出一致性神经网络模型，实现了无监督的图像降噪方法，其不需要无噪图像标签，仅利用有噪图像对模型进行训练，从而获得降噪图像。可以看出，在利用深度学习进行降噪时，常需要利用有噪图像和无噪图像来训练模型，学习噪声类型，或者学习无噪图像与有噪图像之间的对应关系，进而实现图像降噪。这种方式具有一定的局限性，在临床的某些应用上，很难获得真实的无噪图像。因此，如何采用无监督或者自监督模型，仅利用有噪图像实现医学图像降噪将是未来研究的主要方向。2.1.2 医学图像超分辨率重建高分辨率的医学图像可以提供更多的临床诊断细节，然而由于采集设备的限制，临床上高分辨率图像较难获取。因此，如何利用深度学习技术从一幅或者多幅低分辨率医学图像中获得高分辨率图像成为当前主要研究热点之一。随着深度学习模型在自然图像超分辨率重建中的成功应用，采用深度学习模型进行医学图像超分辨率重建的研究逐渐开展起来。然而，医学图像与自然图像有本质的区别，其超分辨率重建不仅需要在图像切片平面上进行，还需要在切片之间进行，如图2所示。图2 医学图像超分辨率图像示意图（此图部分来自参考[9] ）除了将自然图像中的超分辨率重建模型直接应用到医学图像，Oktay O等人采用深度残差卷积网络从多个2D心脏磁共振（magnetic resonance，MR）图像中重建出3D高分辨率MR图像，提高了层间分辨率。Pham C H等人将SRCNN模型拓展到3D，以实现脑部MR图像的超分辨率重建。McDonagh S等人提出对上下文敏感的残差网络结构，可以得到边界和纹理清晰的高分辨率MR图像。Zheng Y等人提出多个Dense模块和多路分支组合的MR高分辨重建模型，该模型具有较好的重建结果和泛化能力。Zhao X L等人提出通道可分离的脑部MR图像高分辨率重建模型，一个通道采用残差结构，一个通道采用密集连接结构，实现了特征的有效利用，从而提高高分辨率图像的重建质量。Tanno R等人结合3DSubpixelCNN和变分推论实现了磁共振扩散张量图像的超分辨率重建。Peng C等人提出空间感知插值网络（spatially aware interpolation network，SAINT），充分利用不同切面的空间信息提高超分辨率图像的重建质量，该模型在对CT图像进行2倍、4倍和6倍分辨率重建时，均取得了较好的结果。Shi J等人提出一种多尺度全局和局部相结合的残网络（multi-scale global local resial learning，MGLRL）模型，实现了MR图像的超分辨重建，该模型可以增强图像重建细节。Lyu Q等人采用GAN实现了多对比度MR图像的超分辨率重建。与医学图像降噪相似，基于深度学习的超分辨率图像重建需要低分辨率图像样本和高分辨率图像样本对对网络进行训练。通常采用下采样的方式进行高/低分辨率图像样本对的构造。然而针对不同模态的医学成像，其成像原理大不相同，高分辨率和低分辨率之间的对应关系也不尽相同。因此，采用人工下采样的方式获得训练数据，学习低分辨率图像与高分辨率图像的对应关系，很可能与实际采集中低分辨率图像与高分辨率图像的对应关系不相符，进而导致重建的高分辨图像无意义，因此如何构建符合实际的高/低分辨率图像样本对是利用深度学习进行超分辨重建的难点。2.1.3 医学图像重建医学图像重建是指将采集的原始数据重建为临床上可视图像的过程，如CT采集的原始数据为投影图像，MR采集的原始数据为K空间数据，需要重建算法才能获得临床上用于诊断的图像。在实际应用中，由于一些采集条件的限制（如在CT中尽量减少投影数目，缩短采集时间，以降低辐射影响；在MR成像中，减少K空间填充数目，缩短采集时间，以避免患者的不适或者由患者运动带来的图像伪影），需要降低原始数据的采集率。然而，降低原始数据的采集率必然会影响图像的重建质量。因此，研究合适的重建算法，保证在原始数据低采样率下仍能获得高质量的重建图像，成为医学图像重建中的研究重点。目前采用深度学习模型进行医学图像重建的方法主要分为两类：一类是从原始数据直接到图像的重建，另一类是基于后处理的方式提高重建图像的质量。第一类方法的代表模型有：ADMM-Net，其用深度迭代的方式学习传统交替方向乘子（alternating direction method of multipliers，ADMM）优化算法中的超参数，可以直接从欠采样的K空间数据中重构出MR图像；Adler J等人提出对偶学习模型，用其代替CT重建中的滤波反投影方法，实现了投影数据到CT图像的准确重建；Cheng J等人在此基础上提出原始-对偶网络（primal-al network， PD-Net），实现了MR图像的快速重建；Zhang H M等人提出JSR-Net（joint spatial-Radon domain reconstruction net），利用深度卷积神经网络模型，同时重建CT图像及其对应的Radon投影变换图像，得到了比PD-Net更好的重建结果。第二类方法是目前主要的重建方式，即采用图像去伪影的后处理模型进行重建。用于图像降噪、超分辨重建的模型都可以用于该类型的图像重建，如Lee D等人提出带有残差模块的U-Net模型结构来学习重建图像与原始欠采样图像之间的伪影；随后，他们又提出利用双路U-Net模型对相位图像和幅度图像进行重建，进而提高了MR图像的重建质量；Schlemper J等人采用深度级联的卷积神经网络（convolutional neural network，CNN）模型，学习动态MR图像采集的时序关系，进而在快速采集下提高动态MR图像的重建质量；Han Y等人采用域适应微调方法，将CT图像重建的网络应用到MR图像重建上，可以实现高采样率下的准确重建；Eo T等人提出KIKI-Net，同时在K空间和图像空间域上使用深度学习网络进行重建，提高了MR图像重建的性能；Bao L J等人采用一个增强递归残差网络，结合残差块和密集块的连接，用复数图像进行训练，得到了较好的MR图像重建结果；Dai Y X等人基于多尺度空洞卷积设计深度残差卷积网络，以较少的网络参数提高了MR图像的重建精度；受到GAN在视觉领域成功应用的启发，Yang G等人提出一种深度去混叠生成对抗网络（DAGAN），以消除MRI重建过程中的混叠伪影；Quan T M等人提出一种具有周期性损失的RefinGAN模型，以极低的采样率提高了MR图像的重建精度；Mardani M等人基于LS-GAN损失，采用ResNet的生成器和鉴别器来重建MR图像，获得了较好的可视化结果。图像降噪、图像超分辨率重建、图像重建等均属于反问题求解。因此，其模型可互相通用，本文不对其进行一一阐述。2.2 医学图像合成2.2.1 医学图像数据扩展目前，临床上医学图像合成主要有两个目的。其一，扩展数据集，以获得大量医学影像样本来训练深度学习模型，从而提高临床诊断和预测的准确度。尽管已有很多数据扩展方法，如平移、旋转、剪切、加噪声等，但是其数据扩展方式无法满足数据多样性的需求，在提升深度学习模型的预测精度以及泛化能力上仍有待提高。其二，模拟成像。由于不同模态的医学图像可以提供不同的信息，融合不同模态的医学影像信息可以提高临床诊断精度。然而同一个病人的多模态影像信息很难获取，此时图像合成便提供了一种有效的手段。此外，某些新兴的成像技术对成像设备具有较高的要求，仅少数的医院及科研机构可以满足要求，因此图像合成为获取稀缺的影像数据提供了可能。随着GAN模型在自然图像合成上的成功应用，应用GAN的衍生模型进行医学图像合成已成为近几年的研究热点。在医学图像数据集扩展方面，主要采用无条件的GAN模型进行合成，即主要从噪声数据中生成医学图像。常用的方法是以深度卷积生成对抗网络（deep convolutional GAN，DCGAN）为基线模型进行改进。如Kitchen A等人基于DCGAN模型成功地合成了前列腺的病灶图像；Schlegl T等人基于DCGAN提出一种AnoGAN模型，用来生成多样的视网膜图像，以辅助视网膜疾病的检测；Chuquicusma M J M等人采用DCGAN模型生成肺结节数据，其结果可达到临床放射科医生无法辨别的程度；Frid-Adar M等人使用DCGAN生成了3类肝损伤（即囊肿、转移酶、血管瘤）的合成样本，以提高肝病分类的准确性；Bermudez C等人采用DCGAN的原有训练策略，生成了高质量的人脑T1加权MR图像。尽管DCGAN在医学图像合成上取得了众多有价值的成果，但其仅能合成分辨率较低的图像。为了提高医学图像合成的质量，一些改进的GAN模型被提出，如Baur C等人采用LAPGAN，基于拉普拉斯金字塔的思想，利用尺度逐渐变化来生成高分辨率的皮肤病变图像，该方法生成的图像可以有效地提高皮肤疾病分类的准确性。此外，基于渐进生长生成对抗网络（progressive grow GAN，PGGAN）在高分辨率图像合成方面的优势，Korkinof D等人利用PGGAN合成了分辨率为1 280×1 024的乳腺钼靶X光图像。2.2.2 医学图像模态转换医学图像的模态转换合成可以分成两类。一类是单模态的转换，如低剂量CT到普通计量CT图像的转换提出上下文感知生成模型，通过级联3D全卷积网络，利用重建损失、对抗损失、梯度损失，采用配对图像进行训练，实现了MR图像到CT图像的合成，提高了合成CT图像的真实性。除了级联模型，在多模态图像转换任务中，常采用的深度模型网络架构为编码-解码结构，典型代表为Pix2Pix以及CycleGAN模型。如Maspero M等人采用Pix2Pix的网络结构，实现了MR图像到CT图像的转换，进而实现放化疗过程中辐射剂量的计算；Choi H等人基于Pix2Pix模型，从PET图像生成了结构信息更加清晰的脑部MR图像。尽管Pix2Pix模型可以较好地实现多模态图像的转换，但是其要求源图像与目标图像必须空间位置对齐。这种训练数据在临床上是很难获取的。针对源图像和目标图像不匹配的问题，通常采用CycleGAN模型进行图像生成。Wolterink J M等人使用不配对数据，利用CycleGAN从头部MRI图像合成了其对应的CT图像，合成图像更真实。目前，CycleGAN已成为多模态医学图像转换中广泛采用的手段，如心脏MR图像到CT图像的合成、腹部MR图像到CT图像的合成、脑部C T图像到M R图像的合成等。然而CycleGAN有时无法保留图像的结构边界。Hiasa Y等人引入梯度一致性损失，对CycleGAN模型进行了改进，该损失通过评估原始图像与合成图像之间每个像素梯度的一致性来保留合成图像的结构边界，进而提高了合成图像的质量。3 医学图像配准与分割在很多医学图像分析任务中，获得高质量的图像数据后，经常需要对图像进行配准，并对感兴趣区域进行分割，之后才能进行图像分析和识别。本节分别对深度学习在医学图像配准以及分割领域的应用进行详细的阐述。3.1 医学图像配准图像配准是对不同时刻、不同机器采集的图像进行空间位置匹配的过程，是医学图像处理领域非常重要的预处理步骤之一，在多模态图像融合分析、图谱建立、手术指导、肿瘤区域生长检测以及治疗疗效评价中有广泛的应用。目前，深度学习在医学图像配准领域的研究可以分成3类，第一类是采用深度迭代的方法进行配准，第二类是采用有监督的深度学习模型进行配准，第三类是基于无监督模型的深度学习配准。第一类方法主要采用深度学习模型学习相似性度量，然后利用传统优化方法学习配准的形变。该类方法配准速度慢，没有充分发挥深度学习的优势，因此近几年鲜见报道。本文主要集中介绍有监督学习和无监督学习的医学图像配准。基于有监督学习的配准在进行网络训练时，需要提供与配准对相对应的真实变形场，其配准框架如图3所示。网络模型的训练目标是缩小真实变形场与网络输出变形场的差距，最后将变形场应用到待配准的图像上，从而得到配准结果。在有监督学习的医学图像配准中，变形场的标签可以通过以下两种方式获得：一种是将经典配准算法获得的变形场作为标签；另一种是对目标图像进行模拟形变，将形变参数作为真实标签，将形变图像作为待配准图像。在基于有监督学习的刚性配准方面，Miao S等人首先结合CNN，采用回归的思想将3D X射线衰减映射图与术中实时的2D X射线图进行刚体配准；Salehi S S M等人结合深度残差回归网络和修正网络，采用“先粗配准，再细配准”的策略，基于测地线距离损失实现了3D胎儿大脑T1和T2加权磁共振图像的刚体配准，建立了胎儿大脑图谱；随后，Zheng J N等人采用域自适应的思想，利用预训练网络实现了2D和3D射线图像配准，其设计了成对域适应模块，用来调整模拟训练数据与真实测试数据之间的差异，以提高配准的鲁棒性。在非线性配准方面，模拟非线性变形场比模拟刚性变形场困难很多，因此在基于有监督学习的非线性配准中，大多采用经典方法获得变形场，并以其为标签，对模型进行训练。Yang X等人首先以U-Net网络模型为基线结构，利用微分同胚算法获得变形场，并将其作为标签，实现2D和3D脑部MR图像的端到端配准。因为非线性变形场较难模拟，所以在监督学习中引入弱监督配准和双监督配准的概念。弱监督配准指利用解剖结构标签做配准的标记，学习变形场。Hu Y P等人使用前列腺超声图像和MR图像的结构标记训练CNN模型，学习变形场，然后将变形场施加在灰度图像上，从而实现MR图像和超声图像的配准。Hering A等人采用相似度测量和组织结构分割标签，同时训练配准网络，提高了心脏MR图像的配准精度。双监督配准是指模型采用两种监督形式的损失函数进行训练，如Cao X H等人在进行MR图像和CT图像配准时，先利用生成网络将MR图像转换为其对应的CT图像，将CT图像转换为其对应的MR图像，在配准的过程中，同时计算原始MR图像与生成MR图像之间的相似性损失以及原始CT图像与生成CT图像之间的相似性损失，通过两种损失的优化，提高配准的精度；Fan J F等人结合有监督模型损失和无监督模型损失，实现了脑部MR图像的准确配准。有监督学习的医学图像配准的精度取决于标签的可靠性，因此，如何生成可靠的标签并设计合适的损失函数，是有监督学习的医学图像配准中待解决的难点。图3 有监督深度学习医学图像配准框架随着空间变换网络（spatial transformer network，STN）的问世，利用无监督深度学习模型进行医学图像配准成为研究热点。其配准网络框架如图4所示。Yo o I等人结合卷积自动编码器（convolutional auto-encoder，CAE）和STN模型，实现了神经组织显微镜图像的配准，其中CAE负责提取待配准图像与目标图像的特征，基于该特征计算相似性损失，结果表明，该种损失能取得较好的配准结果。2018年，Balakrishnan G等人提出VoxelMorph网络结构，以U-Net为基线模型，结合STN模块，实现了MR图像的非线性配准；随后，其对模型进行了改进，引入分割标记辅助损失，进一步提高了配准的Dice分数。Kuang D等人提出空间变换模块，用于替代U-Net网络结构，在降低模型参数的前提下，实现了脑部MR图像的准确配准。Zhang J为了进一步提高无监督配准的准确度，除了相似度损失，还引入了变换平滑损失、反向一致性损失以及防折叠损失。其中，变化平滑损失和防折叠损失是为了保证变形场的平滑性。反向一致性损失在互换待配准图像与目标图像时，可保证变形场满足可逆关系。Tang K等人利用无监督网络实现了脑部MR图像的端到端配准，即网络模型同时学习了仿射变换参数和非线性变换参数。除了基于CNN模型的无监督配准，采用GAN模型进行配准也已成为一种研究趋势，即采用条件生成对抗网络进行医学图像配准。其中，生成器用来生成变换参数或者配准后的图像，判别器用于对配准图像进行鉴别。通常在生成器与判别器之间插入STN模块，以进行端到端训练。目前，基于GAN模型的医学图像配准有较多的应用，如前列腺MR图像与超声图像配准，以CycleGAN为基线模型的多模态视网膜图像、单模态MR图像配准，CT图像和MR图像配准等。在基于GAN的医学图像配准中，GAN模型或者起到正则化的作用，用来调节变形场及配准图像，或者用来进行图像转换，利用交叉域配准提高配准的性能。表1总结了典型的无监督配准模型和有监督配准模型。图4 无监督深度学习图像配准网络框架3.2 医学图像分割医学图像分割是计算机辅助诊断的关键步骤，是进行感兴趣区域定量分析的前提。随着深度学习在语义分割中的快速发展，将自然图像分割模型扩展到医学图像已成为主要趋势。在医学图像分割中，采用的主流网络框架有CNN、全卷积网络（full convolutional network，FCN）、U-Net、循环神经网络（recurrent neural network，RNN）和GAN模型。目前常用的医学图像分割模型包括2.5D CNN，即分别在横断面、失状面、冠状面上使用2D卷积进行分割，在节约计算成本的前提下，充分利用三维空间的邻域信息提高分割的准确度。FCN是深度学习语义分割的初始模型，通过全卷积神经网络和上采样操作，可以粗略地获得语义分割结果。为了提高分割细节，采用跳跃连接将低层的空间信息和高层的语义信息相结合，以提高图像分割的细腻度。FCN及其变体（如并行FCN、焦点FCN、多分支FCN、循环FCN等）已被广泛应用到各种医学图像分割任务中，且表现良好。U-Net是由一系列卷积和反卷积组成的编码和解码结构，通过跳跃连接实现高级语义特征和低级空间信息的融合，进而保证分割的准确度。U-Net及其变体（如Nested U-Net、V-Net、循环残差U-Net）在医学图像分割上取得了较好的分割结果，是目前医学图像分割的主流基线模型。RNN类分割模型主要考虑医学图像分割中切片和切片之间的上下文联系，进而将切片作为序列信息输入RNN及其变体中，从而实现准确分割。典型的模型有CW-RNN（clockwork RNN）和上下文LSTM模型，其通过抓取相邻切片的相互关系，锐化分割边缘。在此基础上， Chen J X等人提出双向上下文LSTM模型——BDC-LSTM，即在横断面双向、矢状面双向和冠状面双向上学习上下文关系，其结果比采用多尺度分割的金字塔LSTM模型要好。基于GAN的分割的主要思想是生成器被用来生成初始分割结果，判别器被用来细化分割结果。一般在分割网络中，生成器常采用FCN或者U-Net网络框架，判别器为常见的分类网络结构，如ResNet、VGG等。基于GAN的医学图像分割已经被应用到多个器官和组织的医学图像分割任务中。表2为常见医学图像分割模型所用的数据集以及其分割性能对比。4 医学图像分类及识别4.1 医学图像分类医学图像分类和识别是计算机辅助诊断（computer-aided diagnosis，CAD）的最终目标。在深度学习出现前，常采用人工定义的图像特征（如图像的纹理、形状、图像的灰度直方图等），经过特征选择后，再基于机器学习模型（如支持向量机、逻辑回归、随机森林等）进行分类。典型代表为影像组学方法，其在肿瘤的分型分期、治疗的预后预测方面取得了很多重要的成果。然而，人工定义特征以及特征选择方式很大程度上影响了分类的可靠性和鲁棒性。近年来，深度学习模型的飞速发展，尤其是CNN的广泛应用，使得利用神经网络模型自动提取和选择特征并进行分类成为主流趋势。CNN模型的不同变体已经在基于医学影像的临床疾病诊断中得到了广泛的应用，例如基于Kaggle公司的眼底图像公开数据集，Shanthi T等人使用改进的AlexNet进行糖尿病视网膜病变的分类，其精度可以达到96.6%左右；基于VG G，利用胸片进行肺结节的良恶性分类，其精度可高达99%。目前，在常见的CNN变体中，ResNet和VGG在医学影像分类中的表现最好，因此大多数的肿瘤检测、脑神经系统疾病分类、心血管疾病检测等将这两种模型作为基线模型进行研究。与自然图像数据相比，医学图像数据中满足模型训练需求的数据较少。因此，为了提高临床影像智能诊断的准确性，通过知识迁移来训练医学图像分类模型已成为主流。常见的知识迁移包含自然图像到医学图像的迁移、基于临床知识的指导迁移。在自然图像到医学图像的迁移中，主要有两种方式：一种是固定利用自然图像训练的网络模型的卷积层参数，利用该参数提取医学影像特征，然后利用该特征结合传统的机器学习方法进行分类；另一种是将自然图像训练的网络模型参数作为医学图像训练模型的初始化参数，通过微调来实现医学图像分类。除了自然图像到医学图像的迁移，还可以利用其他医学图像数据集，采用多任务学习的方式进行数据信息共享，弥补数据不足带来的分类缺陷。基于临床知识的指导迁移将临床医生诊断的经验（如医生的经验学习方式、影像诊断方式以及诊断关注的图像区域和特征等）融入模型，根据临床医生诊断的经验，即先掌握简单的疾病影像诊断，再进行复杂疾病诊断，研究者们提出了“课程学习”模型，将图像分类任务从易到难进行划分，模型训练先学习简单的图像分类任务，再学习较难的分类任务。基于该方式的学习可以提高分类的准确度。基于医生诊断的方式（如迅速浏览全部医学图像，再选择某些切片进行诊断），研究者提出基于全局和局部的分类模型，其在胸片和皮肤疾病的诊断上取得了较好的效果。基于诊断时关注的影像区域，带有注意力机制的分类模型被提出，典型的代表有AGCNN（attention-based CNN for glaucoma detection）、LACNN（lesion aware CNN）和ABN（attention branch network），通过引入注意力，网络可以关注某些区域，从而提高分类的精度。此外，根据医生诊断用到的经验特征，如肿瘤的形状、大小、边界等信息，将人工定义的特征与深度模型提取的特征进行融合，提高医学图像的分类精度，也是一种趋势。如Majtner T等人将人工特征分类结果与深度学习分类结果进行融合，提高了皮肤癌分类的准确度；Chai Y D等人将人工特征和深度学习特征进行融合并训练分类器，从而实现青光眼图像的分类；Xie Y T等人将人工提取的特征图像块与深度学习图像块同时作为ResNet模型的输入，实现肺结节的准确分类。如何将深度学习特征与传统人工特征进行有效的融合，是该类模型设计的难点。4.2 医学图像目标识别医学图像目标识别也属于临床诊断的一种，即在一幅图像中标记出可能病变的区域，并对其进行分类，如图5所示。图5 医学图像目标识别示意图传统的人工标记识别费时费力。最初将深度学习模型应用于目标识别时，主要是将图像分成小块，逐块输入由CNN等组成的二分类模型中，判断其是否属于目标区域。随着深度学习模型在目标检测领域的快速发展，尤其是Fast R-CNN模型和Mask R-CNN模型的出现，将整幅医学图像输入模型，即可一次找到所有可能的目标区域。但是在这两类模型中均存在一个区域建议模块和一个分类模块，二者需要进行迭代更新，模型的速度并不能满足临床的实时性要求。YOLO（you only look once）和SSD（single shot multibox detector）模型的问世解决了目标检测的实时性问题。基于此类模型，Lin T Y等人提出RetinaNet模型，并将其扩展应用到病理图像和钼靶图像乳腺肿瘤识别、CT图像的肺结节检测中。上述模型均针对2D图像进行目标检测，忽略了3D图像中切片和切片之间的空间信息。为了提高识别的准确度，基于RNN和LSTM的识别模型被应用到医学图像中。此外，在医学图像目标识别中，同样存在数据不充足的问题。为了解决这个问题，基于迁移学习的医学图像识别逐渐开展起来，如基于ImageNet数据进行模型迁移，实现肺结节、乳腺癌和结直肠息肉的检测。同时，基于临床经验知识指导的迁移学习也被应用到医学图像的目标检测中。典型代表有AGCL模型，其基于注意力的课程学习，实现胸片中的肿瘤检测；CASED （curriculum adaptive sampling for extreme data imbalance）模型，其可检测CT图像中的肺结节；特征金字塔模型（feature pyramid network，FPN），其采用不同对比度的图像，利用多尺度注意力模型实现肿瘤检测。图像分类和图像目标识别是医学影像临床诊断的最终目标，是目前人工智能技术与临床紧密结合的研究方向。笔者仅对分类识别的几种情况进行了阐述，以便掌握其发展方向。表3给出了肿瘤分类中常用的医学图像数据集以及深度学习模型，并对比了其分类性能。5 结束语本文从医学图像数据产生、医学图像预处理，以及医学图像识别和分类等方面，阐述了深度学习模型在医学图像分析领域的应用现状。尽管深度学习模型（如CNN、LSTM、GAN、注意力机制、图模型、迁移学习等）在医学图像分析中已取得众多突破，然而将深度学习应用于临床，辅助临床进行精准诊断和个性化治疗仍受到以下几方面的限制。首先，现有的深度学习模型对影像数目和质量有较高的要求，而临床上带有标记的医学影像数据难以获取，且目前临床诊断预测常使用的方法是有监督学习，数据的不充足势必会影响预测的准确性和稳定性。因此，如何在只有少量有标签数据的情况下，采用弱监督、迁移学习以及多任务学习的思想，提高分类预测的准确度，将是持续的研究热点。其次，临床应用对可解释性要求较高，而目前深度学习模型所学习的特征无法进行有效的解释。尽管现阶段已有研究学者提出采用可视化以及一些参数分析来对模型和结果进行解释，但是与临床需求中要求的形成可解释的影像学标记还有一定的距离。因此，研究深度学习模型的可解释方法将是医学图像领域的研究热点。最后，如何提高模型预测的鲁棒性是待解决的难点。现有深度学习模型多数仅针对单一数据集效果较好，无法在不训练的情况下，较好地预测其他数据集。而医学影像由于采集参数、采集设备、采集时间等因素的不同，相同疾病的图像表现可能大不相同，这导致现有模型的鲁棒性和泛化性较差。如何结合脑认知思想改进模型结构以及训练方式，提高深度学习模型的泛化能力，也是医学图像应用领域中待研究的关键问题。作者简介王丽会（1982-），女，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室副教授，主要研究方向为医学成像、机器学习与深度学习、医学图像处理、计算机视觉 。秦永彬（1980-），男，博士，贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室教授，主要研究方向为大数据治理与应用、文本计算与认知智能。联系我们:Tel:010-81055448010-81055490010-81055534E-mail:bdr@bjxintong.com.cn

“人工智能+医学影像”，是将目前最先进的人工智能技术应用于医学影像诊断中，帮助医生诊断患者病情的人工智能具体应用场景。借着疫情因素的影响与推动，目前这种应用在医疗领域已经非常广泛。人工智能+医学影像率先落地应用，为什么？人工智能+医学影像得以在众多医疗产业服务中率先爆发与落地应用，主要有两个原因：一是影像的获取较为方便。随着科技的不断进步，医学影像采集愈加便利和精准，相比动辄数年的传统数据积累方式，照一张医学影像仅需要几秒的时间，就可以反映出病人身体的大致状况，成为医生诊断患者病情的直接依据。二是对影像的处理的技术相对成熟。随着行业影像数据的不断积累以及大数据、算法分析能力的不断提高，智能图像识别算法能够迅速将当前影像与数据库中影像对比分析，给出相当精准的结论。尚医云·AI小济医生界面截屏具体而言，医学影像的诊断的两大核心技术在于图像识别和深度学习。这两项技术，目前都是处于可应用、较为成熟的阶段了。其工作流程大体是这样的：首先将非结构化影像数据进行识别、分析与处理，提取相关信息；其次，将大量临床影像数据和诊断经验输入人工智能模型，使神经元网络进行深度学习训练；最后，基于不断验证、总结与迭代的算法模型，进行影像诊断智能推理，输出个性化的诊疗判断结果。那么人工智能+医学影像具体都应用在哪些方面呢？（网络图片如有侵权立即删除，敬请通知人工智能+医学影像的3个应用场景目前，人工智能+医学影像主要是用来解决以下三种影像诊断需求：01 病灶识别与标注。对X线、CT、MRI等影像进行图像分割、特征提取、定量分析和对比分析，对数据进行识别与标注。同时，AI对影像的分析、计算能力要比医生强很多，因此可以帮助医生发现肉眼难以识别的病灶，降低假阴性诊断发生率，同时提高读片效率，对一些经验相对不足的医生也能起到辅助诊断的作用；02 靶区自动勾画与自适应放疗。主要针对肿瘤放疗环节进行自动勾画等影像处理，在患者放疗过程中不断识别病灶位置变化，以实现自适应放疗，减少对健康组织的辐射；03 影像三维重建基于灰度统计量的配准算法和基于特征点的配准算法，解决断层图像配准问题，节约配准时间，在病灶定位、病灶范围、良恶性鉴别、手术方案设计等方面发挥作用。（网络图片如有侵权立即删除，敬请通知除此应用之外，人工智能+医学影像的组合，还有3大核心价值，能够解决目前较为棘手的几大问题。人工智能+医学影像的4大核心价值由于自带极强的影像识别和计算能力、持续进化的自我学习能力以及稳定的性能优势，在临床上，可以给医院、医生提供很重要的支撑，具体体现在3个方面：01 承担分类检出工作。人工智能+医学影像能够以稳定的高敏感性对较大数据样本量进行阳性病例筛查与分类检出，例如尚医云推出的小济医生，就是在年度的乳腺癌筛查中，有效辨别乳腺结节，增生，和肿瘤，如在体检中的肺结节筛查环节，通过B超探头收集乳腺影像资料，对采集的数据进行基础判断，并对阴影部分进行标识与处理，如果发现疑似案例再交由放射科医师进一步诊断，这样省去大量健康的阴性病例对医疗资源的占用和浪费；02 替代医生工作。在判断标准相对明确，知识构成相对简单的情况下，人工智能乳腺癌筛查可代替超声医生大部分工作，剔除绝大部分的健康人群，医生仅对有问题的病例进行重点关注； 03 提供具有附加值的工作。包括辅助疾病诊断、基因分析、预后判断、定量放射学诊断等。例如在对肿瘤的诊断中，对肿瘤边界进行分割重建，精准测量病变位置与体积，进行疾病综合诊断等。04缓解看病难的问题。对于三甲医院来说，影像数据充足且质量较好，人工智能+医学影像的引入可以从根本上改变传统高度依赖劳动力的读片模式，在一定程度上缓解医学影像诊断的压力，同时亦可满足三甲医院的科研需求。 对于基层医院来说，相比于三甲医院，其医疗水平相对落后，人员综合素质上相对会差一些，其对复杂影像的处理能力、判断能力更为薄弱，因此误诊漏诊率更高。而基层医疗机构，又承担着大量的两癌筛查的工作任务，人工智能通过把影像诊断结果进行前期的分析和处理，可以极大的提高筛查数量，降低误诊漏诊率，进而提高综合医疗水平。大医院的接诊压力减轻，小医院的医疗水平提升，整体看病效率提高，看病难的问题，就能得到有效缓解。从临床需求来看，我国医疗影像数据以每年30%的速度增长，而影像医生的年增速仅为 4%~6%，其中的原因有很多，比如专业医师缺口大、工作繁琐重复比较累、放射工作对身体健康的影响、服务管理模式固化等等。 想要解决人才问题，人工智能+医学影像的应用模式是现阶段的最佳解决方案。助医者 济苍生We serve those who heal the world

在新冠肺炎疫情防控中，各医院的影像科被推到前沿阵地，筑起了疫情防控的第一道防线，从而使影像科从“幕后”走到台前。作为诊断及病情预后评估的关键一环，影像科无论是在新冠肺炎疫情防控和日常医疗诊断中都发挥极其重要的作用。影像学科本身是一门完整的学科，但由于各种原因，目前国内绝大多数医院把医学影像学科分成放射科、CT科、MR科、介入科、超声科(室)、核医学科等完全独立的科室。广东省中医院影像医学部主任、中国医师协会中西医结合医师分会影像专业委员会主任委员刘波教授认为，采用大科统一管理模式有利于人才培养和学科发展。(广东省中医院影像医学部主任刘波教授)据了解，广东省中医院是全国最大的综合性中医院，在全国医院系统最早成立大影像科。目前已经发展成为有六家三甲医院的集团化医院。影像科作为临床的一个重要支撑科室，也由原来的一个科室发展为十个科室，成立了影像医学部。“国内很多医院都进行了集团化的改革，建立了很多分院，但是，不同分院间的影像科是采取独立运行模式，由原来的一个科室分成了一个个独立运行的小科室，这样非常不利于学科的发展。而广东省中医院影像医学部打破各分院科室独立运行的格局，建立大影像科诊断平台，实行大科统一管理模式。这种运行模式最大的好处，就是消除各分院独立运营造成的人力资源短缺、工作量不均衡、高级人才不足等一系列问题，实现物力资源和人力资源的共享。为学科今后发展奠定了基础。”刘波教授表示，医院集团化后，每增加一个分院，医院就需要投入一定的设备，影像医疗设备往往比一般医疗昂贵，造成医疗资源的浪费。广东省中医院影像医学部根据各分院学科发展重点与病种不同，合理配置、仪器共享、优势互补，以实现资源配置和使用的最优化。在此次新冠疫情中，中医中药发挥了独特的作用。中医药学是我国文化瑰宝，也是中国对于全人类的贡献。刘波教授强调，中医应用独特疗法，特别在涉及到疑难杂症方面有着得天独厚的优势。然而对中医学本身而言，其发展过程中也受历史条件与当时科技水平的影响，中医主要是通过望闻问切方式认识疾病，但对器官内部的转变，缺乏直接观察的手段和技术。影像学可以看到中医无法从外部获得的内在变化，被视为是中医望诊的一个延伸，因此，运用现代影像手段，更可深加深入的了解疾病的内部情况。“中医院利用先进的影像设备，有人认为这是中医院西化，实际上这种认识是非常错误的!其实在西方医学诞生之初也没有影像学。1895年后才运用到临床，成为一门新的学科。既然西方医学能够用它来发展西医，同样我们也可以用它来发展中医，把中医影像学用于中医辩证和治疗中，提高中医辩证的准确性，最终目的是借助现代科学技术发展的成果，更好的研究中医、发展中医，从而更好的服务于病患。利用最新科技成果服务人民健康的发展理念永远不过时。”刘教授表示。关于医学影像与中医如何相结合的问题，刘波教授举了中风病和胃脘痛的例子，中风病分中经络与中脏腑两种证型，如果单靠中医的望闻问切，是很难区分病人中风的原因到底是脑血管梗阻导致的梗死，还是脑血管破裂所引起的脑出血。对中风病而言，在治疗前对这个病因作出一个诊断，对后续的治疗有着非常大的影响，影像学在这个方面可以提供很大的一个帮助。再比如中医胃脘痛，它分脾胃虚弱、肝气犯胃等七个证型，不同证型的影像学表现是不同的。比方说，脾胃虚弱型的患者，在做X线胃肠造影的时候，多数表现为胃肠功能减弱，胃的张力减低，蠕动减慢，排空延迟。而肝气犯胃型的患者，则表现为胃肠动力亢进，蠕动加快，张力增强，排空时间缩短。我们知道，不同证型对应不同的治疗方法，疾病在治疗过程中证型是随时发生变化的，治疗方法也要及时的调整。因此通过影像学观察内部组织的病理变化，可以揭示中医证型演变的背后机制。对进一步指导临床，及时选择正确的治疗方案是非常有重要的。“另外，由于不同医生中医理论水平的差异往往会出现对同一个病人作出不同的辩证，从而带出不同的治疗方案。如果我们在中医的辩证过程中加入一些比较客观的辩证要素，势必会提高中医辩证的准确性和可重复性。此次疫情，新型冠状病毒肺炎诊疗方案中，对新冠肺炎从轻型到危重型，分了七个中医证型，我们通过分析已有的新冠肺炎病例，发现不同证型新冠肺炎的影像学表现是不同的，比方说，普通型中的两种中医证型的肺部CT表现多为散在、小片状毛玻璃改变，而重型中两种中医证型的CT表现为多发、大片状毛玻璃改变，甚至呈“白肺”改变。结合这种影像的改变，就有利于我们对新冠肺炎中医辩证的客观化，从而对治疗更加有信心。”刘波教授作了进一步补充。针灸在我国有数千年的历史，针灸目前在世界100多个国家使用，并有非常好的疗效。但在西方主流医学还未被完全接受。关于这个问题，刘波教授认为，究其原因，主要是针灸理论的现代研究工作做得不够，比方，针灸的平衡和整体调节理论缺乏现代科学语言的阐释，使得现代人对针灸疗效机制总感觉到“讲不清道不明”。所以我们团队也在这方面进行了探索，运用了影像学技术对针灸治疗疾病机制进行研究，如对中风、帕金森、失眠及抑郁症等开展了一系列研究，观察到针刺能改善组织微观环境和调节脑功能改变，这对进一步揭示针刺作用机理，推广针灸疗法在临床的广泛应用具有非常重要的意义。刘教授最后总结强调，中医具有独特的理论体系和朴素的哲学观，它是我们中华民族在与自然、疾病斗争的历史长河中逐步产生，并经过历代医生不断的补充和完善，为人类健康做出了巨大的贡献。影像学作为现代科技与医学相结合的产物，它具有结构成像和功能显像的双重特征，是目前唯一能够在活体上研究人体功能的一项技术。影像学与中医学的结合，丰富和发展了中医的基础理论，为中医临床辩证论治提供了直接客观的依据，加快了中医现代化的进程。

日前，山东省医学影像学研究引进先进CT应用新技术，所使用国际先进的西门子双源CT扫描、应用西门子syngo.via医学影像后处理系统（VB20版）处理得到的CT三维图像，其清晰度及仿真度达到了前所未有的高度，可与人体实体解剖标本相媲美。该系统具有最先进的图像后处理功能，其中包括电影级的三维可视化实影渲染技术（cVRT），并且可以在云端共享，能逼真地显示人体各器官的三维结构，对医学影像诊断、手术方案制定、医患病情交流、医学教学演示等带来了巨大的改变，开辟了医学影像技术应用的新时代。山东省医学影像学研究所自1975年3月成立至今40多年以来，始终坚持在引进先进设备的同时利用新技术开展新项目，其中开展的先天性心脏病、冠状动脉、支气管动脉CT血管成像技术和结构化报告，开展的全身功能成像、颅脑、骨骼肌肉和肝脏病变的波谱检查，胎儿磁共振检查以及在影像导向下的粒子植入与肿瘤消融技术等20多项新技术、新项目为国内甚至国际领先，与德国西门子公司等单位在国内率先探索研发的影像诊断结构化报告系统得到临床高度认可。（齐鲁晚报·齐鲁壹点记者 王小蒙）

定义：人工智能：人工智能是计算机科学的一个分支，强调使机器像人一样行动，使其变得智能。数据科学、机器学习、深度学习、计算机视觉、自然语言处理等领域是人工智能的子集。医学成像：医学成像是指为了诊断、医疗状况或监测某一部位而对人体进行观察的不同类型的技术。不同类型的医学成像有CT扫描、X射线、MRI等。医学影像对于医院中各种类型的严重疾病的诊断和监控至关重要。医学成像是对人体各个部位和组织的成像。例如，如果一个人被诊断出肺部有问题，则使用X射线来监测肺部，这将给出肺部可能受到影响的部分。如果图像不够清晰，就无法得出任何结论，我们可以使用CT扫描来更好地查看肺部。每年，医院都会生成大量的图像数据。这些图像可用于实现深度卷积神经网络，从而有助于在图像中找到不同的模式。人工智能将有助于分析这些图像，并将进一步帮助诊断，为医生做出挽救生命的决策提供工具。基于AI的医学成像如何有助于您制定决策？基于人工智能的医学成像依赖于不同医院的图像。这些图像被用来训练不同的算法，以发现不同的模式，然后对其进一步分析，以发现异常。这些分析和模式识别将有助于放射科医师或医生对疾病进行快速诊断和及时治疗。人工智能驱动技术的预测能力有助于在恶性组织或癌细胞变得致命之前对其进行检测。正在使用基于人工智能的医学成像技术的领域乳房成像：人工智能帮助放射科医生诊断乳房异常并检测癌细胞或组织。像QuantX (Quantitative Insights)这样的计算机辅助诊断(CADx)软件使用基于深度学习的工具，通过磁共振成像(MRI)来评估和表征乳房异常。在deep AI (iCAD inc.)等项目中，诸如数字乳房断层成像（DBT）或3D乳房X线照相术等成像技术一直在帮助放射科医生做出诊断。心血管成像：人工智能有助于检测和识别病人可能的中风。诸如ContaCT（Viz.ai）之类的基于AI的技术会分析计算机断层扫描（CT）图像中的潜在中风。它使用深度学习来识别扫描中的大血管闭塞（LVO）。通过机器学习和训练过的模型，Artery的Cardiac MRI 有助于实现复杂心脏分析的自动化。肺部成像：另一个受益于人工智能的领域是肺部成像。基于人工智能的系统使用医学图像，可以有效评估肺部，以检测潜在的肺癌。基于人工智能的我国创业公司，Infervision开发了一种名为智能CT筛查解决方案（AI — CT）的技术，可以成功地在CT扫描中发现可疑的肺癌病变。其他领域：人工智能已经成功地应用于其他领域，如大脑成像或神经成像，可以检测出潜在的脑损伤或肿瘤。OsteoDetect是一种利用机器学习技术分析腕部X光片(x射线)以识别突出桡骨远端骨折的软件。Idx-DR计算机辅助诊断（CADx）软件程序可分析眼睛的图像，以发现糖尿病性视网膜病变的征兆，而糖尿病性视网膜病变是糖尿病患者视力丧失的最常见原因。

主讲导师 | 罗晟本文编辑 | 梁家祥7月24日，智东西公开课推出的超级公开课NVIDIA专场进行完第十二讲，由NVIDIA深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》。罗晟老师系统讲解了深度学习在医疗影像、基因分析、药物研发及疾病诊断等医疗领域的应用及其背后所使用的深度学习技术特点。以下是罗晟老师的主讲实录和提纲，共计13549字，预计14分钟读完。大纲：1.深度学习在医疗领域发展现状及常见应用场景2.深度学习加速药物研发3.深度学习加速基因研究4.深度学习加速疾病诊断5.医疗领域英伟达解决方案平台主讲实录罗晟：大家好，我叫罗晟，来自NVIDIA的深度学习解决方案架构师。今天很高兴能够在这里和大家分享医疗领域的深度学习应用，以及NVIDIA为医疗领域提供的解决方案平台，希望今天的分享能给大家带来帮助，也希望本次分享可以起到抛砖引玉的作用，让各位能够为整个行业带来新的创意，帮助大家用AI和GPU加速医疗行业的应用，为医疗领域提供新的方案。在正式开讲之前，我想先给大家分享一个关于医疗领域创业的故事，为什么要用深度学习做医疗呢？大家知道现在深度学习很火，但是并不是火什么，我们就应该做什么，我们用深度学习来做医疗，肯定有其背景原因，有它带来的好处。在美国，有这样一个深度学习应用的案例，就是一个工程师，带着自己的父亲去看病，医生诊断出他父亲是癌症的第四期，也就是尾期，医生直接让他父亲进行化疗，之后大概经历了一到两个礼拜的化疗期，化疗之后，他父亲也掉了很多头发，人也觉得很辛苦。后来，他正好有一个朋友是医生，然后这个医生就为他爸爸做了第二次诊断，才发现上一个医生的诊断是错误的，其实他父亲只是在癌症的第一期。而癌症第一期不需要化疗，只通过药物就可以控制住。这位AI工程师就下定决心，要用AI技术来改善医疗领域，去解决由于医生的一些失误导致的医疗问题，这也是为什么我们要用AI做医疗的原因。对NVIDIA不熟悉的朋友，可能对NVIDIA的印象还停留在GPU的计算卡和游戏卡上，但其实从2007年NVIDIA提出CUDA用于作为GPU计算的编程语言开始，我们已经在医疗行业耕耘了十年。可以应用的领域除了计算之外，还有可视化，而现在，我们还可以用来做深度学习。有宝宝的小伙伴应该知道，做婴儿三维超声波检查的时候，看到婴儿的那些图像，其实从2009年西门子的超声波机器已经用NVIDIA的GPU来做渲染方面的工作。不仅如此，GE的CT扫描仪，也用到了GPU的技术，实现实时重建，直接把传感器的数据映射到图像上，这样带来的好处就是我们能直接去看到相关的图像，不仅如此，还能够对图像进行优化，我们可以使用更低剂量的x射线来实现相同质量的图像，从而减少诊断对健康带来的损害。2012年，由于AlexNet的出现，深度学习证明了其在计算机视觉方面具有非常好的性能，也就是从这个时候开始医疗行业的各个领域也逐渐开始利用深度学习，也扩展了GPU的应用领域，比如在2013年，GPU驱动的深度学习的方法，在病理切片上检测并统计有丝分裂数，击败了其他所有的技术，这个统计数据是癌症的早期指标，换句话说，用GPU之后我们能够获得更好的准确性，同时也能降低漏诊的风险。随着技术的发展，DL在医学影像领域获得过很多的成功，其实我们现在听到的大多数关于深度学习的应用都是在医疗领域。比如2014年，我们做的大脑肿瘤分析，2016年肺癌检测，这些都是在医疗领域的应用。而这些深度学习应用不仅是在商业应用、搜索里面取得的成功，而且在一些数据科学竞赛方面也取得了很好的成绩，并且两次打败其他队伍，成功完成了任务。这两次成功，一次是基于心脏MI成像自动注射量的计算，可以用来衡量心脏的运行状态。另一次是关于CT扫描中肺癌的早期检测。这些都是DL在医学影像领域取得的成功。不仅如此，最让我兴奋的是在去年NVIDIA首次参加北美放射学会，吸引了大概五万名的与会者，大部分都是放射科医师，其中有四十八个初创公司都在用深度学习或者机器学习进行医学成像。而且其中百分之九十的公司都在使用GPU。在本次会议上，DL相关文章的数量，相比往年增加了十倍，NVIDIA在会议期间进行了为期5天的DLI（NVIDIA深度学习学院）培训，平均每天培训200人。2018年NVIDIA发起了Project Clara，它的名称来源于红十字会的创立人，他的名字就是Clara 。我们希望通过Clara项目 ，帮助医疗行业利用NVIDIA GPU技术，改善人们的生活。大家知道，2012年AlexNet网络出来之后，首先在ImageNet上取得了非常好的结果，战胜了传统记忆学习的方法，当时AlexNet性能有10%的提升。而在往年，每年都是1%的性能提升。这样飞跃的性能提升确实能够丰富我们的应用种类，比如人脸识别，自然语言处理。同时对于一些商业应用来说，能够获得更精准的推荐，比如大家平时使用的今日头条新闻推荐，系统会根据你自身的的喜好为你推荐相应的内容，这就是基于深度学习来做的。对于深度学习来说，这样的精确意味着什么呢？对于其他的行业来说，准确度确实很重要，但也不是很关键，因为推荐错了，并不会对生命造成影响，但在医疗行业则不然，用更好的方法不仅仅只是提高准确度。比如在药物发现领域，可以缩短药物的整个研发周期，在医疗诊断领域，可以在最早期进行医疗诊断，减少病人的痛苦。而此时能够提高的准确度，不只是数字上的十个百分点，在医疗领域，可能会为每一个人带来更好的生活，为整个社会带来更好的未来。整个深度学习的流程，就如右边这张图所示，通过训练数据和深度学习网络训练生成一个深度学习的模型，之后对模型进行评估，再用一些新的数据来确认，验证以及测试，从而得知模型是否准确，而且通过这样一个模型，可以解决医疗领域的很多问题，至于怎么解决、未来怎么做，我会在后面详细给大家介绍。深度学习在医疗领域的应用不仅为个人带来了新的变化，同时也为社会和人类未来的发展带来了新的动力。对整个行业和研究社区来说也有一些新的变化。我们也可以看到一些趋势，也是我们所谓的深度学习动量，上图左边展示的是SPIE、ISBI、MICCAI这三个顶级会议医学影像图片领域使用深度学习文章数量这几年的比例变化，从2014年不到5%，到2017年，尤其是在ISBI上面，其比例已经超过20%，从而证明了深度学习确实能够为研究社区带来新的帮助，也确实成为了一个有用的工具。研究机构利用AI带来了新的应用和思路，解决了之前在医疗方面遇到的问题，现在有一百零六个初创公司，他们也在推动整个医疗行业去使用AI。他们可能在各个领域，比如药物发现、医学图像以及相关的自然语言处理等，丰富了整个生态环境，也希望今天的分享能够给大家带来一些新的思路，去打造在中国医疗行业的人工智能生态环境，帮助改善在未来医疗服务。说起医疗行业的深度学习，不得不考虑对医生和病人来说，他们在哪些方面可以用到深度学习。比如在看病的时候，医生怎么为病人制定治疗方案。一方面，可以了解病人的基因，因为很多疾病其实是基因的变异引起的，如果知道有基因变异的情况，就可以在最开始做一些人为干预和早期的治疗。在看病时，医生会去看病人以前的健康记录，了解病人以前的健康状况，从而帮助医生诊断病情。对患者来说，要去了解病人之间的差异，以及为什么会患病。比如有些人会患一种疾病，另外一些人不会患这种病，这样就可以用深度学习做一些基础的研究，加速药物的发现过程，因为这些疾病只出现在了一些病人身上，通过筛选，以达到更好的治疗效果。其实医生在工作期间不仅仅是为病人看病，也要去了解一些文献和法规、写论文，因为他们也需要去了解医疗行业最新的出版物，才能知道一些新的治疗方式。今年关于癌症的出版物有93393篇，到目前为止已经有350万篇论文，此时我们可以用深度学习从论文里挖掘出跟我们相关的信息，帮助医生更好的了解到一些最新的研究动态，尤其是在临床方面，可以了解到最新的论文和研究状态，以及一些最新的治疗方法，从而提出新的治疗方案，来研究能不能通过新的方法，或者一些验证过的方法去帮助病人获得更好的治疗效果。医生和病人之间是应该有互动的，医生每天会看非常多的病人，他们看病的时候，其实也是一个经验学习的过程，医生可能从A病人的治疗过程得到这样一个经验，从B病人的治疗过程中得到另一个经验。对于医生来说，他们看到了这么多东西，并不是每一个都会记住，因为人都会慢慢忘记以前的一些事情，因此我们可以用深度学习去记录以前所有的经验，并通过以前医生在看病时候的情况，去收集这些病人的信息，从而辅助医生在下一次判断中做出最优的决定，帮助医生更好把以前所看过病的经验利用起来，而不是会因为太过忙碌忘记了以前的经验去翻医疗记录。现在来看下深度学习在医疗领域的应用有哪些。首先在放射科领域，我们希望通过早期的筛选和检测，减轻病人因为放疗承受的痛苦。在国外，大家每年都会做体检，希望在早期了解自己的身体状况，把疾病治疗提到早期阶段，降低整个社会的负担，同时也减轻个人痛苦。Zebra就在做这样的工作，通过深度学习提高筛选的准确率，降低检测整体的误报率，获得更好的早期判断结果。早期诊断只是告诉我们有和无的问题，下一步要解决的问题就是有多少，如上图中间照片所展示，当诊断出肿瘤之后需要去判断肿瘤所在的部位、大小等情况，即是定量的分析，这种方式，也可以用深度学习来获得更准确的结果，并且可以降低病人治疗时的痛苦。另外一个让人非常兴奋的领域是精准医学，上图右边展示的是脑部扫描图片。在面对某些脑癌的时候，医生有能力去判断需要什么药物，问题是医生不可能在大脑上打个洞，然后去切片，再去分析，现在通过脑部的MI扫描方式，用深度学习神经网络去判断和预测患者肿瘤突变的概率，目前准确度也超过了90%，使得医生可以用精准的药物去帮助病人做治疗，减轻他们的痛苦。第二个领域是深度学习在诊所里的应用，三星和通用的扫描仪已经在使用深度学习来优化整个工作流，提高准确性。比如婴儿三维超声波检测时，可以冻结一些图像进行测量。第二个ARTERYS公司，也是首批通过FDA认证的公司。通过与GE合作，把他们的工具带到了心脏病专家那边，进行所有相关的一些检测，能够进一步提高护理质量。最后一个是PATHAI与飞利浦合作，也是第一个由FDA批准的扫描仪诊断，通过将病理图片与热力图结合，帮助病理学家分析肿瘤的情况，进一步降低病理学家诊断错误率，大约降低50%，使得病理学家在看图的时候能够更加方便。第三个是深度学习在药物发现方面的应用，第一个是deep genomics公司。他的成立要追溯到2002年，当时Brendan Frey的妻子怀孕了，在做检查的时候发现孩子有遗传缺陷，虽然只是可能，但是他们不得不终止妊娠。Brendan Frey是计算机工程的教授，所以他开始尝试把深度学习和医疗结合到一起，要解决的痛点是人群中的DNA的变异数，突变概率大于1的SNP（单核苷酸多态性）有三百万个左右，要完全的挨个调查SNP和疾病的关联非常困难，因此要建立一个数学模型导入全部的健康基因组序列和SNP序列，对模型进行训练，让模型能够学习到健康的RNA（核糖核酸）的裁剪模式，然后用分子生物学的方法验证模型，并加以校验，同时用病理数据，判断模型输出的准确性，从而理解有害基因和基因突变病理之间关系，再做一些初步筛选，把有害基因和基因突变病理关系建立起来。第二个是做分子系统的研究，在做新药研究时遇到很多挑战，HCS是指在保持细胞结构和功能完整性的前提下，同时检测被筛样品对细胞形态、生长、分化、迁移、凋亡、代谢途径及信号转导各个环节的影响, 在单一实验中获取大量与基因、蛋白及其他细胞成分相关的信息, 确定其生物活性和潜在毒性的过程，就是PHENOMIC AI要解决的。第三个也是PathAI做的，通过热力图以及药理的图片，去帮助医生更好的观测现象。最后一个是CLOUD MEDX，他们拿到了很多医疗记录，通过这些医疗的记录，实时分析病人的信息，同时通过真实的病例数据和实验数据，做健康诊断的推荐，从而帮助医生更好的做诊断，并合理进行药物的配发。在各个方面的应用讲完之后，我想深入的讲一下，目前这几个领域，用到了什么样的技术或者方法，可以帮助医生改善诊断效果。最近有一部很火的电影叫《我不是药神》,谈到了医药公司的问题现状，在最开始的专利期，他们的药会价格非常高以收回投资成本。因为在医药研发的领域，需要非常大的投资，需要非常多的人才，做非常多的实验，这些都是非常昂贵的成本。为了弥补企业成本并且达到盈利，只能在最开始的专利期收取高价，这也是为了让药物研发公司有动力继续投入研发。如果可以用深度学习的方式，或者用GPU加速整个药物的研发过程。将能够在一定程度降低药物的价格，从而去帮助整个医疗行业进入更加良性的发展阶段。既然可以用GPU和深度学习来加速，到底该怎么具体操作呢？如果有做视觉的同学，可能知道是从CNN开始，能够取得一个好的效果，其实就是从图片的分类开始。结果很简单，就是用卷积核在图片上面做卷积，然后经过各种隐藏层的计算之后，可以判断图片内容。图片是一个很简单、很规整的RGB数据 ，但是对于药物发现来说，药物的结构并不是一个规整的矩阵，该怎么来做呢？这个时候就有了所谓的Graph convolution，即图卷积。通过图卷积的方式，可以把药物的结构映射成卷积结构，映射成一个矩阵。然后就可以用CNN来做一些检测判断或者药物的发现。那么图上的卷积网络从卷积方式来说，可以分为两种，图卷积和空间域卷积，在此只对空间域卷积进行简单的介绍。图卷积是将卷积网络的滤波器和图信号，同时搬到傅立叶域之后再处理，而空间域卷积是用图中的节点在空间域进行相连达到层积的结构，从而进行卷积，获得一个好的效果，具体怎么来操作呢？跟传统方法相比，图卷积有更低的计算开销和更少的计算时间，但是也有一个难点，就是很难保证准确性。常见的图卷积算法包括NFP、Weave、GGNN以及SGCN。这些方法都已经应用到了医疗领域，并进行了一些基本的研究。空间域的卷积相对来说比较简单。以药物分子为例，其实每一个分子，都可以看成一个节点，对每个结点去寻找最开始旁边的域，一个分子会有非常多的节点，到底哪个节点，对这个分子比较重要，那肯定是连接数越多的越重要，通过这样的方式筛选出很多节点，找到每个节点邻近的几个分子；第二步，把临近的分子拼成一个感知域，之后用卷积神经网络，在感知域上做卷积操作，从而获得该卷积域的特征。做卷积时，会执行一些非线性的操作，生成一些新的特征，然后应用到节点上，图卷积的过程之后加上Batch normalization、Dropout和Relu，重复四次，就是整个图卷积的结构。通过这样的结构，就能把分子的状态应用到CNN领域。不像以前，由于分子的结构是非矩阵型的，不能够进行应用，而和应用相比能不能带来加速呢，下面我就会给大家讲一下。这个是CPU和GPU在Tox21上使用GCN方法的性能比较，可以看到图上最多有132个节点，每个节点有六十四个feature（特征），跑了二十个Epoch，Batchsize是一百二十八，使用Tesla V100 GPU或Xeon E5-2698CPU，在准确率达到90%的情况下，用CPU训练的时间是260秒，而GPU只用了32秒，也就意味着GPU是10倍快于CPU，因此我们能够更好地利用GPU来加速药物的研究，从而降低药物研发成本和社会负担，让所有的患者用良心的价格获得更好的药物，其实还有很多方式可以把AI应用到药物发现领域。AI除了在药物发现方面的应用，也可以应用于基因领域。很多疾病是由于基因突变或者基因缺陷引起的。人类曾经有一个非常大的工程叫做基因测序，把人类的两对染色体进行基因测序。具体怎么做基因测试的，不知道大家有没有了解。那么我给大家介绍一下，首先将待测序的DNA进行扩增，复制出很多DNA，之后进行加热变性，由于基因是双螺旋结构，把双链DNA分开之后，在里面加入引物，从而让聚合酶发挥作用，这样就可以复制这一段基因的信息。把DNA聚合酶加入到反应容器，每个反应容器里面放的都是前面所提取出来的单链DNA，利用ATGC基本的碱基酶原料，就可以复制整个基因序列，同时放一个特殊的碱基A进去，能够停止复制。此时就可以开始进行整个DNA的反应。在完成了DNA的反应之后，因为有一个特殊的碱基A可以停止DNA的复制，在四个不同的样本里，他们有很大的概率是在不同的时间停止，可以根据不同的停止情况，对其通电，较轻的DNA会在通电之后进行移动，通过荧光标记的方式就可以在胶片上留下记号，从而得到整个DNA的顺序。对于DNA测序有两个难点需要解决，首先，染色体三十亿对碱基，怎么去测序？其次是用什么办法进行加速。对于人来说，两对染色体包含30亿个碱基对，包括了鸟嘌呤、胞嘧啶、腺嘌呤、胸腺嘧啶，组成二十三对染色体。但是我们这些仪器能够产生十一个短序列，我们称之为Read，每个read仅代表了三十亿个碱基中的一百个，每个碱基的错误概率在0.1%-10% 之间，把单一的、小的基因序列完整而准确的拼起来是很困难的。这个时候Google cloud platform提出了开源的方案叫做DeepVariant，通过以编码HTS仪器数据的方式，生成了数千万个训练样本，然后用这个训练样本，基于TensorFlow做图像分类，以便从仪器生成的实验数据中识别出真实的基因组序列。通过这样的方式，可以很简单的判断哪个基因组序列是正确的。在右边的图上，有四种基因组序列：正常的染色体、有一个碱基出现问题的染色体、两个染色体对都被删除，还有一种情况就是由于一些其他因素，比如在最开始做生成的时候复制出错等相关问题，就会出现最后一种图像，通过这样的方式，就能加速基因测试的过程。加速完基因测试之后，把每一个read的结果拼到一起，中间会有一个比对过程，把每一个小的单元都跟其对应的序列作比对，从而判断是否准确，此时就有了新的Parabricks，他们在做加速DNA测序的工作，比如说用BWA MEM （比对的工具库），支持较长的Read，然后做一些剪切性的比对。通过这样的方式，用GPU来加速，可以看到跟32个CPU相比，其性能达到了25倍的提升，结果的准确率达到100%。接下来跟大家分析下AI在医疗记录分析方面的应用，医疗记录分两个部分：医疗文本记录和医疗图片记录，这两个领域分别有怎样的研究，他们具体是怎么操作的呢？第一个是依靠Icahn School提供的解决方案，他们通过12年的积累，总计700万的医疗记录，训练了一个深度学习模型，可以实现多疾病的预测，以前传统的方法是收集医疗记录做预测模型，但是只能预测一种疾病，现在可以预测七十八种疾病，并且能够做到预防疾病的发生，可以很大程度上降低病人的痛苦。第二个应用是CLOUD MEDX做的，他们做的内容跟之前几家公司不一样。前面几家公司是基于已有的医疗记录，生成预测模型，去预测病人患病的可能性。CLOUD MEDX则是拿到了一些电子健康记录，比如病史、药物测试报告等数据，里面有两部分数据，一部分是来自医生记录的，跟国内一样，大家都知道我们看自己的病例是看不懂的，当拿到这些非结构化数据之后，做数据结构化的分析，然后直接结合NLP自然语言处理技术；另一部分是实验室的数据，或者生命统计的数据，通过这两部分的数据，开发了一个新的AI平台。利用该平台分析患者的整个病史、关联的症状以及人口统计的数据和诊断，就可以看到该症状以及对应其他临床上的情况，从数据判断患某种疾病的可能性，帮助医生做一些推荐测试、药物治疗的方案以及辅助医生修改治疗方案等。第二个领域就是医疗图片，大多是指图片分割和检测判断，这里大概有五个例子，我会详细给大家介绍一下他们是怎么做的。第一张图是PathAI做的，把拿到的病例图片以及识别出的结果做热点图，帮助医生更好的判断；第二个是由凯斯西储大学做的，致力于常见的乳腺癌的研究，正常来说，女性发现乳腺癌之后，最开始医生都会建议做化疗，另一种方式是做病理切片，拿到切片的细胞信息之后才能判断，该测试需要花费四千美金，对于大多数非发达国家的人来说，他们是付不起的，那这个时候怎么做，他们又提出可以用MRI的一些照片，依据现在的病理学照片做风险评估。这张图展示的是一个library，即医学图像数据库，医学图像由于其敏感性和工作量，正规的注册数据集很难得到，但在诊断和治疗中非常关键， 是美国的国立研究院提出的一个注册系统，其实这就是一个获得数据集的方法。上图展示的是用SocialEyes，基于我们的NVIDIA SHIELD 平板电脑上，可以利用里面的GPU，运行深度学习的模型，去判断眼部疾病，因为在一些偏远地区看眼科是非常难的，通过这样一些模型，就能够解决这些问题。另外可以用深度学习做骨龄测试，传统做法是用X射线图片，和传统的书里面的照片或者以前的图像进行比对，从而判断骨龄。现在可以用深度学习的方式，使用了大概七千四百个X光射线的记录训练了一个深度学习的模型，能够很快地进行训练，通过这样的方式，能够很快的取得很好的结果，其实骨龄测量对小孩来说非常重要。尤其是在国内，很多时候小孩的发展跟他的骨龄完全是不一样的，怎么选择更快的获得结果并进行干预是很重要的。最后一个是用ML发现脑肿瘤，以前的做法可能需要直接打开头颅，然后打个孔，去看拿到的切片，看看里面是不是有肿瘤，及肿瘤状况。现在MAYO CLINIC使用GPU加速，可以用MRI的信息，以前用非深度学习方法发现不了的数据信息，去做一些比对，进而判断到底里面是不是有肿瘤，准确率也超过了90%，所以通过这样的方式，不仅可以把以前的结果做得更好，同时也可以做以前不能做的，而对于medical image（医学图像）我们需要怎样的一个平台呢？NVIDIA在2018年提出了CLARA平台，我们叫做虚拟、通用、远程、可扩展的平台，所有的合作伙伴都可以加入进来，利用NVIDIA GPU计算资源和加速库，为医院和合作伙伴提供新的算法和方案，CLARA平台可以做基于DL-BASED的Image重建、深度学习的图像分割、图像渲染等操作，该平台最底层用的是DGX以及NVIDIA的GPU，也会提供非常多的软件库，包括CUDA、cuDNN、TensorRT加速库以及Image和各种虚拟化的APP，帮助大家利用这个平台，开发出各种各样的应用。首先从硬件开始，平台底层需要做计算，我们使用了世界上第一台GPU超级计算机DGX-1，里面配置了八块32G Tesla V100 GPU以及NVLink Mesh。整个系统具有1 PetaFLOPS的计算性能，在做深度学习训练的同时，提供300 Gb/s的NVLink通信带宽。从而保证在训练时能够最快的取得效果。当然这只是硬件方面，除了硬件之外，NVIDIA也提供了一整套的软件支持。硬件没有软件的支撑，是运行不了的，虽然硬件达到了加速，软件该如何操作呢？NVIDIA提供了一整套软件栈，底层有我们的操作系统，上面有英伟达的GPU驱动以及容器的Runtime，以保证在底层能够调用GPU计算资源。在GPU之上，NVIDIA还提供各种GPU Docker容器，比如Caffe，Caffe2，TensorFlow，PyTorch，Chainer等，这些容器和驱动以及Docker，包括精简过的OS，驱动都是专门为DGX配置的，而且上面的容器都基于GPU的特性做过优化，从而保证大家能够用到最好的计算性能，训练出自己的GPU模型，为客户提供应用。在DGX之上，我们有NGC（NVIDIA GPU Cloud），可以提供各种各样容器镜像，DGX也接入到了NGC，这样用户不需要再去配置硬件环境，通过NGC把容器镜像拉下来，就可以开展深度学习的训练和Inference（推理）。目前NGC提供的容器镜像有35个，分别在不同的领域，包括深度学习、HPC、HPC的视觉、Kubernetes以及我们的合作伙伴提供的各种容器镜像。NGC提供的深度学习容器镜像包括caffe、caffe2、CNTK，CUDA等，CUDA是NVIDIA提供 的一个基础镜像，包括DIGITS，对深度学习不熟悉的朋友，可以尝试使用DIGITS，它是一个Web UL的界面，底层调用TensorFlow或者Caffe，在里面可以直接开始深度学习的训练，inference server是我们提供的一个Inference的API，它是一个推理的web框架范例。因为我们要做的就是把训练好的模型交付给客户去使用，比如帮助医生去做一些检测。那么如何部署训练好的模型呢？就是使用inference server，它的作用就是把模型放进去，相当于一个web框架，此时会对外暴露出一个API以供调用，从而简化模型开发的过程。另外一个重要的容器镜像叫做TensorRT，是NVIDIA提供的一个容器加速库，里面已经完成了相应的配置，可以直接使用，能够为深度学习模型带来几倍的加速，下面我会详细介绍。所以基于DGX的硬件，我们提供了专用的OS以及Linux Kernel和CUDA驱动，在上面做各种各样的容器化应用，包括优化好的TensorFlow、CNTK、caffe2、PyTorch等模型，以及各种各样的软件，包括之前提到的inference_ server，这样一整套的软件可以帮助大家更好的去开展深度学习训练，去应用深度学习算法，或者开展一些算法的研究，同时大家也可以利用这些容器镜像进行自己的算法部署。当然除了DGX和NGC之外，还要考虑怎么使用GPU为深度学习加速？这里NVIDIA提供了DIGITS、深度学习框架以及深度学习的SDK。深度学习的SDK主要包括cuDNN、NCCL、cuBLAS、cuSPARSE、TensorRT以及DeepStream6个部分。cuDNN是用CUDA写的DNN加速器。NCCL用于做多GPU的通信，一般来说，训练的时候会有参数服务器，因为GPU之间的数据是要通信的。怎么去加速GPU的通信呢？我们做了算法的实现，做了底层的优化，比如说使用NVLink，多节点之间用了RDMA等，通过这样的方式加速了通信。cuBLAS做一些线性代数的计算；cuSPARSE用于做稀疏矩阵的计算，TensorRT是做inference的加速引擎，可以做到inference的加速，最后一个是DeepStream，提供视频分析的一些方案，提供整套的pipeline，底层调用GPU里面硬件核心、解码器以及CUDA核，从而完成一整套的计算过程。cuDNN是一个高性能深度学习神经网络加速库，被利用到所有的深度学习框架中，包括Caffe、Caffe2、CNTK、TensorFlow、PyTorch等，都在用cuDNN做加速。当然如果需要写自己的软件，也可以用cuDNN来加速，从上图可以看到从最开始的8个K80，到8个Maxwell，再到DGX-1和DGX-1V，在不同的cuDNN版本和不同的硬件上，其性能差距是非常大的。在深度学习的训练方面，从最开始的1000张不到，现在可以训练的图片大概超过10000张，能够进一步加速训练，带来10倍的加速提升，而这样的加速对于开发成熟的产品是非常重要的。NCCL用于多GPU之间的通信，使用通信算法，底层采用NVLink，PCIe和 InfiniBand，同时能够去检测到整个系统的拓扑结构。从上图可以看到最开始的Maxwell，以及两个P100的比较，然后到1024个P100，可以看到用NCCL在GPU通讯方面能够达到线性的加速，也意味着通信的开销不会导致训练的延时，这个是非常难做的。有HPC (高性能计算) 背景的朋友都知道，能达到线性的加速是非常难的一个任务，而NCCL在通信方面取得了这样的效果。最后一个我想讲的是TensorRT，训练好一个模型，最重要的是模型的准确性和怎么把模型交付给客户使用？推理和训练其实是不一样的，训练时可能用的是FP32的精度，但在推理的时候，可以用更低的精度。训练时，各层之间的关系是固定的，而且需要把中间参数保存下来，从而进行反向迭代。但推理时，只有正向的迭代，此时可以通过使用TensorRT达到免费加速的效果。TensorRT可以做一些Layer fusion，同时也可以做些精度校准，对于不同的GPU卡，可以实现模型的自动调整，动态分配内存，不管是在内存、计算、网络结构以及参数精度方面，都可以用TensorRT达到更好的效果，取得一更好的性能。以P4为例，如果使用FP32精度的参数算力可以达到5.5T，如果使用Int 8精度的参数算力可以达到22T，所以说硬件的性能提升也需要通过软件的优化才能够完成。最后我想讲的是deep learning的菜单，在医疗领域最重要的就是数据，当然也需要强大的计算力。在此基础上，我们可以用监督学习，或者增强学习，训练各种模型。关于数据来源，我们有各种合作伙伴和研究机构，他们会为我们提供各种数据集。我们也在跟很多医院展开合作，能够提供这样的数据。我们为大家提供最快的计算平台，以保证拿到这些数据之后，能够最快的取得结果。而在算法方面，现在深度学习社区，每年大概有几万甚至十几万篇论文发出来，他们提供了各种各样的思路，比如做图像分割，最开始从一个很简单的网络开始，后来用FCN来实现，现在可能用GAN来做。通过不同的算法，完成各种各样的应用，解决医疗上各种各样的难题。不管是对个人来讲，还是对社会来讲，都能带来很大的帮助。以上就是我今天关于AI在医疗领域应用的一些分享，谢谢大家！提问环节问题一郭家豪-上海应用技术大学-研究助理针对传统的在校医学生，毕业后希望转型到医疗领域的深度学习中，在这一转型中，优势有哪些？劣势有哪些？针对深度学习的技术，最关键的核心技术是哪一块儿？罗晟：你现在是在医疗行业，如果你想要转型到深度学习，我们是非常欢迎的，同时我们也非常希望有专业的医疗行业的人才加入到深度学习的队伍当中，因为对于深度学习来说，它只是一个工具，怎么用这个工具，在哪个方向能够用这个工具才是最关键的。你的优势在于知道怎样应用深度学习技术，用在什么方向，你只要去加强深度学习方面的技术，甚至可以让专业的技术人员帮你做加速。我相信未来也会有相应的工具，能够让人很快的使用，所以方向才是最重要的。其实，在深度学习领域，想要知道怎么应用，确定好要用的医疗技术及方向之后，就可以用GPU技术来实现，NVIDIA提供了所有框架的优化，你可以使用这些框架来做数据整理，确认好方向之后，有各种各样的research community提供的网络，都可以去尝试，从而在确定的方向取得一定的成果，我相信在确定了方向之后，一切的技术，都不会成为你的阻碍，而且这样的技术肯定会随着未来的发展也变得越来越普及，越来越有用。问题二高蓉彬-甘肃畜牧工程职业技术学院-教师深度学习对药物药理学研究能起到什么作用？罗晟：我前面的内容已经涉及到了怎么用深度学习做药理学的研究以及在分子方面的研究。比如做药物发现时使用GCN网络，通过该方法，可以去把药物分子结构做映射，从而知道不同的药物之间互相的联系，同时也可以判断药物之后的结果是什么样的，这些都可以用深度学习来完成。问题三罗力川-大唐电信-芯片设计工程师该平台是否用到了英伟达的 DLA加速器了吗？如果用到了，可否详细介绍下？罗晟：很高兴听你提到NVIDIA的DLA，DLA是一个深度学习加速器，目前实现是在Jetson Xavier上面，Xavier现在是在申请试用中。当然不管是DLA也好， Xavier也好，Tesla GPU也好，还是Tensor Core也好，各种软件在NVIDIA平台都是统一的。任何软件都可以运行在NVIDIA任何版本的GPU上，并且都可以取得很好的效果。同时这部分的加速都是用TensorRT来实现，TensorRT可以去感知不同硬件的区别，比如P4有Int8的支持，而在P40和v100上有FP16的支持，这样TensorRT就可以屏蔽底层任何硬件的信息来使用。但另一个方面，因为Xavier现在是刚开发出来。相信在未来，比如我有一个平板电脑，就跟我前面案例提及的平板电脑，提供这样的解决方案，帮助贫困地区的人们使用到GPU加速，在医疗行业为边远地区的人民带来新的希望。问题四秦智勇-北京微电子所-工程师医疗领域信息比较私密，训练怎样解决数据源的问题？罗晟：这个问题问的非常好，医疗行业数据是比较私密的，怎么解决数据源的问题呢？其实我是这么理解的，首先在最开始训练的时候，会有各种各样的开放的数据集，可以去使用。另一方面，也可以尝试跟一些重要的医疗机构进行合作，我相信随着深度学习的发展，他们未来会需要用到深度学习的技术，而通过合作，他们可以提供各种各样的数据，就像我前面的提到一个案例，美国的一个研究所，就在展开这样的一个合作项目，去收集各样各种各样的数据，并开放给大家，帮助大家把深度学习的技术更好的的应用在医疗方面。问题五张承龙-中科院计算所-程序员医疗领域主要采用哪种深度学习模型，为什么这种模型效果要好，怎么进行小样本学习？罗晟：深度学习模型有很多种，主要还是取决于应用的领域。比如药物发现领域，可能会用图卷积的网络，两种图卷积的模型都可以使用。如果是一些文本的记录，肯定会用到NLP以及相关的模型；而对于医疗图片，目前来说比较前沿的都会用GAN（生成时对抗网络）来做，训练一个图像分割器，以及一个生成器，来训练一个更好的模型。当然对于medical image来说，现在是比较容易做的。但是因为GAN有一个很大的问题，就是训练比较难。对于图像分割，用FCN可以取得一个好的效果。小样本的学习，可以通过数据增强的方式，把数据集扩大，同时训练时不要选择太过复杂的网络，以避免一些问题，同时也可以进行一些数据的收集，以便在未来获得一个通用性更强的模型。问题六潘宇-北航-微电子专业学生目前要实现深度学习在医疗领域更好的应用还有哪些问题需要解决罗晟：我觉得有非常多的问题需要解决，比如拿到了数据如何解释。很多年前我在跟清华的一个教授合作的时候，使用一些医疗的信息，比如用深度学习去挖掘诊脉的信息，怎么让诊脉的结果出来之后可以做判断？之前去拍MI和CT照片的时候，为什么医生可以说这样是有问题的，那样是没问题的呢？我相信在当时也是通过数据统计的方法，因为有些病人MI和CT的照片里面有这样的情况，所以我们就理解这个地方有这样的问题。对深度学习或者在医疗行业做medical image来说，解决这个问题很简单，我们能够对最后的结果给出一定的解释。不管是经验也好，还是怎样，我们能够把它还原成类似MRI的照片从而告诉医生这个地方是有问题的，通过这样的方式，把可解释性解决。从另一个方面就是我们的技术还有更多方面需要挖掘，在药物发现里面怎么去做进一步的加速，在诊断系统里面，怎样更好的提高系统的准确性等，这些都是未来技术需要去解决的，也需要我们去为之努力。问题七乔冠超-电子科技大学-微电子专业学生深度学习在医疗领域的应用在技术方面和其他领域有什么区别？主要是算法的创新还是硬件平台的创新？罗晟：从技术根本来说，很多领域，比如图片与图像领域是一样的，没有太多的区别，在深度学习领域，我们谈论的是通用型的模型，虽然不是通用人工智能。像前面的例子，一个模型可以预测七十八种疾病，而之前只能识别一种，这样一个通用的模型最重要一点就是数据，能提供这样的数据，就需要一些数据的创新，也需要算法的创新和更强的算力。因为更多的数据，意味着需要更强的算力来支撑计算，有更好的模型能够提供更好的精确性，但是在一定程度上模型的复杂度肯定是在增加的，也是需要更大的算力来支持的。所以更强的算力能够保证可以去做一些迭代和测试，从而推动模型的发展，收集更多的数据，其实三者是相辅相成的。问题八刘汝洲-北京精真估-NLP技术部负责人NLP在疾病诊断方面有哪些落地的应用罗晟：前面已经讲过关于NLP相关内容，可以用NLP对一些病例的信息分析，对于病例的分析主要有两个方面，首先我们可以拿到一些疾病的信息，去做预测，当我们拿到一个最新的病人信息，把它放到模型里面，可以通过病历记录训练出一个模型，从而去判断是否有潜在的疾病风险；另一方面，拿到这些信息之后，跟真实的信息进行比对，可以去做些推荐，获得更好的推荐结果，这两方面也已经落地应用了。当然还有很多，现在有各种各样的机器人在医院里面提供服务，比如问诊机器人，去医院就诊时，可以去问一下机器人，它会根据你的描述给出相应的诊断反馈，这些都是未来需要提供的，也有一些项目已经落地，我觉得是非常好的。现在的三甲医院是非常拥挤的，有了最开始的定位，才能更准确的选择相应的科室，或者根据这些基本信息推荐解决方案等。新课预告#智东西公开课#9月13日晚8点，超级公开课IBM专场将开讲，由IBM中国芯片设计部门高级经理尹文主讲，也是首次公开线上讲解POWER 9处理器！课件获取第一讲，NVIDIA大中华区高性能计算及Applied Deep Learning部门技术总监主讲赖俊杰，主题为《如何搭建适合自己的深度学习平台》第二讲，NVIDIA高级系统架构师吴磊主讲，主题为《如何为深度学习和HPC提供更高算力》第三讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《不需要写代码，如何用开源软件DIGITS实现图像分类》（线上实践课程，无课件）第四讲，图玛深维首席科学家陈韵强、NVIDIA高级系统架构师付庆平共同主讲，主题为《深度学习如何改变医疗影像分析》第五讲，NVIDIA DLI认证讲师侯宇涛主讲，主题为《手把手教你使用开源软件DIGITS实现目标检测》（线上实践课程，无课件）第六讲，西安交大人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成共同主讲，主题为《智能监控场景下的大规模并行化视频分析方法》第七讲，清华大学计算机系副教授都志辉、NVIDIA高级系统架构师易成共同主讲，主题为《GPU加速的空间天气预报》第八讲，希氏异构人工智能首席科学家周斌主讲，主题为《如何利用最强GPU搭建医疗人工智能计算平台——医学图像AI领域最强超级计算机首次解密》第九讲，NVIDIA中国GPU应用市场总监侯宇涛主讲，主题为《揭秘深度学习》第十讲，NVIDIA高级系统架构师张景贵主讲，主题为《在你的桌面端通过NVIDIA云端GPU开展深度学习》第十一讲，百度AI技术生态部高级算法工程师赵鹏昊主讲，主题为《如何借助GPU集群搭建AI训练和推理平台》第十二讲，NVIDIA 深度学习解决方案架构师罗晟主讲，主题为《医疗领域的深度学习》