近期,西安交大科研人员在有机光电材料、可穿戴医疗传感、新冠肺炎患者救治、高分子材料等领域接连取得重要进展,一起来看这些新突破、新成果!新年伊始西安交大科研创新势头强劲让我们继续为交大科研实力打Call!1西安交大科研人员在含铋紫精领域取得重要进展发表期刊《美国化学会志》(Journal of the American Chemical Society)内容摘要近日,西安交通大学前沿院何刚教授课题组首次将铋元素(Bi)引入紫精骨架中,成功制备了含铋紫精衍生物,并将其命名为“Bismoviologens”。得益于这一设计,所制备的含铋紫精具有以下优点:(1)分子具有好的平面刚性结构,从而共轭程度提高,吸收红移,能隙降低;(2)铋原子的重原子效应可以促进分子的系间窜越,进而稳定三重激发态并产生磷光特性,这也使得含铋紫精成为首例具有磷光性质的紫精类衍生物。此外,后续通过电致变色、CV、电化学光谱等一系列测试表明含铋紫精在表现出磷光性质的同时依然保有紫精化合物固有的氧化还原性质。基于这些特性,含铋紫精被成功地应用于电致磷光变色器件和可见光诱导的交叉脱氢偶联反应。这一研究不仅大大拓展了紫精类衍生物的范围,也为此类材料在磷光光电器件和可见光催化领域的应用奠定了坚实的基础。文章作者西安交通大学前沿院博士生马文强为本论文第一作者。前沿院马天宇教授、化学学院饶彬研究员、材料学院张明明教授以及何刚教授课题组许乐天、张思坤、李国平共同参与了此项工作。西安交通大学为本文唯一通讯作者单位,这也是何刚教授课题组在含主族元素紫精研究领域又一重要突破。论文链接https://pubs.acs.org/doi/10.1021/jacs.0c120152西安交大科研人员在工程化水凝胶可穿戴医疗传感领域取得重要进展发表期刊《先进功能材料》(Advanced Functional Materials)内容摘要柔性可穿戴电子器件能直接贴在皮肤表面,实现人体生理信息的原位、实时及连续监测,在个性化医疗领域具有极其可观的应用前景。近日,西安交通大学蒋庄德院士、赵立波教授团队和加州大学洛杉矶分校Ali Khademhosseini教授课题组首次探索了明胶-甲基丙烯酸酯水凝胶(Gelatin methacryloyl,GelMA)用于发展柔性触觉器件的可行性,研发了一种基于GelMA的高灵敏度、透明、皮肤适形、可完全溶液加工的柔性可穿戴触觉传感器,实现了在人身体上的可穿戴医疗应用。该GelMA柔性传感器可经受住3500多次循环压力作用,在72小时内能保持测量性能稳定,并可实现低成本、大面积制备,为实现水凝胶柔性传感器的工程化应用带来了新希望。该水凝胶柔性触觉传感器采用电容检测原理,利用GelMA为介电弹性体,通过压力感知来实现人体生理信号检测。研究人员提出了一种可完全溶液加工的电容压力传感结构,将GelMA作为核心介电弹性体,通过在其两侧设置一层辅助键合层(如PDMS层)来控制水分蒸发。通过将辅助键合层表面化学处理,并采用紫外光照射的方法来实现其与GelMA之间的化学键合,以增强器件结构坚固性、耐用性。采用旋涂、紫外光照、表面化学处理等工艺,开发了一种完全溶液加工的低成本、大面积制备技术。该结构设计策略及制备技术具有普适性,可用于发展其它水凝胶柔性触觉传感器。此外,由于GelMA介电弹性体、PEDOT:PSS电极、辅助键合和基底层均为透明材料,整个器件具有很好的透光性,对发展隐形可穿戴电子有重要意义。文章作者西安交通大学机械学院李支康副教授为论文第一作者,西安交通大学机械学院赵立波教授、香港大学张世明助理教授以及加州大学洛杉矶分校Ali Khademhosseini教授为共同通讯作者。此外,西安交通大学机械学院副教授罗国希、生命学院助理教授刘灏、前沿院博士生薛语萌共同参与了此项工作。论文链接https://onlinelibrary.wiley.com/doi/10.1002/adfm.2020036013西安交大科研人员研发出世界最“亮”白光有机电致发光二极管发表期刊Nano Energy内容摘要相比于白光LEDs,白光有机电致发光二极管(WOLEDs)的功率效率仍然偏低,一定程度上限制了WOLEDs的固态照明应用。其中WOLEDs中金属电极引起的等离子体模式能量损失极大阻碍了光提取效率的提高,从而限制了WOLEDs效率的进一步提高。近日,西安交通大学吴朝新教授组研究了一种基于超厚有机多异质结空穴传输层的反型底发射WOLEDs器件结构,同时实现了高效的空穴注入和等离子体模式能量损失的抑制。在此基础上并结合常规的外光提取技术,在空穴传输层厚度为240 nm的超厚反型器件中,实现了228.4 lm/W的峰值正向功率效率,相比于空穴传输层厚度为60 nm的器件,功率效率提高了57%。同时,在1000cd m-2的亮度下,实现了166.3 lm/W的峰值正向功率效率,该结果经过第三方中科院苏州纳米研究所测试分析中心认证为165 lm/W,为国际最高记录,是世界最“亮”的白光有机电致发光二极管。文章作者论文第一作者为于跃博士,吴朝新教授、焦博副教授和苏州大学冯敏强教授为共同通讯作者,西安交通大学为第一作者和第一通讯作者单位。论文链接https://doi.org/10.1016/j.nanoen.2020.1056604一附院ECMO团队在《欧洲心脏杂志》子刊撰文分享危重症新冠患者救治经验发表期刊《欧洲心脏杂志》子刊《欧洲心脏杂志-案例》内容摘要2020年年初,为了抢救一例危重新冠肺炎患者的生命,西安交大一附院成立了由50多人组成的特别救治团队24小时不间断对患者实施治疗。经过94天艰苦鏖战,患者5月9日达到出院标准。作为体外循环的王者以及急重症急救中最后的一道防线,体外膜肺氧合机(ECMO,Extracorporeal Membrane Oxygenation)在该例患者的救治中发挥了重要作用。为了抢救这位患者,ECMO运转使用了49天,根据文献报道,这也是当时国内外康复出院的新冠肺炎患者中使用ECMO时间的最长记录。近日,一附院心血管外科ECMO团队首次就ECMO在危重新冠肺炎该患者救治中的使用经验,在心血管领域知名期刊《欧洲心脏杂志》子刊《欧洲心脏杂志-案例》发表题为“Recovery from respiratory failure after 49-day ECMO support in a critically ill patient with COVID-19: case report”的论文,围绕该患者抢救过程中ECMO启动时机、ECMO启动后出现的并发症及处理策略、ECMO的撤机时机以及后续的康复治疗进行了详细阐述,特别是对ECMO治疗过程中,一附院多学科协作经验以及每日两次会诊制度做了重点介绍。在该例重症患者的诊疗过程中,多学科团队每天集中讨论两次治疗方案,包括ECMO轮转、抗病毒药物和抗生素使用以及输液管理等。通过这种多学科协作诊疗模式,保障了患者得到规范、个体化的救治。文章作者该论文通讯作者为西安交大一附院ECMO团队负责人闫炀教授和师桃教授,第一作者为ECMO团队骨干成员郭锋伟主治医生,论文作者还包括一附院抗疫成员邓超主治医生。5西安交大科研人员在自然条件下发现+1价钙离子二维晶体并探明该类物质的奇异性质发表期刊《国家科学评论》(National Science Review)内容摘要近日,西安交大科研工作者基于冷冻透射电子显微镜技术,在还原氧化石墨烯(rGO)膜上直接观察到了自然环境下生成的二维CaCl晶体,其中钙离子的价态为+1。相关理论和实验同时表明,这些二维CaCl晶体具有室温铁磁性、金属性、类压电性,可形成石墨烯–CaCl异质结,且具备显著的储氢和释氢能力。二维CaCl晶体的高分辨实空间冷冻电镜结构表征图(i)、选区衍射(ii)和实空间结构图像的傅里叶变换图(iii)表明该二维CaCl晶体具有两倍于石墨烯尺寸的晶胞结构。理论研究表明,这种异常晶体的形成是由于石墨烯表面的芳香环与钙离子之间的强阳离子-π相互作用所致。由于其他金属离子(如Mg2+、Fe2+、Co2+、Cu2+、Cd2+、Cr2+和Pb2+)与石墨表面也存在强的阳离子-π相互作用,初步研究表明其他金属阳离子也会形成类似的异常价态晶体。基于实验数据和第一性原理计算得出的稳定二维CaCl晶体结构此类二维CaCl晶体表现出金属性,也显示出明显的类压电性质。这种超出预期的类压电行为来源于两个方面:Ca离子的单价行为,以及两种元素(Ca和Cl)在压缩或拉伸应变下具有不同的电效应。因此二维CaCl晶体是一种既具有金属特性又具有压电特性的新型物质材料,可有望制备具有原子尺度和纳米尺度的电子器件,从而产生广泛应用。对rGO和GO膜的电阻测量证实了CaCl晶体的金属性质自然条件下在弯曲产生的压缩和拉伸应力作用时薄膜表现出了明显的类压电性质值得强调的是,CaCl晶体表现出室温铁磁性,这一发现打破了人们普遍认为的主族金属元素不会具有室温铁磁性的传统观念。理论计算表明这种室温铁磁性同样来源于两个方面:+1价Ca离子中的不成对价电子,以及相应反常二维晶体结构的边缘或者缺陷效应。因此可以预期其他金属元素也可通过形成类似的反常二维晶体而具有室温铁磁性。CaCl@rGO薄膜的室温(300K)磁滞回线表明其拥有显著的室温铁磁性该类二维晶体的奇异性质和行为也将拓展功能化石墨烯的应用。此外,考虑到金属阳离子和碳在地球上的广泛分布,这种具有先前未被认识的性质的纳米级“特殊”化合物可能在自然界中广泛存在。这些发现不仅在具有异常的阴离子–阳离子比、新颖的阳离子价态和奇异电磁学性质的二维晶体研究上取得了突破性进展,而且在材料、生物、化学和物理等方面都具有开创性的应用潜力。文章作者论文的作者是西安交大物理学院张磊、张朋、张胜利教授团队联合上海大学、华东理工大学、中国科学院上海应用物理研究所、浙江农林大学、华东师范大学和厦门大学相关团队。论文链接https://doi.org/10.1093/nsr/nwaa2746西安交大科研人员利用硼酸酯化学开发出具有实用价值的可持续高分子材料发表期刊《Journal of the American Chemical Society》内容摘要动态共价键是一类能在外界条件(如热、pH值、光和催化剂等)触发下发生可逆“断裂”与“重组”的共价键。基于动态共价键的“断裂”与“重组”,交联高分子可以通过分子水平上的拓扑结构演变实现高分子材料的再加工和修复。硼酸酯基作为一类典型的动态共价键,被广泛用于开发可修复和可再生的高分子材料。但是,硼酸酯基对水或醇过于敏感的问题一直困扰着研究人员。为了解决硼酸酯基对水或醇过于敏感的问题,西安交大化学学院井新利教授课题组提出利用硼氮内配位提高硼酸酯基稳定性的策略,通过合成结构明确的硼氮内配位的环状硼酸二酯(NCB)基小分子模型化合物,并深入研究了其在热或介质触发下的交换反应动力学和热力学。在充分理解NCB基动态共价化学的基础上,将这种高稳定性的含硼杂化动态共价键结构引入高分子交联网络中,合成得到基于NCB基的Vitrimers。基于NCB基的vitrimers既具有传统热固性高分子优异的介质稳定性和力学性能,又可以通过NCB基的关联交换反应实现材料的修复、重塑和回收。尤其是相比于普通硼酸酯基交联的高分子,基于NCB基的vitrimers具有更高的水、热稳定性。这项研究工作为设计具有实用价值的可持续材料提供了一个新的化学策略和概念。文章作者西安交通大学化学学院博士研究生张晓婷和王淑娟副教授为该论文的共同第一作者,化学学院井新利教授是论文的通讯作者。论文中的表征和测试得到了西安交通大学分析测试共享中心、化学学院分析测试平台和西北大学分析测试中心的支持。论文链接https://dx.doi.org/10.1021/jacs.0c102447西安交大科研人员提出光热和光动力协同治疗肿瘤新策略降低肿瘤复发率发表期刊《ACS Nano》内容摘要肿瘤活性反馈式治疗策略示意图众所周知,肿瘤的后期复发绝大部分原因是前期治疗时没有彻底消除肿瘤细胞。纳米药物在肿瘤内有限的渗透深度和肿瘤内部的严重乏氧状况显著降低了PTT/PDT协同治疗疗效(PDT治疗需要氧气的支持)。近日,西安交通大学生命学院生物医学影像与应用研究所吴道澄教授课题组提出了一种新的PTT/PDT协同治疗肿瘤的策略,在降低肿瘤复发率上取得了显著进展。该研究利用具有良好生物相容性聚多巴胺(PDA)作为载体同时负载血红蛋白(Hb提供氧气)和光敏剂(Ce6)构建小尺寸的纳米颗粒,再将小颗粒包裹进酸敏感PEG-PEI胶束中,表面再修饰能够肿瘤靶向的透明质酸(HA)成为高渗透、酸敏释放复合PTT/PDT协同治疗纳米载体。如图所示,由于肿瘤的酸性环境,该纳米体系在肿瘤部位释放出具有深度穿透能力的小尺寸聚多巴胺颗粒渗透到肿瘤各个部位,在光照条件下聚多巴胺光热治疗、Ce6释放活性氧光动力协同杀死肿瘤。血红蛋白释放氧气的量根据肿瘤活性调节,肿瘤活性越高的区域酸性越强,血红蛋白释放氧气的量越多,PDT治疗强度也越高,反之亦然。这种根据肿瘤活性调节治疗强度的反馈式治疗策略使得在肿瘤的各个活性区域PTT/PDT协同治疗都能发挥出最大的疗效,肿瘤组织消除更干净,而对正常组织的毒副作用极低。体内抗肿瘤实验显示,该方法不仅对肿瘤的抑瘤率大于98%,而且小鼠60天肿瘤复发率仅为8.3%。文章作者第一作者为西安交通大学生命学院博士生王雅,吴道澄教授为唯一通讯作者,西安交通大学生命学院为该论文的第一和唯一通讯作者单位。该工作得到了国家自然科学基金和国家重大科学仪器设备项目的资助。西安交通大学分析测试中心为本工作提供了大量测试表征支持。论文链接https://pubs.acs.org/doi/10.1021/acsnano.0c06415「出品 / 党委宣传部」内容来源 / 交大资讯网责任编辑 / 常帅 崔可嘉作者/来源:西安交通大学声明:版权归原创所有,转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与本网联系,我们将及时更正、删除,谢谢。
01、专业优势国家级一流本科专业建设点、国家级特色专业建设点、国家综合改革试点专业、浙江省重点专业、浙江省优势专业;专业排名进入ESI全球排名前 0.25%;国务院首批硕士点专业,具有一级学科博士点,可实现本、硕、博一体化培养;国家第一批卓越医生教育培养计划项目;学校是教育部、卫生部首批五年制临床医学人才培养模式改革试点院校;学校拥有5所附属医院、23所非直管附属医院。02、培养目标培养具有良好道德品质、公民意识和社会责任感,热爱祖国、遵纪守法、热心公益、乐于奉献、良好医学职业素养;具有宽厚的自然、人文和社会科学基础;具有扎实的医学基础理论知识和基本临床专业技能;具有自主学习和终身学习能力、具备初步的临床工作综合能力;具备一定的创新创业意识和开放视野;适应经济社会发展需要、国家卫生事业发展和人民群众医疗卫生需要、能在各级医疗卫生机构从事安全有效的医疗实践的应用型医学人才。03、核心课程人体解剖学、组织胚胎学、生理学、生物化学、微生物与免疫学、病理学、病理生理学、药理学、诊断学、医学影像学、内科学、外科学、妇产科学、儿科学、精神病学、神经病学等。04、专业特色(1)课程设置突出交叉融合和强化实践。一是设置医学与人文社会科学相交叉的课程;二是增设系列基础和临床相交叉的选修课程,突出基础理论的临床应用;三是重视课外教学环节,将第二课堂开展的科技文化活动、学科竞赛、社会实践等纳入课程计划;四是实行外语教学不断线,构建公共英语、专业外语、应用英语三结合的外语课程体系。(2)强调“临床思维”“临床技能”的培养。推行“早期接触临床、早期接触科研、早期接触社会” 三早教育理念,专业核心课程实践教学课时比例达到50%。独立设置《临床技能学》课程,开发与应用拥有本校特色的临床技能学教材;针对不同年级学生进行分阶段临床思维训练。(3)临床教学资源丰富,注重“用人单位”需求。附属医院丰富的临床病例、充足的教学空间、先进的仪器设备都成为源源不断的教学资源;一线临床、教学专家与医院管理者担任学院负责人,同时临床一线医生担任专业课教师,教学内容更切近临床实践;人才培养与用人单位合二为一,将相关利益方的需求与人才培养方案紧密结合。(4)国际交流资源丰富,注重培养国际视野。临床医学专业以出国境交流为教育特色,注重培养学生国际视野。近两年共有363人前往美国、英国、日本、韩国、加拿大、西班牙、瑞典、泰国、澳大利亚等多个国家地区参加各类出国境交流项目。05、培养质量和毕业生情况毕业生主要在各级综合性医院、专科医院、保健机构等部门从事临床医疗、预防工作,或在医学院校、科研机构从事教学和科研工作,或继续攻读研究生。(1)近三年毕业生平均就业率94.08% ,升研率55.71%,推免学生全部进入985、211高校及入选卓越研究生计划。(2)国家临床医学执业医师资格考试开考18年来,临床医学毕业生平均通过率始终位居全国前10%,近两年应届毕业生通过率在全国160余所培养本科医学生的高校中位居前5 。(3)学生参加省大学生医学竞赛连续7年闯入全国总决赛,其中2017年获华东区第一名、2018年获全国总决赛二等奖;获全国“挑战杯”大学生课外学术科技作品竞赛全国特等奖3次、“创青春”大学生创业大赛全国金奖。(4)在崇尚科学的同时,注重对学生人文素质的教育。学校品牌项目“星海孤独症家庭支持志愿服务”“聆听心声健康志愿”“健康巴士进社区”“血液银行”“生命相‘髓’”“37℃生命支持”等社会公益及志愿者服务项目更是屡获国家级、省级各类奖项。(5)本专业办学60余年来,培养了近2万名临床医学专业本科毕业生,涌现出了王光霁、周健、张素春、程树群等为代表的国内外杰出人才,许多毕业生已成为省内、外各级医疗卫生机构的业务骨干、领导和学科带头人。据统计,浙江省县级龙头医院副高以上的医疗骨干2/3 为我校毕业生。06、考生提醒1.本专业选考科目:化学和生物2门均需选考方可报考来源:温州医科大学 温州医科大学本专科招生 审核:夏凯愉 来源:第一临床医学院(信息与工程学院) 编辑:吴晓楠
来源:标准排名02:22文|标准排名分析师 祁雪责任编辑|王东升今年以来,迈瑞医疗的股价连续上涨,从1月2日的179.32元/股一路高歌猛进,截止到7月27日,最新的收盘价为334.00元/股,总市值高达4060.41亿元。盈利能力与市值增长稳健迈瑞医疗作为目前我国最大的医疗器械企业,不仅实现了营收超百亿、市值破千亿,其各项财务指标良好和盈利能力强劲,具备有很好的可持续发展性。根据年报显示,2019年迈瑞医疗实现营业收入165.56亿元,同比增长20.38%;实现归母净利润 46.81 亿元,同比增长 25.85%。标准排名节选了部分大型医疗器械企业的净利润以及增长情况,如下图所示,我们可以看出,2019年迈瑞医疗的净利润在行业内遥遥领先。根据南方财富网的排名显示,迈瑞医疗的综合实力在中国医疗器械企业100强榜单中高居榜首。从企业的营运能力来看,迈瑞医疗2017年—2019年的应收账款周转率分别为8.91、8.89、9.84,其应收账款的周转速度较快,在行业中处于中上水平。从应收账款的账龄进行分析来看,在信用期内的应收账款占总应收账款的约75%,这说明应收账款主要是该年度企业经营活动增加而导致的。2017-2019年迈瑞医疗的净资产收益率(ROE)分别为46.48%、34.16%、27.74%,其净资产收益率常年高于20%,具有很好的盈利能力。偿债能力方面,2019年迈瑞医疗的流动比率为3.71,速动比率为3.26,这一水平均高于行业平均水平,也说明了迈瑞医疗短期资金的流动性较好,具有良好的短期偿债能力。报告期内,迈瑞医疗的资产负债率为27.37%,相较于行业对比来说,具有较好的长期资本稳定性,其融资的空间相对也较大。疫情之下,业绩再创新高!突如其来的新冠疫情给许多企业都带来巨大的困难和挑战,而疫情对医疗设备的需求量也是巨大的,迈瑞医疗凭借其优质的产品性能和完善的医疗体系优势使其业绩再创新高。在2020年上半年,随着新冠疫情在全球的持续蔓延,迈瑞医疗生命信息与支持产线的监护仪、呼吸机、输注泵和医学影像产线的便携彩超、移动DR的需求量大幅增长,其中对生命信息与支持产线的拉动作用尤为显著。从2020年二季度开始,迈瑞医疗还开始向海外市场出口新冠抗体试剂,这弥补了疫情对体外诊断产线造成的部分影响,这些都使得迈瑞医疗在上半年的经营业绩呈现了良好的增长态势。据迈瑞医疗半年度业绩预告显示,迈瑞医疗2020年上半年实现营业收入98.47亿—106.67亿元,比上年同期增长20% - 30%左右,而在2019年上半年其营收增速为15%—25%左右,营业收入实现高增长无疑向投资者交上了一份完美的中考答卷;2020年上半年实现归属于上市公司股东的净利润为326934.50元—350625.40万元,比上年同期增长38%—48%,而在2019年上半年其净利润增速为20—30%,这意味着迈瑞医疗在今年上半年的盈利能力有着极大的增强。表1.2020年半年度业绩预告表2.2019年半年度业绩预告由于中国医疗器械行业整体发展水平还不高,目前进口医疗器械在高端医疗器械市场依然占据优势。据迈瑞医疗董事长李西廷介绍,公司近些年来一直在高端医疗器械方面不断探索,此次疫情期间各大医院在使用了迈瑞医疗的呼吸机、监护仪、移动DR等设备后,对国产品牌有了更加全面和深刻的认识,产品性能已经不输于进口品牌,甚至在信息化、智能化等产品创新领域更胜一筹。经过此次全球疫情的考验,迈瑞医疗产品和品牌的知名度都有了极大的提升,不仅打开了国产高端医疗器械的替代空间,还进一步推动国产医疗器械品牌走向世界。2016年,著名的波士顿咨询从全球选出100家来自新兴市场、正在加速全球化的企业,来自中国的迈瑞成为医疗技术领域唯一的“全球挑战者”。迈瑞坚持自主研发,努力挑战世界巨头,笃定坚持。昔日播下的种子,其效果正逐步显现。创新体系完善,研发能力突出企业自主研发创新能力是一个企业发展壮大的持续原动力。在疫情之下,迈瑞医疗作为国内医疗器械领域的领头羊,其业绩不仅没有受到冲击,反而出现了高速增长。究其根本原因,无疑是技术、产品过硬和产品研发成效显著,这些奠定了迈瑞医疗高速和高质量发展的基础。迈瑞医疗有着独有的自主研发体系,目前已经建立起基于全球资源配置的研发创新平台。迈瑞医疗在全球拥有八大研发中心,分别分布在深圳、南京、北京、西安、成都、美国硅谷、美国新泽西和美国西雅图。2019年12月,公司开启了全球第九个研发中心——武汉研究院项目的建设,该研发中心的建成也将开启迈瑞自主创新与发展的新征程。此外,产学研一体化的创新模式也是迈瑞医疗的又一大特色,公司已经与多家高校、科研机构、医院建立了合作网络。迈瑞医疗在研发方面一直都走在医疗器械行业的前列,有“医疗器械行业的华为”之称。根据数据显示。迈瑞医疗每年都会将约10%的营业收入投入到产品研发中,这一占比处于行业中上游的水平。2019年,公司研发投入16.49亿元,研发人员占公司总人数的25.5%,虽然其研发投入占营业收入的比重略有减少,但其研发投入的绝对值实现了三年连续攀升。迈瑞医疗发明专利申请量和拥有量均稳居深圳专利申请前列,并入选了我国发明专利拥有量前50名企业,是深圳市唯一一家进入此名单的医疗器械企业。2019年,迈瑞医疗新申请专利884件,获得专利授权249件;截至2019年底,公司共申请专利4873件,有效专利为2130件。目前迈瑞医疗已经逐步成为我国自主知识产权医疗器械产品国际化的龙头企业。2019年,迈瑞医疗在研发方面取得了卓越的成就。报告期内,迈瑞医疗所发明的Resona 7多普勒超声系统荣获“第二届深圳环球设计大奖”工业设计类金奖,这也是唯一一款获得金奖的医疗器械类产品;“一种弹性成像中的位移检测方法及装置”获得第21届中国专利金奖。另外,在这一年度中,公司新参与了国家科技部《智能模型的超声仪部署与应用研究》、《呼吸腔内超声成像专用图像处理装置研制》、国家工信部《面向先进医疗装备领域的产业技术基础公共服务平台建设》等国家级重点项目工作,在新产品研发和高端产品临床示范应用方面,得到了国家的认可和支持。随着产品的不断丰富、专利技术的不断完善,迈瑞医疗用独立自主的创新精神和稳扎稳打的匠人精神逐渐发展,稳步成长,成为国内最大的医疗器械生产商和全球知名的医疗器械及解决方案供应商。研发经费投入领先,专利侵权诉讼不断根据WIND数据显示,从各项综合实力来看,迈瑞医疗是整个医疗保健设备与服务行的领头羊。一直以来,迈瑞医疗都以重视研发投入和拥有高度自主的知识产权而为人所称赞。但经过研究发现,迈瑞医疗虽然研发投入高,专利技术领先,但其近年来专利侵权诉讼却不断缠身。迈瑞医疗和理邦仪器都是医疗器械行业内发展较好的企业。由于两家公司的经营业务存在有竞争的关系,因而这两家的专利诉讼纠纷频繁发生,一直持续至今。2019年4 月 19 日,迈瑞医疗在与理邦仪器的专利纠纷案一审中败诉,迈瑞医疗被判停止侵权并赔偿 600 万元。2019年12月30日理邦仪器发布公告表示,在2017年和2018年迈瑞医疗的发明纠纷、专利纠纷、技术秘密纠纷和知识产权诉讼损害责任纠纷4个案件中,经协商达成和解,届时以迈瑞医疗撤诉收尾。在与理邦仪器的较量中,虽各有胜负,但迈瑞医疗也时有败诉的情况产生。根据天眼查数据显示,迈瑞医疗有67起法律诉讼,其中大部分都是专利权纠纷。而与其频繁发生纠纷的理邦仪器目前只有17起法律诉讼。除了“老冤家”理邦仪器以外、迈瑞医疗还与科曼医疗、美国马西莫、西门子等公司发生过专利纠纷。专利侵权纠纷一直是迈瑞医疗被关注的焦点,连年增加的研发投入和四分之一的研发人员也无法阻止迈瑞医疗屡次成为专利侵权诉讼的败诉者。目前在医疗器械行业中的一些高端产品,我国的医疗器械企业都没有掌握核心技术,未来迈瑞医疗的研发之路依然任重而道远。绿色工厂、绿色办公双加成近些年来,迈瑞医疗十分重视公司经营的可持续发展,在节能减排和环境保护方面不断进行调整和升级,为安全生产和绿色办公保驾护航。据迈瑞医疗2019年度社会责任报告显示,报告期内公司又一次实现了废水、废气排放100%达标,危险废物均能够按照法规要求进行弃置,无污染超标的情况发生。此外,迈瑞医疗在污染物排放治理方面,不仅仅拘泥于废水、废气排放标准的达标,还采用一系列环保技术最大限度地实现了对环境的保护和对废物的充分利用,真正实现绿色工厂的设计理念。在废气方面,在已经达到排放标准条件下,进一步增加了对挥发性有机废气处理塔清洗废水的更换频率,从而减少了挥发性有机废气的排放量。在废水方面,将纯水站制出的多余纯水回用至原水罐,重复利用,减少了废水的排放量。迈瑞医疗主要的排污机构为深圳迈瑞生物医疗电子股份有限公司光明生产厂,下图为2019年该厂的排污情况。从图中我们不难看出,该厂的工业废水排放总量为48230.96吨/年,低于核定的总量。废水中的污染物的排放浓度化学需氧量为52mg/L、氨氮为1.45mg/L、总磷为0.42mg/L等,这些主要污染物的排放浓度都远远低于所规定的排放标准。同时还有一些园区内其他需要处理的污染物,如锡及其化合物、非甲烷总烃、颗粒物等物质,其主要是通过集中处理后达标再排放,排放浓度也是远比所规定的标准上限低。迈瑞医疗一直推崇和提倡绿色办公,在日常工作中采取一系列节能措施致力于节能降耗。公司将原有的老化、高耗能设备进行更新改造,使其与先进的技术相适应,以便于能够最大程度地节约能源;在有充分的安全和质量保证下,公司对部分通用用能设备、办公所耗用材料选择优先采购节能、高效、能耗低的产品,从源头上进行环保控制和管理;公司还鼓励节约能源和优化用能结构,优先使用一些新能源和可再生能源,在方方面面都体现出环境友好、能源节约的公司理念。2019年度,迈瑞医疗开展了一系列节能降耗项目。公司建立了能管平台,并利用该智能化的平台收集关键区域用水、用电数据,通过运用专业软件对数据进行分析,加强对水、电实际使用情况的监督。同时,还采取了技术改造或制度管理等行政手段来进一步实现对节能的管理。另外,在上一年度,迈瑞医疗将其光明基地地下车库原本安装的28W日光灯改造为13W的带雷达感应灯,在满足其所需亮度的同时将能耗降低了65%。本文首发于标准排名,未经授权,不得转载。本文仅供读者参考,不构成投资建议。
AI读片快准稳,微缩机器人“助手”深入人体直捣病灶——人工智能与医疗的结合,将使看病更容易。1月9日,上海交大人工智能研究院联合交大医学院、上海市卫生发展研究中心发布《人工智能医疗白皮书》。白皮书显示,人工智能在医疗领域应用方面,中国借助医疗影像大数据及图像识别技术的发展优势,以AI医学影像为主。在省级层面,截至2018年12月底,全国31省市中已有19个省市发布了人工智能规划,其中有16个制定了具体的产业规模发展目标,产业规模目标排名前五的省市分别为上海市、北京市、浙江省、广州省和四川省。据悉,这是上海交通大学人工智能研究院自2018年1月成立以来发布的首份人工智能医疗白皮书报告,收录的内容和数据截至2018年底。国外以AI药物研发为主,中国以AI医学影像为主这份“最新最全AI医疗指南”立足全球,全面分析了世界主要国家AI医疗研究的热门领域、主要挑战和未来趋势。项目组通过对人工智能在医疗领域应用情况的分析,提出包括医学影像、辅助诊断、药物研发、健康管理、疾病预测在内的五大应用领域。其中,国外以AI药物研发为主,中国则借助医疗影像大数据及图像识别技术的发展优势,以AI医学影像为主。白皮书全面分析了人工智能在上述五大医疗主要应用领域的痛点、发展优势、应用场景、行业现状、商业模式,并对目前我国人工智能医疗领域面临的挑战进行了分析,对行业未来发展趋势进行分析,提出了发展建议。目前AI医学影像成为中国人工智能与医疗行业应用结合最成熟的领域,市场规模大、收入和融资情况表现亮眼。据第三方统计,从 100家与人工智能相关的非上市企业2018年预计营收来看,100强中共有10家AI医疗公司,这10家AI医疗公司里有 6家属于AI医学影像领域。而在融资方面,AI医学影像是获得融资最多的医疗领域,数据显示,2018年截至第三季度,国内AI医学影像行业公布的融资事件近20起,融资总额超过26亿元。从中国AI医学影像行业的落地情况来看,目前AI医学影像产品主要应用在疾病筛查方面,以肿瘤和慢病领域为主。通过对2018年营收突出的AI医学影像公司的应用场景和数据资源进行分析,报告发现大部分公司都与医院展开广泛合作,并且在肺结节、眼底、乳腺癌、宫颈癌方面已有较为成熟的产品。项目组还分析了中国AI医疗领域目前应该聚焦的五大趋势,包括政府出台多项政策,为保护和发展AI人才提供保障;健康医疗数据归属、安全、开放等多项问题持续严峻;AI医疗器械审批标准逐步建立,有待进一步实现;人工智能理论“黑盒”依旧存在未知风险;AI医疗产业落地越来越成熟,商业模式愈发清晰。全国19个省市已发布人工智能规划《人工智能医疗白皮书》项目负责人、上海交通大学人工智能研究院教授金耀辉表示,白皮书发现,以AlphaGo战胜李世石事件为时间节点,自2016年下半年以来,人工智能引起世界各国和社会各层的重视。世界主要国家纷纷开始对人工智能进行国家战略层面的布局,并且非常重视人工智能在医疗领域的发展。美国作为世界第一大经济强国,对人工智能的反应尤为迅速,连续出台多个国家人工智能政策,利用人工智能对并发症进行预测及预防、发展电子化病历、对医疗大数据进行分析挖掘等,并利用AI系统自动执行决策和医疗诊断。日本基于本国严重的“人口老龄化”现象,将医疗健康和护理作为人工智能的突破口。英国则强调辅助诊断、早期预防控制流行病并追踪其发病率、图像诊断方向,并进一步提出了要保证公众数据的安全性和隐私性。印度则将癌症筛查和治疗作为人工智能大规模靶向治疗的领域方向。除了汇编了世界主要国家的人工智能战略和各国在医疗领域的布局,《人工智能医疗白皮书》还汇编了中国在国家层面、省级层面、市级层面的人工智能医疗领域相关政策,深度分析了中国从上至下在人工智能医疗领域的布局。中国作为世界第二大经济体,于2017年7月发布《新一代人工智能发展规划》,提出发展智能治疗模式、智能医疗体系、智能医疗机器人、智能可穿戴设备、智能诊断、智能多学科会诊、智能基因识别、智能医药监管、智能疾病预测等。在国家层面的人工智能医疗政策方面,除了将医疗列入相关人工智能战略重要应用领域外,国家一直在推动人工智能医疗领域的发展,尤其在近三年相继发布关于健康医疗大数据、全国人口健康信息化、互联网医疗等的政策,为人工智能在医疗领域的发展奠定了良好的基础。在省级层面,截至2018年12月底,全国31省市中已有19个省市发布了人工智能规划,其中有16个制定了具体的产业规模发展目标,并且16个省市2020年的核心产业规模目标达到近 4000 亿,远远超过国家层面制定的目标1500亿。产业规模目标排名前五的省市分别为上海市、北京市、浙江省、广州省和四川省。
深度学习在医学影像中的研究进展及发展趋势王丽会1,2, 秦永彬1,21 贵州省智能医学影像分析与精准诊断重点实验室,贵州 贵阳 5500252 贵州大学计算机科学与技术学院,贵州 贵阳 550025摘要:医学影像是临床诊断的重要辅助工具,医学影像数据占临床数据的90%,因此,充分挖掘医学影像信息将对临床智能诊断、智能决策以及预后起到重要的作用。随着深度学习的出现,利用深度神经网络分析医学影像已成为目前研究的主流。根据医学影像分析的流程,从医学影像数据的产生、医学影像的预处理,到医学影像的分类预测,充分阐述了深度学习在每一环节的应用研究现状,并根据其面临的问题,对未来的发展趋势进行了展望。关键词:深度学习 ; 医学影像 ; 图像处理 ; 人工智能 ; 卷积神经网络论文引用格式:王丽会,秦永彬. 深度学习在医学影像中的研究进展及发展趋势[J]. 大数据, 2020, 6(6): 83-104.WANG L H, QIN Y B. State of the art and future perspectives of the applications of deep learning in the medical image analysis[J]. Big Data Research, 2020, 6(6): 83-104.1 引言医学成像已成为临床诊断的重要辅助手段,其包括计算机断层扫描(computed tomography,CT)成像、磁共振成像(magnetic resonance imaging,MRI)、正电子发射断层扫描(positron emission tomography,PET)成像、超声(ultrasound, US)成像、X射线(X-ray)成像等。如何借助大数据和人工智能技术,深入挖掘海量的医学图像信息,实现基于影像数据的智能诊断、智能临床决策以及治疗预后,已成为目前的研究热点。深度学习属于机器学习的分支,是目前实现人工智能技术的重要手段。随着深度学习技术在图像处理和计算机视觉领域的广泛应用,利用深度学习技术辅助临床诊断和决策已成为医学图像分析领域的研究重点。医学影像智能诊断的流程可大致分为3个步骤,首先获取大量高质量的图像数据,然后对图像进行预处理,最后挖掘图像信息,进行分析预测。其具体环节如图1所示。其中海量、高质量的图像数据是深度学习训练的基础,图像预处理(如配准、感兴趣区域提取)是后续分析准确度的基本保障,挖掘信息、建立预测模型是临床智能决策的关键。因此,本文将分别围绕这3个方面,阐述深度学习在医学图像处理分析流程中每个环节的主要应用现状,最后总结深度学习在医学影像研究中的发展趋势。图1 医学图像处理分析过程2 医学图像复原、重建与合成2.1 医学图像复原与重建海量、高质量的医学图像数据是利用深度学习技术实现影像精准诊断的基础。然而,由于成像设备和采集时间等因素的限制,在医学成像的过程中不可避免地会受到噪声、伪影等因素的影响。同时,针对某些成像方式,需要在成像分辨率和采集时间上进行折中,例如在CT成像中,为了降低辐射的影响,需要减少投影采集数目;在磁共振成像中,为了减少患者运动或者器官自身运动引起的伪影,需要降低K空间的采样率以减少采集时间,然而低采样率会严重影响图像的重建质量。为了获得高质量的采集图像,经常需要进行图像降噪、图像超分辨率重建、图像去伪影等复原与重建工作。下面将分别阐述深度学习在这几方面的研究现状。2.1.1 医学图像降噪基于深度学习的医学图像降噪主要应用在低剂量CT图像中。卷积降噪自动编码器(convolutional neural networkdenoise auto-encoder,CNN-DAE)是早期用于医学图像降噪的深度学习模型。该模型通过一些堆叠的卷积层,以编码和解码的方式从噪声图像中学习无噪图像,其鲁棒性较差,对噪声类型变化较为敏感。随后,Chen H等人提出RED-CNN降噪模型,将残差网络与卷积自动编码器相结合,通过跳跃连接形成深度网络,实现低剂量CT图像的降噪。同年,Kang E等人首先对低剂量CT图像进行方向小波变换,然后将深度卷积神经网络模型应用于小波系数图像,实现降噪,并使用残差学习架构加快网络训练速度,提高性能。虽然这些网络结构的降噪性能相较于传统方法得到了显著的提升,但是其网络训练均以复原CT图像与相应正常剂量CT图像之间的均方误差最小为优化目标,使得降噪图像存在细节模糊和纹理缺失等问题。为了解决这一问题,研究者提出改进损失函数和模型结构的方法来优化低剂量CT图像的降噪效果。WGAN-VGG模型通过引入感知损失,采用WGAN(Wasserstein generative adversarial network)模型进行降噪,利用Wasserstein距离和感知损失提高降噪图像与真实图像的相似性。基于WGAN-GP(gradient penalty)的SMGAN (structurally-sensitive multi-scale generative adversarial net)模型将多尺度结构损失和L1范数损失结合到目标函数中,并利用相邻切片之间的信息降噪,其结果优于WGAN-VGG模型。但是梯度惩罚的使用削弱了生成式对抗网络(generative adversarial network,GAN)的表示能力。为了解决这个问题,Ma Y J等人提出基于最小二乘生成对抗网络(least-square GAN,LS-GAN)的残差生成器结构,通过引入结构相似度和L1范数损失来提高降噪能力,生成器负责学习噪声,降噪图像为生成器的网络输入与网络输出的相减结果。除了生成模型,为了提高降噪效果,Yin X R等人同时在投影域和图像域采用3D残差网络进行降噪,并利用滤波反投影重建算法,实现投影域和图像域的相互转化,通过迭代的思想实现图像降噪。Wu D F等人提出一致性神经网络模型,实现了无监督的图像降噪方法,其不需要无噪图像标签,仅利用有噪图像对模型进行训练,从而获得降噪图像。可以看出,在利用深度学习进行降噪时,常需要利用有噪图像和无噪图像来训练模型,学习噪声类型,或者学习无噪图像与有噪图像之间的对应关系,进而实现图像降噪。这种方式具有一定的局限性,在临床的某些应用上,很难获得真实的无噪图像。因此,如何采用无监督或者自监督模型,仅利用有噪图像实现医学图像降噪将是未来研究的主要方向。2.1.2 医学图像超分辨率重建高分辨率的医学图像可以提供更多的临床诊断细节,然而由于采集设备的限制,临床上高分辨率图像较难获取。因此,如何利用深度学习技术从一幅或者多幅低分辨率医学图像中获得高分辨率图像成为当前主要研究热点之一。随着深度学习模型在自然图像超分辨率重建中的成功应用,采用深度学习模型进行医学图像超分辨率重建的研究逐渐开展起来。然而,医学图像与自然图像有本质的区别,其超分辨率重建不仅需要在图像切片平面上进行,还需要在切片之间进行,如图2所示。图2 医学图像超分辨率图像示意图(此图部分来自参考[9] )除了将自然图像中的超分辨率重建模型直接应用到医学图像,Oktay O等人采用深度残差卷积网络从多个2D心脏磁共振(magnetic resonance,MR)图像中重建出3D高分辨率MR图像,提高了层间分辨率。Pham C H等人将SRCNN模型拓展到3D,以实现脑部MR图像的超分辨率重建。McDonagh S等人提出对上下文敏感的残差网络结构,可以得到边界和纹理清晰的高分辨率MR图像。Zheng Y等人提出多个Dense模块和多路分支组合的MR高分辨重建模型,该模型具有较好的重建结果和泛化能力。Zhao X L等人提出通道可分离的脑部MR图像高分辨率重建模型,一个通道采用残差结构,一个通道采用密集连接结构,实现了特征的有效利用,从而提高高分辨率图像的重建质量。Tanno R等人结合3DSubpixelCNN和变分推论实现了磁共振扩散张量图像的超分辨率重建。Peng C等人提出空间感知插值网络(spatially aware interpolation network,SAINT),充分利用不同切面的空间信息提高超分辨率图像的重建质量,该模型在对CT图像进行2倍、4倍和6倍分辨率重建时,均取得了较好的结果。Shi J等人提出一种多尺度全局和局部相结合的残网络(multi-scale global local resial learning,MGLRL)模型,实现了MR图像的超分辨重建,该模型可以增强图像重建细节。Lyu Q等人采用GAN实现了多对比度MR图像的超分辨率重建。与医学图像降噪相似,基于深度学习的超分辨率图像重建需要低分辨率图像样本和高分辨率图像样本对对网络进行训练。通常采用下采样的方式进行高/低分辨率图像样本对的构造。然而针对不同模态的医学成像,其成像原理大不相同,高分辨率和低分辨率之间的对应关系也不尽相同。因此,采用人工下采样的方式获得训练数据,学习低分辨率图像与高分辨率图像的对应关系,很可能与实际采集中低分辨率图像与高分辨率图像的对应关系不相符,进而导致重建的高分辨图像无意义,因此如何构建符合实际的高/低分辨率图像样本对是利用深度学习进行超分辨重建的难点。2.1.3 医学图像重建医学图像重建是指将采集的原始数据重建为临床上可视图像的过程,如CT采集的原始数据为投影图像,MR采集的原始数据为K空间数据,需要重建算法才能获得临床上用于诊断的图像。在实际应用中,由于一些采集条件的限制(如在CT中尽量减少投影数目,缩短采集时间,以降低辐射影响;在MR成像中,减少K空间填充数目,缩短采集时间,以避免患者的不适或者由患者运动带来的图像伪影),需要降低原始数据的采集率。然而,降低原始数据的采集率必然会影响图像的重建质量。因此,研究合适的重建算法,保证在原始数据低采样率下仍能获得高质量的重建图像,成为医学图像重建中的研究重点。目前采用深度学习模型进行医学图像重建的方法主要分为两类:一类是从原始数据直接到图像的重建,另一类是基于后处理的方式提高重建图像的质量。第一类方法的代表模型有:ADMM-Net,其用深度迭代的方式学习传统交替方向乘子(alternating direction method of multipliers,ADMM)优化算法中的超参数,可以直接从欠采样的K空间数据中重构出MR图像;Adler J等人提出对偶学习模型,用其代替CT重建中的滤波反投影方法,实现了投影数据到CT图像的准确重建;Cheng J等人在此基础上提出原始-对偶网络(primal-al network, PD-Net),实现了MR图像的快速重建;Zhang H M等人提出JSR-Net(joint spatial-Radon domain reconstruction net),利用深度卷积神经网络模型,同时重建CT图像及其对应的Radon投影变换图像,得到了比PD-Net更好的重建结果。第二类方法是目前主要的重建方式,即采用图像去伪影的后处理模型进行重建。用于图像降噪、超分辨重建的模型都可以用于该类型的图像重建,如Lee D等人提出带有残差模块的U-Net模型结构来学习重建图像与原始欠采样图像之间的伪影;随后,他们又提出利用双路U-Net模型对相位图像和幅度图像进行重建,进而提高了MR图像的重建质量;Schlemper J等人采用深度级联的卷积神经网络(convolutional neural network,CNN)模型,学习动态MR图像采集的时序关系,进而在快速采集下提高动态MR图像的重建质量;Han Y等人采用域适应微调方法,将CT图像重建的网络应用到MR图像重建上,可以实现高采样率下的准确重建;Eo T等人提出KIKI-Net,同时在K空间和图像空间域上使用深度学习网络进行重建,提高了MR图像重建的性能;Bao L J等人采用一个增强递归残差网络,结合残差块和密集块的连接,用复数图像进行训练,得到了较好的MR图像重建结果;Dai Y X等人基于多尺度空洞卷积设计深度残差卷积网络,以较少的网络参数提高了MR图像的重建精度;受到GAN在视觉领域成功应用的启发,Yang G等人提出一种深度去混叠生成对抗网络(DAGAN),以消除MRI重建过程中的混叠伪影;Quan T M等人提出一种具有周期性损失的RefinGAN模型,以极低的采样率提高了MR图像的重建精度;Mardani M等人基于LS-GAN损失,采用ResNet的生成器和鉴别器来重建MR图像,获得了较好的可视化结果。图像降噪、图像超分辨率重建、图像重建等均属于反问题求解。因此,其模型可互相通用,本文不对其进行一一阐述。2.2 医学图像合成2.2.1 医学图像数据扩展目前,临床上医学图像合成主要有两个目的。其一,扩展数据集,以获得大量医学影像样本来训练深度学习模型,从而提高临床诊断和预测的准确度。尽管已有很多数据扩展方法,如平移、旋转、剪切、加噪声等,但是其数据扩展方式无法满足数据多样性的需求,在提升深度学习模型的预测精度以及泛化能力上仍有待提高。其二,模拟成像。由于不同模态的医学图像可以提供不同的信息,融合不同模态的医学影像信息可以提高临床诊断精度。然而同一个病人的多模态影像信息很难获取,此时图像合成便提供了一种有效的手段。此外,某些新兴的成像技术对成像设备具有较高的要求,仅少数的医院及科研机构可以满足要求,因此图像合成为获取稀缺的影像数据提供了可能。随着GAN模型在自然图像合成上的成功应用,应用GAN的衍生模型进行医学图像合成已成为近几年的研究热点。在医学图像数据集扩展方面,主要采用无条件的GAN模型进行合成,即主要从噪声数据中生成医学图像。常用的方法是以深度卷积生成对抗网络(deep convolutional GAN,DCGAN)为基线模型进行改进。如Kitchen A等人基于DCGAN模型成功地合成了前列腺的病灶图像;Schlegl T等人基于DCGAN提出一种AnoGAN模型,用来生成多样的视网膜图像,以辅助视网膜疾病的检测;Chuquicusma M J M等人采用DCGAN模型生成肺结节数据,其结果可达到临床放射科医生无法辨别的程度;Frid-Adar M等人使用DCGAN生成了3类肝损伤(即囊肿、转移酶、血管瘤)的合成样本,以提高肝病分类的准确性;Bermudez C等人采用DCGAN的原有训练策略,生成了高质量的人脑T1加权MR图像。尽管DCGAN在医学图像合成上取得了众多有价值的成果,但其仅能合成分辨率较低的图像。为了提高医学图像合成的质量,一些改进的GAN模型被提出,如Baur C等人采用LAPGAN,基于拉普拉斯金字塔的思想,利用尺度逐渐变化来生成高分辨率的皮肤病变图像,该方法生成的图像可以有效地提高皮肤疾病分类的准确性。此外,基于渐进生长生成对抗网络(progressive grow GAN,PGGAN)在高分辨率图像合成方面的优势,Korkinof D等人利用PGGAN合成了分辨率为1 280×1 024的乳腺钼靶X光图像。2.2.2 医学图像模态转换医学图像的模态转换合成可以分成两类。一类是单模态的转换,如低剂量CT到普通计量CT图像的转换提出上下文感知生成模型,通过级联3D全卷积网络,利用重建损失、对抗损失、梯度损失,采用配对图像进行训练,实现了MR图像到CT图像的合成,提高了合成CT图像的真实性。除了级联模型,在多模态图像转换任务中,常采用的深度模型网络架构为编码-解码结构,典型代表为Pix2Pix以及CycleGAN模型。如Maspero M等人采用Pix2Pix的网络结构,实现了MR图像到CT图像的转换,进而实现放化疗过程中辐射剂量的计算;Choi H等人基于Pix2Pix模型,从PET图像生成了结构信息更加清晰的脑部MR图像。尽管Pix2Pix模型可以较好地实现多模态图像的转换,但是其要求源图像与目标图像必须空间位置对齐。这种训练数据在临床上是很难获取的。针对源图像和目标图像不匹配的问题,通常采用CycleGAN模型进行图像生成。Wolterink J M等人使用不配对数据,利用CycleGAN从头部MRI图像合成了其对应的CT图像,合成图像更真实。目前,CycleGAN已成为多模态医学图像转换中广泛采用的手段,如心脏MR图像到CT图像的合成、腹部MR图像到CT图像的合成、脑部C T图像到M R图像的合成等。然而CycleGAN有时无法保留图像的结构边界。Hiasa Y等人引入梯度一致性损失,对CycleGAN模型进行了改进,该损失通过评估原始图像与合成图像之间每个像素梯度的一致性来保留合成图像的结构边界,进而提高了合成图像的质量。3 医学图像配准与分割在很多医学图像分析任务中,获得高质量的图像数据后,经常需要对图像进行配准,并对感兴趣区域进行分割,之后才能进行图像分析和识别。本节分别对深度学习在医学图像配准以及分割领域的应用进行详细的阐述。3.1 医学图像配准图像配准是对不同时刻、不同机器采集的图像进行空间位置匹配的过程,是医学图像处理领域非常重要的预处理步骤之一,在多模态图像融合分析、图谱建立、手术指导、肿瘤区域生长检测以及治疗疗效评价中有广泛的应用。目前,深度学习在医学图像配准领域的研究可以分成3类,第一类是采用深度迭代的方法进行配准,第二类是采用有监督的深度学习模型进行配准,第三类是基于无监督模型的深度学习配准。第一类方法主要采用深度学习模型学习相似性度量,然后利用传统优化方法学习配准的形变。该类方法配准速度慢,没有充分发挥深度学习的优势,因此近几年鲜见报道。本文主要集中介绍有监督学习和无监督学习的医学图像配准。基于有监督学习的配准在进行网络训练时,需要提供与配准对相对应的真实变形场,其配准框架如图3所示。网络模型的训练目标是缩小真实变形场与网络输出变形场的差距,最后将变形场应用到待配准的图像上,从而得到配准结果。在有监督学习的医学图像配准中,变形场的标签可以通过以下两种方式获得:一种是将经典配准算法获得的变形场作为标签;另一种是对目标图像进行模拟形变,将形变参数作为真实标签,将形变图像作为待配准图像。在基于有监督学习的刚性配准方面,Miao S等人首先结合CNN,采用回归的思想将3D X射线衰减映射图与术中实时的2D X射线图进行刚体配准;Salehi S S M等人结合深度残差回归网络和修正网络,采用“先粗配准,再细配准”的策略,基于测地线距离损失实现了3D胎儿大脑T1和T2加权磁共振图像的刚体配准,建立了胎儿大脑图谱;随后,Zheng J N等人采用域自适应的思想,利用预训练网络实现了2D和3D射线图像配准,其设计了成对域适应模块,用来调整模拟训练数据与真实测试数据之间的差异,以提高配准的鲁棒性。在非线性配准方面,模拟非线性变形场比模拟刚性变形场困难很多,因此在基于有监督学习的非线性配准中,大多采用经典方法获得变形场,并以其为标签,对模型进行训练。Yang X等人首先以U-Net网络模型为基线结构,利用微分同胚算法获得变形场,并将其作为标签,实现2D和3D脑部MR图像的端到端配准。因为非线性变形场较难模拟,所以在监督学习中引入弱监督配准和双监督配准的概念。弱监督配准指利用解剖结构标签做配准的标记,学习变形场。Hu Y P等人使用前列腺超声图像和MR图像的结构标记训练CNN模型,学习变形场,然后将变形场施加在灰度图像上,从而实现MR图像和超声图像的配准。Hering A等人采用相似度测量和组织结构分割标签,同时训练配准网络,提高了心脏MR图像的配准精度。双监督配准是指模型采用两种监督形式的损失函数进行训练,如Cao X H等人在进行MR图像和CT图像配准时,先利用生成网络将MR图像转换为其对应的CT图像,将CT图像转换为其对应的MR图像,在配准的过程中,同时计算原始MR图像与生成MR图像之间的相似性损失以及原始CT图像与生成CT图像之间的相似性损失,通过两种损失的优化,提高配准的精度;Fan J F等人结合有监督模型损失和无监督模型损失,实现了脑部MR图像的准确配准。有监督学习的医学图像配准的精度取决于标签的可靠性,因此,如何生成可靠的标签并设计合适的损失函数,是有监督学习的医学图像配准中待解决的难点。图3 有监督深度学习医学图像配准框架随着空间变换网络(spatial transformer network,STN)的问世,利用无监督深度学习模型进行医学图像配准成为研究热点。其配准网络框架如图4所示。Yo o I等人结合卷积自动编码器(convolutional auto-encoder,CAE)和STN模型,实现了神经组织显微镜图像的配准,其中CAE负责提取待配准图像与目标图像的特征,基于该特征计算相似性损失,结果表明,该种损失能取得较好的配准结果。2018年,Balakrishnan G等人提出VoxelMorph网络结构,以U-Net为基线模型,结合STN模块,实现了MR图像的非线性配准;随后,其对模型进行了改进,引入分割标记辅助损失,进一步提高了配准的Dice分数。Kuang D等人提出空间变换模块,用于替代U-Net网络结构,在降低模型参数的前提下,实现了脑部MR图像的准确配准。Zhang J为了进一步提高无监督配准的准确度,除了相似度损失,还引入了变换平滑损失、反向一致性损失以及防折叠损失。其中,变化平滑损失和防折叠损失是为了保证变形场的平滑性。反向一致性损失在互换待配准图像与目标图像时,可保证变形场满足可逆关系。Tang K等人利用无监督网络实现了脑部MR图像的端到端配准,即网络模型同时学习了仿射变换参数和非线性变换参数。除了基于CNN模型的无监督配准,采用GAN模型进行配准也已成为一种研究趋势,即采用条件生成对抗网络进行医学图像配准。其中,生成器用来生成变换参数或者配准后的图像,判别器用于对配准图像进行鉴别。通常在生成器与判别器之间插入STN模块,以进行端到端训练。目前,基于GAN模型的医学图像配准有较多的应用,如前列腺MR图像与超声图像配准,以CycleGAN为基线模型的多模态视网膜图像、单模态MR图像配准,CT图像和MR图像配准等。在基于GAN的医学图像配准中,GAN模型或者起到正则化的作用,用来调节变形场及配准图像,或者用来进行图像转换,利用交叉域配准提高配准的性能。表1总结了典型的无监督配准模型和有监督配准模型。图4 无监督深度学习图像配准网络框架3.2 医学图像分割医学图像分割是计算机辅助诊断的关键步骤,是进行感兴趣区域定量分析的前提。随着深度学习在语义分割中的快速发展,将自然图像分割模型扩展到医学图像已成为主要趋势。在医学图像分割中,采用的主流网络框架有CNN、全卷积网络(full convolutional network,FCN)、U-Net、循环神经网络(recurrent neural network,RNN)和GAN模型。目前常用的医学图像分割模型包括2.5D CNN,即分别在横断面、失状面、冠状面上使用2D卷积进行分割,在节约计算成本的前提下,充分利用三维空间的邻域信息提高分割的准确度。FCN是深度学习语义分割的初始模型,通过全卷积神经网络和上采样操作,可以粗略地获得语义分割结果。为了提高分割细节,采用跳跃连接将低层的空间信息和高层的语义信息相结合,以提高图像分割的细腻度。FCN及其变体(如并行FCN、焦点FCN、多分支FCN、循环FCN等)已被广泛应用到各种医学图像分割任务中,且表现良好。U-Net是由一系列卷积和反卷积组成的编码和解码结构,通过跳跃连接实现高级语义特征和低级空间信息的融合,进而保证分割的准确度。U-Net及其变体(如Nested U-Net、V-Net、循环残差U-Net)在医学图像分割上取得了较好的分割结果,是目前医学图像分割的主流基线模型。RNN类分割模型主要考虑医学图像分割中切片和切片之间的上下文联系,进而将切片作为序列信息输入RNN及其变体中,从而实现准确分割。典型的模型有CW-RNN(clockwork RNN)和上下文LSTM模型,其通过抓取相邻切片的相互关系,锐化分割边缘。在此基础上, Chen J X等人提出双向上下文LSTM模型——BDC-LSTM,即在横断面双向、矢状面双向和冠状面双向上学习上下文关系,其结果比采用多尺度分割的金字塔LSTM模型要好。基于GAN的分割的主要思想是生成器被用来生成初始分割结果,判别器被用来细化分割结果。一般在分割网络中,生成器常采用FCN或者U-Net网络框架,判别器为常见的分类网络结构,如ResNet、VGG等。基于GAN的医学图像分割已经被应用到多个器官和组织的医学图像分割任务中。表2为常见医学图像分割模型所用的数据集以及其分割性能对比。4 医学图像分类及识别4.1 医学图像分类医学图像分类和识别是计算机辅助诊断(computer-aided diagnosis,CAD)的最终目标。在深度学习出现前,常采用人工定义的图像特征(如图像的纹理、形状、图像的灰度直方图等),经过特征选择后,再基于机器学习模型(如支持向量机、逻辑回归、随机森林等)进行分类。典型代表为影像组学方法,其在肿瘤的分型分期、治疗的预后预测方面取得了很多重要的成果。然而,人工定义特征以及特征选择方式很大程度上影响了分类的可靠性和鲁棒性。近年来,深度学习模型的飞速发展,尤其是CNN的广泛应用,使得利用神经网络模型自动提取和选择特征并进行分类成为主流趋势。CNN模型的不同变体已经在基于医学影像的临床疾病诊断中得到了广泛的应用,例如基于Kaggle公司的眼底图像公开数据集,Shanthi T等人使用改进的AlexNet进行糖尿病视网膜病变的分类,其精度可以达到96.6%左右;基于VG G,利用胸片进行肺结节的良恶性分类,其精度可高达99%。目前,在常见的CNN变体中,ResNet和VGG在医学影像分类中的表现最好,因此大多数的肿瘤检测、脑神经系统疾病分类、心血管疾病检测等将这两种模型作为基线模型进行研究。与自然图像数据相比,医学图像数据中满足模型训练需求的数据较少。因此,为了提高临床影像智能诊断的准确性,通过知识迁移来训练医学图像分类模型已成为主流。常见的知识迁移包含自然图像到医学图像的迁移、基于临床知识的指导迁移。在自然图像到医学图像的迁移中,主要有两种方式:一种是固定利用自然图像训练的网络模型的卷积层参数,利用该参数提取医学影像特征,然后利用该特征结合传统的机器学习方法进行分类;另一种是将自然图像训练的网络模型参数作为医学图像训练模型的初始化参数,通过微调来实现医学图像分类。除了自然图像到医学图像的迁移,还可以利用其他医学图像数据集,采用多任务学习的方式进行数据信息共享,弥补数据不足带来的分类缺陷。基于临床知识的指导迁移将临床医生诊断的经验(如医生的经验学习方式、影像诊断方式以及诊断关注的图像区域和特征等)融入模型,根据临床医生诊断的经验,即先掌握简单的疾病影像诊断,再进行复杂疾病诊断,研究者们提出了“课程学习”模型,将图像分类任务从易到难进行划分,模型训练先学习简单的图像分类任务,再学习较难的分类任务。基于该方式的学习可以提高分类的准确度。基于医生诊断的方式(如迅速浏览全部医学图像,再选择某些切片进行诊断),研究者提出基于全局和局部的分类模型,其在胸片和皮肤疾病的诊断上取得了较好的效果。基于诊断时关注的影像区域,带有注意力机制的分类模型被提出,典型的代表有AGCNN(attention-based CNN for glaucoma detection)、LACNN(lesion aware CNN)和ABN(attention branch network),通过引入注意力,网络可以关注某些区域,从而提高分类的精度。此外,根据医生诊断用到的经验特征,如肿瘤的形状、大小、边界等信息,将人工定义的特征与深度模型提取的特征进行融合,提高医学图像的分类精度,也是一种趋势。如Majtner T等人将人工特征分类结果与深度学习分类结果进行融合,提高了皮肤癌分类的准确度;Chai Y D等人将人工特征和深度学习特征进行融合并训练分类器,从而实现青光眼图像的分类;Xie Y T等人将人工提取的特征图像块与深度学习图像块同时作为ResNet模型的输入,实现肺结节的准确分类。如何将深度学习特征与传统人工特征进行有效的融合,是该类模型设计的难点。4.2 医学图像目标识别医学图像目标识别也属于临床诊断的一种,即在一幅图像中标记出可能病变的区域,并对其进行分类,如图5所示。图5 医学图像目标识别示意图传统的人工标记识别费时费力。最初将深度学习模型应用于目标识别时,主要是将图像分成小块,逐块输入由CNN等组成的二分类模型中,判断其是否属于目标区域。随着深度学习模型在目标检测领域的快速发展,尤其是Fast R-CNN模型和Mask R-CNN模型的出现,将整幅医学图像输入模型,即可一次找到所有可能的目标区域。但是在这两类模型中均存在一个区域建议模块和一个分类模块,二者需要进行迭代更新,模型的速度并不能满足临床的实时性要求。YOLO(you only look once)和SSD(single shot multibox detector)模型的问世解决了目标检测的实时性问题。基于此类模型,Lin T Y等人提出RetinaNet模型,并将其扩展应用到病理图像和钼靶图像乳腺肿瘤识别、CT图像的肺结节检测中。上述模型均针对2D图像进行目标检测,忽略了3D图像中切片和切片之间的空间信息。为了提高识别的准确度,基于RNN和LSTM的识别模型被应用到医学图像中。此外,在医学图像目标识别中,同样存在数据不充足的问题。为了解决这个问题,基于迁移学习的医学图像识别逐渐开展起来,如基于ImageNet数据进行模型迁移,实现肺结节、乳腺癌和结直肠息肉的检测。同时,基于临床经验知识指导的迁移学习也被应用到医学图像的目标检测中。典型代表有AGCL模型,其基于注意力的课程学习,实现胸片中的肿瘤检测;CASED (curriculum adaptive sampling for extreme data imbalance)模型,其可检测CT图像中的肺结节;特征金字塔模型(feature pyramid network,FPN),其采用不同对比度的图像,利用多尺度注意力模型实现肿瘤检测。图像分类和图像目标识别是医学影像临床诊断的最终目标,是目前人工智能技术与临床紧密结合的研究方向。笔者仅对分类识别的几种情况进行了阐述,以便掌握其发展方向。表3给出了肿瘤分类中常用的医学图像数据集以及深度学习模型,并对比了其分类性能。5 结束语本文从医学图像数据产生、医学图像预处理,以及医学图像识别和分类等方面,阐述了深度学习模型在医学图像分析领域的应用现状。尽管深度学习模型(如CNN、LSTM、GAN、注意力机制、图模型、迁移学习等)在医学图像分析中已取得众多突破,然而将深度学习应用于临床,辅助临床进行精准诊断和个性化治疗仍受到以下几方面的限制。首先,现有的深度学习模型对影像数目和质量有较高的要求,而临床上带有标记的医学影像数据难以获取,且目前临床诊断预测常使用的方法是有监督学习,数据的不充足势必会影响预测的准确性和稳定性。因此,如何在只有少量有标签数据的情况下,采用弱监督、迁移学习以及多任务学习的思想,提高分类预测的准确度,将是持续的研究热点。其次,临床应用对可解释性要求较高,而目前深度学习模型所学习的特征无法进行有效的解释。尽管现阶段已有研究学者提出采用可视化以及一些参数分析来对模型和结果进行解释,但是与临床需求中要求的形成可解释的影像学标记还有一定的距离。因此,研究深度学习模型的可解释方法将是医学图像领域的研究热点。最后,如何提高模型预测的鲁棒性是待解决的难点。现有深度学习模型多数仅针对单一数据集效果较好,无法在不训练的情况下,较好地预测其他数据集。而医学影像由于采集参数、采集设备、采集时间等因素的不同,相同疾病的图像表现可能大不相同,这导致现有模型的鲁棒性和泛化性较差。如何结合脑认知思想改进模型结构以及训练方式,提高深度学习模型的泛化能力,也是医学图像应用领域中待研究的关键问题。作者简介王丽会(1982-),女,博士,贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室副教授,主要研究方向为医学成像、机器学习与深度学习、医学图像处理、计算机视觉 。秦永彬(1980-),男,博士,贵州大学计算机科学与技术学院、贵州省智能医学影像分析与精准诊断重点实验室教授,主要研究方向为大数据治理与应用、文本计算与认知智能。联系我们:Tel:010-81055448010-81055490010-81055534E-mail:bdr@bjxintong.com.cn
通过深度学习、机器学习等人工智能技术,能够对医学影像进行无监督或者半监督的自动化分析,提升医学影像临床诊断效率,深入发掘影像数据中潜藏的医疗与科研价值。医疗行对医学影赛道像诊断的准确度与诊断效率要求在日益增长,传统医学影像科室无法满足国内日益增长的患者需求,由于硬件算业力和算法模型的飞速发展,医学影像中人工智能技术的应用成为必然趋势。人工智能技术对医学影像系统智能化升级体现在:医学影像软件系统诊断及分析功能的升级、医学影像成像设备的升级、助力医学科研工作等方面。自2016年以来,大量初创公司和行业巨头开始加速探索人工智能技术在医学影像领域的商业化应用,医学影像人工智能成为热门投资。作者 | 付海天、田辰一、全球及中国医学影像市场规模据Zion Market Research测算,全球影像诊断市场在2016-2021年年复合增长率(CAGR)约为6.0%,预计在2021年市场规模将达335亿美元。据Signify Research报告显示,全球人工智能医学影像市场有望将在2023年达到20亿美元规模。海通证券等多家机构预测,到2020年国内医学影像市场规模将达6000-8000亿元。据机器之心数据统计,2016年中国医学影像相关企业(包含医学影像业务的通用型人工智能公司)累计融资额约63亿人民币,之后呈现快速增长趋势,2018年融资额度创历史新高,高达约300亿人民币,企业产品创新研发投入持续加码,诊断产品覆盖病种达近百种。中国医学影像相关产品/解决方案服务商年度融资额二、人工智能技术对医学影像行业的影响医学影像数据感知及分析:医学影像的处理本质上就是计算机视觉技术在医疗行业的应用,涉及医学图像分割、图像配准、图像融合、图像压缩、图像重建等多个领域。人工智能的作用主要体现在对于经过一定计算机视觉技术处理后的图像数据进行进一步的智能化分析,辅助医生进行标注、诊断或者手术工作。医学影像数据与其他类型数据融合处理及分析:医学影像能够展现患者身体特定部位的结构特征和代谢情况,具有大量图像数据信息供计算机进行分析,如果将医学影像数据结合患者的生理体征、病史、基因信息、身份信息等非图像数据,通过人工智能算法模型进行训练和应用,则能够帮助计算机从更高维度来分析数据和提取重要特征,更加全面展现疾病背后的隐含关联因素,辅助医生对疾病状况进行更精准的分析诊断。影像数据挖掘加速医疗科研过程:医学影像数据挖掘指从存放在数据库或其他信息库中的大量影像数据中挖掘有价值信息的过程,其目的是寻找影像数据背后的关联和模式。计算机辅助诊断(CAD)系统的原始处理对象为医学影像信息数据库 , 对影像信息进行数据挖掘和知识发现, 能够发现其中的诊断规则和模式,加速医疗科研过程。三、人工智能技术在医学影像中的应用分布四、医学影像中人工智能技术落地案例简述腾讯觅影:腾讯觅影利用腾讯优图在大数据、图像识别与深度学习方面的技术,对早期肺癌的敏感度(识别正确率)达到 85% 以上,在良性肺结核的特异性(识别正确率)超过 84%,对于直径大于 3mm 小于 10mm 的微小结节检出率超过 95%。博为软件:博为肝脏三维手术规划系统解决了肝脏切除手术方案设计困难问题,通过对原始的CT数据进行后处理重建为三维立体图像,精准肝脏分割与分段,自动提取肿瘤病脏,直观地展示肝脏肿瘤、肝段、肝脏内部复杂的管道解剖结构,对病例进行量化分析,并自动生成临床脏器定量分析报告。Curexo:由美国 Curexo 公司制造的Robodoc主要用于膝关节和髋关节置换手术。RoboDoc 包括两部分:手术规划软件和手术助手,分别完成 3D 可视化的术前手术规划、模拟和高精度手术辅助操作。RoboDoc机器人采用了四轴直角坐标工业机器人本体,使用患者股骨上插入的钛金属定位针来实现机器人与患者骨骼的相对定位,精度达到了0.1mm。RoboDoc主要用于关节置换术中辅助骨骼和假体的成形、定位和植入,可提高全膝(髋)置换手术的质量。深思考:基于宫颈细胞学领域知识,通过深度学习、机器学习、医学图像处理等技术提取宫颈细胞的关键特征,自动分割团簇重叠细胞,快速识别涂片上病变细胞的分级类别,实现宫颈细胞涂片的辅助阅片。深思考人工智能辅助阅片机器人可在100秒内完成单张涂片的阅片,适配国内多种制片方法,其中鳞状上皮细胞异常敏感性约为98.4%,特异性约99.77%,腺细胞异常敏感性约为93.4%,特异性接近90%。五、医学影像领域人工智能技术发展所遇瓶颈1. 影像数据分散在各个机构:影像数据是训练影像智能诊断算法模型所需的核心资源,但大量的影像数据分散在各个医院、影像中心、研究机构,不易被高效整合利用。2. 影像训练数据集标注结果存在主观差异:不同医生对图像的理解存在主观差异性,造成标注结果的不确定性,导致影像训练数据集的标注结果受到主观因素的影响。3. 人工智能算法模型适用的影像类型有待拓展:目前人工智能影像诊断主要集中在X光、CT、病理领域,而在超声、MRI、PET、红外等影像领域应用较少。六、医学影像领域人工智能技术发展的未来趋势1. 医学影像技术进一步发展:医学影像系统中成像设备技术升级、影像设备图像处理算力增加、智能诊断软件集成病种增多、影像数据融合应用、迁移学习加速影像诊断模型训练。2. 人工智能在医学影像应用领域不断拓宽:除疾病的鉴别诊断外,还可应用于分子及细胞层面图像处理、应用于介入影像学、助力非外科手术方法诊断及治疗等。3. 医学影像产业升级:区域影像数据中心建设促进区域级别影像数据流转及应用,医学影像专家团队开发模型评估体系与统一标准作为产业界产品标准等。* 本文为「智周」系列报告「核心版」,相应「深度版」的推出计划将在后续公布,敬请大家关注。针对「医学影像中人工智能应用现状及展望」这一主题,有哪些方向或主题,你希望在报告深度版中读到更详细的阐述与分析,欢迎留言,这将成为我们制作报告深度版的重要参考。
大数据支撑下的智能医疗正在成为现实,预约、就诊、缴费、筛查……患者在网上获得服务的可及性越来越高。“互联网+医疗”逐渐改变人们的就医行为,同时,医疗新技术为行业持续赋能,改变了繁琐的看病、筛查等流程,这是近年来百姓看病的切身体会,新形势下,庞大的医疗机构积极顺应大环境,和更多第三方科技、互联网等平台展开合作,为医生和患者打造更多好帮手,用新技术让医疗变得不再复杂。“互联网+”有助于提升服务效率看病过程中,老百姓最关心的还是流程问题,少折腾是重要的目的。近日,中国社科院健康业发展研究中心、银川互联网+医疗健康协会等共同发布“2019全国医院互联网影响力”研究结果:大数据支撑下的研究表明“互联网+医疗健康”有助于缓解就医难。该研究显示,“互联网+医疗健康”提高了医疗服务效率,让患者少跑腿、更便利,使更多群众能分享到优质医疗资源。同时,“互联网+医疗健康”也为医疗机构的良性发展插上了翅膀,大大拓展其医疗服务空间和内容,提升其影响力。中国社科院人口与劳动经济研究所党委书记钱伟在介绍研究背景时表示,随着社会经济发展以及人口老龄化进程,百姓对医疗健康的需求益增长。与此同时,我国医疗资源,尤其是优质资源,一直相对短缺,且主要集中于大城市。这一供需矛盾急需新技术、新式加以应对。于是,“互联网+医疗健康”的创新逐渐兴起。在政策的加持下,“互联网+医疗健康”的各种实践扑面而来,正在迅速改变我国医疗的面目。为了更好地把握现状并为未来参考,中国社科院健康业发展研究中心成立“医院互联影响课题组”,进行专项研究。该中心副主任、课题组组长陈秋霖说,公立医疗与互联网第三方平台的结合,以及患者在互联网平台上的真实行为轨迹,为评估公立医疗机构对互联网的融入程度提供了一个视角。该中心以这个视角,运用大数据分析的方法,对中国“互联网+医疗健康”的推进成效,做了一次评估研究。据了解,该研究选取主流互联网医疗第三方平台——好大夫在线为样本,数据覆盖全国 9852 家公立医院,509.4亿次患者浏览轨迹,5700万名患者的在线问诊记录,3.1亿次医患交流,429.8万条患者在医院就诊后的线上评价。数据显示,互联网医疗服务供给量不断增加,患者在网上获得服务的可及性越来越高。研究还发现,互联网不仅是患者的好朋友,也是医疗机构的好帮手。越来越多的医疗机构正在积极拥抱互联网。人工智能开始服务更多医疗机构人工智能在医疗领域的应用已经不再稀奇,更多时候,它成为医生的好帮手,提高了接诊效率,也帮助一些年轻医生更快地成长起来,业内聚焦医疗人工智能发展的资本与平台并不少。更多创新服务平台与项目逐步落地,各地医疗机构纷纷参与进来,由青岛市科技局批建、百洋智能科技股份有限公司牵头承建的“青岛医疗人工智能科技创新中心”(以下简称“科创中心”)已经正式揭牌成立,目前中心运行顺利,同时,依托百洋医药集团多年打造的健康产业资源融合平台建立的“青岛国际大健康产业化基地”也举行揭牌,力促科研成果的转化及落地,推动我国医疗人工智能产业的发展。根据计划,到2022年,“科创中心”将开发并转化智能辅助诊疗、AI医学影像、诊后智能管理等人工智能核心产品或系统10项以上,服务医疗机构200家以上。据了解,“科创中心”与清华大学临床医学院、中科院信息产业研究院精准医学研究所、北京大学人民医院、首都医科大学附属宣武医院等11家机构及单位合作签约。据悉,“科创中心”将打造成为综合性、开放型的医疗AI创新平台,助力激活和整合人工智能行业优势创新资源,完成我国自主知识产权人工智能产品的建设,开发具有真实应用场景的智能辅助诊疗、AI医学影像、诊后智能管理等人工智能核心产品或系统,并实现相关成果的转化与应用落地,打造国际先进、国内领先的医疗人工智能产业集群。创新成果让早预防成为现实聚焦健康产业创新与发展,近日,第五届北京大学生命科学全球产业高峰论坛开幕。来自8个国家和地区的230余位参会代表齐聚杭州,共赴这场生命科学、生物医学、健康产业融合的盛宴。诺辉健康CEO朱叶青表示,21世纪是生命科学的世纪,作为我国生命科学的最高学府,北京大学生命科学全球产业高峰论坛的举办具有重要的现实意义和战略意义。作为北京大学生命科学学院的核心品牌活动之一,全球产业高峰论坛走过了5年的历程,已经成为“学、研、产、资”(教学、科研、产业、资本)深度融合的全链条的盛会。业内专家认为,医疗发展之路,会从依赖于单个医生、以治疗疾病为目的走向,变成有针对性、依赖大数据分析的以预防疾病为宗旨的新型模式,所有的变革和颠覆都离不开革命性的技术——大数据。在朱叶青看来,人工智能将会发挥越来越大的作用,诺辉健康其实就是一家“大数据+全民医疗”创新企业。对大数据、人工智能的应用,有望成为企业未来发展的“能量源”和“加速器”。本届论坛由北京大学生命科学学院与北京大学生命科学学院校友会主办,北京大学讲席教授、北京大学生命科学学院院长吴虹表示,北京大学生命科学学院是国内综合实力最强的生命科学研究与教育机构之一,学院一直在积极探索校地合作、校企合作、校友合作等多种形式的发展模式,例如在江苏启东建立了北京大学生命科学华东产业研究院,设立了生命科学学院百年发展基金。朱叶青表示,在服务健康中国战略上,相信北京大学生命科学学院将发挥重要作用。诺辉健康将加强与北京大学生命科学学院的合作,促进学院科研成果转化,推动癌症早期筛查领域前沿技术的市场化。(文/房磊)
为促进川东北地区医学影像专业高质量发展,提高影像专业技术水平,更新医学影像基础知识,推进影像与临床的交流融合,由南充市医学会和南充市高坪区人民医院(南充市第五人民医院)主办、南充市高坪区放射医学质量控制分中心和南充市临床医学影像诊断中心高坪分中心承办的省级继续医学教育项目"医学影像基础与临床应用培训班"暨南充市高坪区放射医学质控年会,于2020年10月23至24日在南充天来大酒店举行。川东北医学影像及卫生健康管理专家 教授 学者来到现场专题讲座 案例分享南充市医学影像与临床应用专业医护人员300人参加会议2020年南充市高坪区放射医学质控分中心年会,于10月23日在南充天来大酒店召开。分中心业务主任任龙主持会议,总结汇报分中心近一年的工作情况,各成员就分中心的工作提出建议并讨论。分中心行政主任任忠怀作总结发言,并提出下一步工作要点要求。川北医学院附属医院、四川省卫健委政策与医学情报研究所、四川省人民医院、成都市第三人民医院、遂宁市中心医院、南充市中心医院等多家医院与卫生研究机构的专家、教授,分别作题为《急性胰腺炎病程的动态变化及影像学评价》、《新冠肺炎的病理改变与影像学诊断的意义》、《科研成果评价和重点学科建设情况介绍》、《急腹症的影像学诊断》、《吸烟相关肺间质性疾病影像诊断》、《MRI弥漫成像临床应用进展》、《结缔组织相关间质性肺疾病的影像学特点》、《急性主动脉综合征》、《骨肉瘤的影像诊断》、《磁共振T2信号的临床解读》的专题讲座。南充市高坪区人民医院院长助理、影像中心主任任龙副主任医师,放射科主任刘宁川副主任医师,放射科副主任廖歆副主任医师,放射科副主任陈少贤副主任医师及部分兄弟单位专家应邀担任嘉宾主持。南充市高坪区医学影像质控分中心行政主任南充市高坪区人民医院纪委书记任忠怀主任医师主持开班式 致欢迎辞 作总结发言与会人员聆听了专家教授的专题讲座,收获了医学影像学的最新进展,巩固了医学影像学的基础知识,强化了医学影像学的临床应用,增进了同行间的交流友谊。本次学术会的成功举办,将进一步提升区域医学影像技术水平,促进和推动川东北地区医学影像专业高质量发展和影像与临床的交流融合!南充市高坪区人民医院放射科简介南充市高坪区人民医院放射科经过几代人的共同努力,40余年的风雨历程,现已发展成为集医疗、教学、科研、健康体检为一体的重要临床医技科室之一,是四川省甲级医学重点专科、南充市临床重点专科、南充市临床医学影像诊断中心高坪分中心、南充市放射医学质控中心高坪分中心,近年来获省市科研课题立项14项、市区科技成果6项、市政府科技进步奖2项、区政府科技进步奖3项。放射科电话:0817-3363107(放射科办公室)0817-3341193(磁共振室)(南充市高坪区人民医院 党委办图文 田卫东编审)
主讲导师 | 罗晟本文编辑 | 梁家祥7月24日,智东西公开课推出的超级公开课NVIDIA专场进行完第十二讲,由NVIDIA深度学习解决方案架构师罗晟主讲,主题为《医疗领域的深度学习》。罗晟老师系统讲解了深度学习在医疗影像、基因分析、药物研发及疾病诊断等医疗领域的应用及其背后所使用的深度学习技术特点。以下是罗晟老师的主讲实录和提纲,共计13549字,预计14分钟读完。大纲:1.深度学习在医疗领域发展现状及常见应用场景2.深度学习加速药物研发3.深度学习加速基因研究4.深度学习加速疾病诊断5.医疗领域英伟达解决方案平台主讲实录罗晟:大家好,我叫罗晟,来自NVIDIA的深度学习解决方案架构师。今天很高兴能够在这里和大家分享医疗领域的深度学习应用,以及NVIDIA为医疗领域提供的解决方案平台,希望今天的分享能给大家带来帮助,也希望本次分享可以起到抛砖引玉的作用,让各位能够为整个行业带来新的创意,帮助大家用AI和GPU加速医疗行业的应用,为医疗领域提供新的方案。在正式开讲之前,我想先给大家分享一个关于医疗领域创业的故事,为什么要用深度学习做医疗呢?大家知道现在深度学习很火,但是并不是火什么,我们就应该做什么,我们用深度学习来做医疗,肯定有其背景原因,有它带来的好处。在美国,有这样一个深度学习应用的案例,就是一个工程师,带着自己的父亲去看病,医生诊断出他父亲是癌症的第四期,也就是尾期,医生直接让他父亲进行化疗,之后大概经历了一到两个礼拜的化疗期,化疗之后,他父亲也掉了很多头发,人也觉得很辛苦。后来,他正好有一个朋友是医生,然后这个医生就为他爸爸做了第二次诊断,才发现上一个医生的诊断是错误的,其实他父亲只是在癌症的第一期。而癌症第一期不需要化疗,只通过药物就可以控制住。这位AI工程师就下定决心,要用AI技术来改善医疗领域,去解决由于医生的一些失误导致的医疗问题,这也是为什么我们要用AI做医疗的原因。对NVIDIA不熟悉的朋友,可能对NVIDIA的印象还停留在GPU的计算卡和游戏卡上,但其实从2007年NVIDIA提出CUDA用于作为GPU计算的编程语言开始,我们已经在医疗行业耕耘了十年。可以应用的领域除了计算之外,还有可视化,而现在,我们还可以用来做深度学习。有宝宝的小伙伴应该知道,做婴儿三维超声波检查的时候,看到婴儿的那些图像,其实从2009年西门子的超声波机器已经用NVIDIA的GPU来做渲染方面的工作。不仅如此,GE的CT扫描仪,也用到了GPU的技术,实现实时重建,直接把传感器的数据映射到图像上,这样带来的好处就是我们能直接去看到相关的图像,不仅如此,还能够对图像进行优化,我们可以使用更低剂量的x射线来实现相同质量的图像,从而减少诊断对健康带来的损害。2012年,由于AlexNet的出现,深度学习证明了其在计算机视觉方面具有非常好的性能,也就是从这个时候开始医疗行业的各个领域也逐渐开始利用深度学习,也扩展了GPU的应用领域,比如在2013年,GPU驱动的深度学习的方法,在病理切片上检测并统计有丝分裂数,击败了其他所有的技术,这个统计数据是癌症的早期指标,换句话说,用GPU之后我们能够获得更好的准确性,同时也能降低漏诊的风险。随着技术的发展,DL在医学影像领域获得过很多的成功,其实我们现在听到的大多数关于深度学习的应用都是在医疗领域。比如2014年,我们做的大脑肿瘤分析,2016年肺癌检测,这些都是在医疗领域的应用。而这些深度学习应用不仅是在商业应用、搜索里面取得的成功,而且在一些数据科学竞赛方面也取得了很好的成绩,并且两次打败其他队伍,成功完成了任务。这两次成功,一次是基于心脏MI成像自动注射量的计算,可以用来衡量心脏的运行状态。另一次是关于CT扫描中肺癌的早期检测。这些都是DL在医学影像领域取得的成功。不仅如此,最让我兴奋的是在去年NVIDIA首次参加北美放射学会,吸引了大概五万名的与会者,大部分都是放射科医师,其中有四十八个初创公司都在用深度学习或者机器学习进行医学成像。而且其中百分之九十的公司都在使用GPU。在本次会议上,DL相关文章的数量,相比往年增加了十倍,NVIDIA在会议期间进行了为期5天的DLI(NVIDIA深度学习学院)培训,平均每天培训200人。2018年NVIDIA发起了Project Clara,它的名称来源于红十字会的创立人,他的名字就是Clara 。我们希望通过Clara项目 ,帮助医疗行业利用NVIDIA GPU技术,改善人们的生活。大家知道,2012年AlexNet网络出来之后,首先在ImageNet上取得了非常好的结果,战胜了传统记忆学习的方法,当时AlexNet性能有10%的提升。而在往年,每年都是1%的性能提升。这样飞跃的性能提升确实能够丰富我们的应用种类,比如人脸识别,自然语言处理。同时对于一些商业应用来说,能够获得更精准的推荐,比如大家平时使用的今日头条新闻推荐,系统会根据你自身的的喜好为你推荐相应的内容,这就是基于深度学习来做的。对于深度学习来说,这样的精确意味着什么呢?对于其他的行业来说,准确度确实很重要,但也不是很关键,因为推荐错了,并不会对生命造成影响,但在医疗行业则不然,用更好的方法不仅仅只是提高准确度。比如在药物发现领域,可以缩短药物的整个研发周期,在医疗诊断领域,可以在最早期进行医疗诊断,减少病人的痛苦。而此时能够提高的准确度,不只是数字上的十个百分点,在医疗领域,可能会为每一个人带来更好的生活,为整个社会带来更好的未来。整个深度学习的流程,就如右边这张图所示,通过训练数据和深度学习网络训练生成一个深度学习的模型,之后对模型进行评估,再用一些新的数据来确认,验证以及测试,从而得知模型是否准确,而且通过这样一个模型,可以解决医疗领域的很多问题,至于怎么解决、未来怎么做,我会在后面详细给大家介绍。深度学习在医疗领域的应用不仅为个人带来了新的变化,同时也为社会和人类未来的发展带来了新的动力。对整个行业和研究社区来说也有一些新的变化。我们也可以看到一些趋势,也是我们所谓的深度学习动量,上图左边展示的是SPIE、ISBI、MICCAI这三个顶级会议医学影像图片领域使用深度学习文章数量这几年的比例变化,从2014年不到5%,到2017年,尤其是在ISBI上面,其比例已经超过20%,从而证明了深度学习确实能够为研究社区带来新的帮助,也确实成为了一个有用的工具。研究机构利用AI带来了新的应用和思路,解决了之前在医疗方面遇到的问题,现在有一百零六个初创公司,他们也在推动整个医疗行业去使用AI。他们可能在各个领域,比如药物发现、医学图像以及相关的自然语言处理等,丰富了整个生态环境,也希望今天的分享能够给大家带来一些新的思路,去打造在中国医疗行业的人工智能生态环境,帮助改善在未来医疗服务。说起医疗行业的深度学习,不得不考虑对医生和病人来说,他们在哪些方面可以用到深度学习。比如在看病的时候,医生怎么为病人制定治疗方案。一方面,可以了解病人的基因,因为很多疾病其实是基因的变异引起的,如果知道有基因变异的情况,就可以在最开始做一些人为干预和早期的治疗。在看病时,医生会去看病人以前的健康记录,了解病人以前的健康状况,从而帮助医生诊断病情。对患者来说,要去了解病人之间的差异,以及为什么会患病。比如有些人会患一种疾病,另外一些人不会患这种病,这样就可以用深度学习做一些基础的研究,加速药物的发现过程,因为这些疾病只出现在了一些病人身上,通过筛选,以达到更好的治疗效果。其实医生在工作期间不仅仅是为病人看病,也要去了解一些文献和法规、写论文,因为他们也需要去了解医疗行业最新的出版物,才能知道一些新的治疗方式。今年关于癌症的出版物有93393篇,到目前为止已经有350万篇论文,此时我们可以用深度学习从论文里挖掘出跟我们相关的信息,帮助医生更好的了解到一些最新的研究动态,尤其是在临床方面,可以了解到最新的论文和研究状态,以及一些最新的治疗方法,从而提出新的治疗方案,来研究能不能通过新的方法,或者一些验证过的方法去帮助病人获得更好的治疗效果。医生和病人之间是应该有互动的,医生每天会看非常多的病人,他们看病的时候,其实也是一个经验学习的过程,医生可能从A病人的治疗过程得到这样一个经验,从B病人的治疗过程中得到另一个经验。对于医生来说,他们看到了这么多东西,并不是每一个都会记住,因为人都会慢慢忘记以前的一些事情,因此我们可以用深度学习去记录以前所有的经验,并通过以前医生在看病时候的情况,去收集这些病人的信息,从而辅助医生在下一次判断中做出最优的决定,帮助医生更好把以前所看过病的经验利用起来,而不是会因为太过忙碌忘记了以前的经验去翻医疗记录。现在来看下深度学习在医疗领域的应用有哪些。首先在放射科领域,我们希望通过早期的筛选和检测,减轻病人因为放疗承受的痛苦。在国外,大家每年都会做体检,希望在早期了解自己的身体状况,把疾病治疗提到早期阶段,降低整个社会的负担,同时也减轻个人痛苦。Zebra就在做这样的工作,通过深度学习提高筛选的准确率,降低检测整体的误报率,获得更好的早期判断结果。早期诊断只是告诉我们有和无的问题,下一步要解决的问题就是有多少,如上图中间照片所展示,当诊断出肿瘤之后需要去判断肿瘤所在的部位、大小等情况,即是定量的分析,这种方式,也可以用深度学习来获得更准确的结果,并且可以降低病人治疗时的痛苦。另外一个让人非常兴奋的领域是精准医学,上图右边展示的是脑部扫描图片。在面对某些脑癌的时候,医生有能力去判断需要什么药物,问题是医生不可能在大脑上打个洞,然后去切片,再去分析,现在通过脑部的MI扫描方式,用深度学习神经网络去判断和预测患者肿瘤突变的概率,目前准确度也超过了90%,使得医生可以用精准的药物去帮助病人做治疗,减轻他们的痛苦。第二个领域是深度学习在诊所里的应用,三星和通用的扫描仪已经在使用深度学习来优化整个工作流,提高准确性。比如婴儿三维超声波检测时,可以冻结一些图像进行测量。第二个ARTERYS公司,也是首批通过FDA认证的公司。通过与GE合作,把他们的工具带到了心脏病专家那边,进行所有相关的一些检测,能够进一步提高护理质量。最后一个是PATHAI与飞利浦合作,也是第一个由FDA批准的扫描仪诊断,通过将病理图片与热力图结合,帮助病理学家分析肿瘤的情况,进一步降低病理学家诊断错误率,大约降低50%,使得病理学家在看图的时候能够更加方便。第三个是深度学习在药物发现方面的应用,第一个是deep genomics公司。他的成立要追溯到2002年,当时Brendan Frey的妻子怀孕了,在做检查的时候发现孩子有遗传缺陷,虽然只是可能,但是他们不得不终止妊娠。Brendan Frey是计算机工程的教授,所以他开始尝试把深度学习和医疗结合到一起,要解决的痛点是人群中的DNA的变异数,突变概率大于1的SNP(单核苷酸多态性)有三百万个左右,要完全的挨个调查SNP和疾病的关联非常困难,因此要建立一个数学模型导入全部的健康基因组序列和SNP序列,对模型进行训练,让模型能够学习到健康的RNA(核糖核酸)的裁剪模式,然后用分子生物学的方法验证模型,并加以校验,同时用病理数据,判断模型输出的准确性,从而理解有害基因和基因突变病理之间关系,再做一些初步筛选,把有害基因和基因突变病理关系建立起来。第二个是做分子系统的研究,在做新药研究时遇到很多挑战,HCS是指在保持细胞结构和功能完整性的前提下,同时检测被筛样品对细胞形态、生长、分化、迁移、凋亡、代谢途径及信号转导各个环节的影响, 在单一实验中获取大量与基因、蛋白及其他细胞成分相关的信息, 确定其生物活性和潜在毒性的过程,就是PHENOMIC AI要解决的。第三个也是PathAI做的,通过热力图以及药理的图片,去帮助医生更好的观测现象。最后一个是CLOUD MEDX,他们拿到了很多医疗记录,通过这些医疗的记录,实时分析病人的信息,同时通过真实的病例数据和实验数据,做健康诊断的推荐,从而帮助医生更好的做诊断,并合理进行药物的配发。在各个方面的应用讲完之后,我想深入的讲一下,目前这几个领域,用到了什么样的技术或者方法,可以帮助医生改善诊断效果。最近有一部很火的电影叫《我不是药神》,谈到了医药公司的问题现状,在最开始的专利期,他们的药会价格非常高以收回投资成本。因为在医药研发的领域,需要非常大的投资,需要非常多的人才,做非常多的实验,这些都是非常昂贵的成本。为了弥补企业成本并且达到盈利,只能在最开始的专利期收取高价,这也是为了让药物研发公司有动力继续投入研发。如果可以用深度学习的方式,或者用GPU加速整个药物的研发过程。将能够在一定程度降低药物的价格,从而去帮助整个医疗行业进入更加良性的发展阶段。既然可以用GPU和深度学习来加速,到底该怎么具体操作呢?如果有做视觉的同学,可能知道是从CNN开始,能够取得一个好的效果,其实就是从图片的分类开始。结果很简单,就是用卷积核在图片上面做卷积,然后经过各种隐藏层的计算之后,可以判断图片内容。图片是一个很简单、很规整的RGB数据 ,但是对于药物发现来说,药物的结构并不是一个规整的矩阵,该怎么来做呢?这个时候就有了所谓的Graph convolution,即图卷积。通过图卷积的方式,可以把药物的结构映射成卷积结构,映射成一个矩阵。然后就可以用CNN来做一些检测判断或者药物的发现。那么图上的卷积网络从卷积方式来说,可以分为两种,图卷积和空间域卷积,在此只对空间域卷积进行简单的介绍。图卷积是将卷积网络的滤波器和图信号,同时搬到傅立叶域之后再处理,而空间域卷积是用图中的节点在空间域进行相连达到层积的结构,从而进行卷积,获得一个好的效果,具体怎么来操作呢?跟传统方法相比,图卷积有更低的计算开销和更少的计算时间,但是也有一个难点,就是很难保证准确性。常见的图卷积算法包括NFP、Weave、GGNN以及SGCN。这些方法都已经应用到了医疗领域,并进行了一些基本的研究。空间域的卷积相对来说比较简单。以药物分子为例,其实每一个分子,都可以看成一个节点,对每个结点去寻找最开始旁边的域,一个分子会有非常多的节点,到底哪个节点,对这个分子比较重要,那肯定是连接数越多的越重要,通过这样的方式筛选出很多节点,找到每个节点邻近的几个分子;第二步,把临近的分子拼成一个感知域,之后用卷积神经网络,在感知域上做卷积操作,从而获得该卷积域的特征。做卷积时,会执行一些非线性的操作,生成一些新的特征,然后应用到节点上,图卷积的过程之后加上Batch normalization、Dropout和Relu,重复四次,就是整个图卷积的结构。通过这样的结构,就能把分子的状态应用到CNN领域。不像以前,由于分子的结构是非矩阵型的,不能够进行应用,而和应用相比能不能带来加速呢,下面我就会给大家讲一下。这个是CPU和GPU在Tox21上使用GCN方法的性能比较,可以看到图上最多有132个节点,每个节点有六十四个feature(特征),跑了二十个Epoch,Batchsize是一百二十八,使用Tesla V100 GPU或Xeon E5-2698CPU,在准确率达到90%的情况下,用CPU训练的时间是260秒,而GPU只用了32秒,也就意味着GPU是10倍快于CPU,因此我们能够更好地利用GPU来加速药物的研究,从而降低药物研发成本和社会负担,让所有的患者用良心的价格获得更好的药物,其实还有很多方式可以把AI应用到药物发现领域。AI除了在药物发现方面的应用,也可以应用于基因领域。很多疾病是由于基因突变或者基因缺陷引起的。人类曾经有一个非常大的工程叫做基因测序,把人类的两对染色体进行基因测序。具体怎么做基因测试的,不知道大家有没有了解。那么我给大家介绍一下,首先将待测序的DNA进行扩增,复制出很多DNA,之后进行加热变性,由于基因是双螺旋结构,把双链DNA分开之后,在里面加入引物,从而让聚合酶发挥作用,这样就可以复制这一段基因的信息。把DNA聚合酶加入到反应容器,每个反应容器里面放的都是前面所提取出来的单链DNA,利用ATGC基本的碱基酶原料,就可以复制整个基因序列,同时放一个特殊的碱基A进去,能够停止复制。此时就可以开始进行整个DNA的反应。在完成了DNA的反应之后,因为有一个特殊的碱基A可以停止DNA的复制,在四个不同的样本里,他们有很大的概率是在不同的时间停止,可以根据不同的停止情况,对其通电,较轻的DNA会在通电之后进行移动,通过荧光标记的方式就可以在胶片上留下记号,从而得到整个DNA的顺序。对于DNA测序有两个难点需要解决,首先,染色体三十亿对碱基,怎么去测序?其次是用什么办法进行加速。对于人来说,两对染色体包含30亿个碱基对,包括了鸟嘌呤、胞嘧啶、腺嘌呤、胸腺嘧啶,组成二十三对染色体。但是我们这些仪器能够产生十一个短序列,我们称之为Read,每个read仅代表了三十亿个碱基中的一百个,每个碱基的错误概率在0.1%-10% 之间,把单一的、小的基因序列完整而准确的拼起来是很困难的。这个时候Google cloud platform提出了开源的方案叫做DeepVariant,通过以编码HTS仪器数据的方式,生成了数千万个训练样本,然后用这个训练样本,基于TensorFlow做图像分类,以便从仪器生成的实验数据中识别出真实的基因组序列。通过这样的方式,可以很简单的判断哪个基因组序列是正确的。在右边的图上,有四种基因组序列:正常的染色体、有一个碱基出现问题的染色体、两个染色体对都被删除,还有一种情况就是由于一些其他因素,比如在最开始做生成的时候复制出错等相关问题,就会出现最后一种图像,通过这样的方式,就能加速基因测试的过程。加速完基因测试之后,把每一个read的结果拼到一起,中间会有一个比对过程,把每一个小的单元都跟其对应的序列作比对,从而判断是否准确,此时就有了新的Parabricks,他们在做加速DNA测序的工作,比如说用BWA MEM (比对的工具库),支持较长的Read,然后做一些剪切性的比对。通过这样的方式,用GPU来加速,可以看到跟32个CPU相比,其性能达到了25倍的提升,结果的准确率达到100%。接下来跟大家分析下AI在医疗记录分析方面的应用,医疗记录分两个部分:医疗文本记录和医疗图片记录,这两个领域分别有怎样的研究,他们具体是怎么操作的呢?第一个是依靠Icahn School提供的解决方案,他们通过12年的积累,总计700万的医疗记录,训练了一个深度学习模型,可以实现多疾病的预测,以前传统的方法是收集医疗记录做预测模型,但是只能预测一种疾病,现在可以预测七十八种疾病,并且能够做到预防疾病的发生,可以很大程度上降低病人的痛苦。第二个应用是CLOUD MEDX做的,他们做的内容跟之前几家公司不一样。前面几家公司是基于已有的医疗记录,生成预测模型,去预测病人患病的可能性。CLOUD MEDX则是拿到了一些电子健康记录,比如病史、药物测试报告等数据,里面有两部分数据,一部分是来自医生记录的,跟国内一样,大家都知道我们看自己的病例是看不懂的,当拿到这些非结构化数据之后,做数据结构化的分析,然后直接结合NLP自然语言处理技术;另一部分是实验室的数据,或者生命统计的数据,通过这两部分的数据,开发了一个新的AI平台。利用该平台分析患者的整个病史、关联的症状以及人口统计的数据和诊断,就可以看到该症状以及对应其他临床上的情况,从数据判断患某种疾病的可能性,帮助医生做一些推荐测试、药物治疗的方案以及辅助医生修改治疗方案等。第二个领域就是医疗图片,大多是指图片分割和检测判断,这里大概有五个例子,我会详细给大家介绍一下他们是怎么做的。第一张图是PathAI做的,把拿到的病例图片以及识别出的结果做热点图,帮助医生更好的判断;第二个是由凯斯西储大学做的,致力于常见的乳腺癌的研究,正常来说,女性发现乳腺癌之后,最开始医生都会建议做化疗,另一种方式是做病理切片,拿到切片的细胞信息之后才能判断,该测试需要花费四千美金,对于大多数非发达国家的人来说,他们是付不起的,那这个时候怎么做,他们又提出可以用MRI的一些照片,依据现在的病理学照片做风险评估。这张图展示的是一个library,即医学图像数据库,医学图像由于其敏感性和工作量,正规的注册数据集很难得到,但在诊断和治疗中非常关键, 是美国的国立研究院提出的一个注册系统,其实这就是一个获得数据集的方法。上图展示的是用SocialEyes,基于我们的NVIDIA SHIELD 平板电脑上,可以利用里面的GPU,运行深度学习的模型,去判断眼部疾病,因为在一些偏远地区看眼科是非常难的,通过这样一些模型,就能够解决这些问题。另外可以用深度学习做骨龄测试,传统做法是用X射线图片,和传统的书里面的照片或者以前的图像进行比对,从而判断骨龄。现在可以用深度学习的方式,使用了大概七千四百个X光射线的记录训练了一个深度学习的模型,能够很快地进行训练,通过这样的方式,能够很快的取得很好的结果,其实骨龄测量对小孩来说非常重要。尤其是在国内,很多时候小孩的发展跟他的骨龄完全是不一样的,怎么选择更快的获得结果并进行干预是很重要的。最后一个是用ML发现脑肿瘤,以前的做法可能需要直接打开头颅,然后打个孔,去看拿到的切片,看看里面是不是有肿瘤,及肿瘤状况。现在MAYO CLINIC使用GPU加速,可以用MRI的信息,以前用非深度学习方法发现不了的数据信息,去做一些比对,进而判断到底里面是不是有肿瘤,准确率也超过了90%,所以通过这样的方式,不仅可以把以前的结果做得更好,同时也可以做以前不能做的,而对于medical image(医学图像)我们需要怎样的一个平台呢?NVIDIA在2018年提出了CLARA平台,我们叫做虚拟、通用、远程、可扩展的平台,所有的合作伙伴都可以加入进来,利用NVIDIA GPU计算资源和加速库,为医院和合作伙伴提供新的算法和方案,CLARA平台可以做基于DL-BASED的Image重建、深度学习的图像分割、图像渲染等操作,该平台最底层用的是DGX以及NVIDIA的GPU,也会提供非常多的软件库,包括CUDA、cuDNN、TensorRT加速库以及Image和各种虚拟化的APP,帮助大家利用这个平台,开发出各种各样的应用。首先从硬件开始,平台底层需要做计算,我们使用了世界上第一台GPU超级计算机DGX-1,里面配置了八块32G Tesla V100 GPU以及NVLink Mesh。整个系统具有1 PetaFLOPS的计算性能,在做深度学习训练的同时,提供300 Gb/s的NVLink通信带宽。从而保证在训练时能够最快的取得效果。当然这只是硬件方面,除了硬件之外,NVIDIA也提供了一整套的软件支持。硬件没有软件的支撑,是运行不了的,虽然硬件达到了加速,软件该如何操作呢?NVIDIA提供了一整套软件栈,底层有我们的操作系统,上面有英伟达的GPU驱动以及容器的Runtime,以保证在底层能够调用GPU计算资源。在GPU之上,NVIDIA还提供各种GPU Docker容器,比如Caffe,Caffe2,TensorFlow,PyTorch,Chainer等,这些容器和驱动以及Docker,包括精简过的OS,驱动都是专门为DGX配置的,而且上面的容器都基于GPU的特性做过优化,从而保证大家能够用到最好的计算性能,训练出自己的GPU模型,为客户提供应用。在DGX之上,我们有NGC(NVIDIA GPU Cloud),可以提供各种各样容器镜像,DGX也接入到了NGC,这样用户不需要再去配置硬件环境,通过NGC把容器镜像拉下来,就可以开展深度学习的训练和Inference(推理)。目前NGC提供的容器镜像有35个,分别在不同的领域,包括深度学习、HPC、HPC的视觉、Kubernetes以及我们的合作伙伴提供的各种容器镜像。NGC提供的深度学习容器镜像包括caffe、caffe2、CNTK,CUDA等,CUDA是NVIDIA提供 的一个基础镜像,包括DIGITS,对深度学习不熟悉的朋友,可以尝试使用DIGITS,它是一个Web UL的界面,底层调用TensorFlow或者Caffe,在里面可以直接开始深度学习的训练,inference server是我们提供的一个Inference的API,它是一个推理的web框架范例。因为我们要做的就是把训练好的模型交付给客户去使用,比如帮助医生去做一些检测。那么如何部署训练好的模型呢?就是使用inference server,它的作用就是把模型放进去,相当于一个web框架,此时会对外暴露出一个API以供调用,从而简化模型开发的过程。另外一个重要的容器镜像叫做TensorRT,是NVIDIA提供的一个容器加速库,里面已经完成了相应的配置,可以直接使用,能够为深度学习模型带来几倍的加速,下面我会详细介绍。所以基于DGX的硬件,我们提供了专用的OS以及Linux Kernel和CUDA驱动,在上面做各种各样的容器化应用,包括优化好的TensorFlow、CNTK、caffe2、PyTorch等模型,以及各种各样的软件,包括之前提到的inference_ server,这样一整套的软件可以帮助大家更好的去开展深度学习训练,去应用深度学习算法,或者开展一些算法的研究,同时大家也可以利用这些容器镜像进行自己的算法部署。当然除了DGX和NGC之外,还要考虑怎么使用GPU为深度学习加速?这里NVIDIA提供了DIGITS、深度学习框架以及深度学习的SDK。深度学习的SDK主要包括cuDNN、NCCL、cuBLAS、cuSPARSE、TensorRT以及DeepStream6个部分。cuDNN是用CUDA写的DNN加速器。NCCL用于做多GPU的通信,一般来说,训练的时候会有参数服务器,因为GPU之间的数据是要通信的。怎么去加速GPU的通信呢?我们做了算法的实现,做了底层的优化,比如说使用NVLink,多节点之间用了RDMA等,通过这样的方式加速了通信。cuBLAS做一些线性代数的计算;cuSPARSE用于做稀疏矩阵的计算,TensorRT是做inference的加速引擎,可以做到inference的加速,最后一个是DeepStream,提供视频分析的一些方案,提供整套的pipeline,底层调用GPU里面硬件核心、解码器以及CUDA核,从而完成一整套的计算过程。cuDNN是一个高性能深度学习神经网络加速库,被利用到所有的深度学习框架中,包括Caffe、Caffe2、CNTK、TensorFlow、PyTorch等,都在用cuDNN做加速。当然如果需要写自己的软件,也可以用cuDNN来加速,从上图可以看到从最开始的8个K80,到8个Maxwell,再到DGX-1和DGX-1V,在不同的cuDNN版本和不同的硬件上,其性能差距是非常大的。在深度学习的训练方面,从最开始的1000张不到,现在可以训练的图片大概超过10000张,能够进一步加速训练,带来10倍的加速提升,而这样的加速对于开发成熟的产品是非常重要的。NCCL用于多GPU之间的通信,使用通信算法,底层采用NVLink,PCIe和 InfiniBand,同时能够去检测到整个系统的拓扑结构。从上图可以看到最开始的Maxwell,以及两个P100的比较,然后到1024个P100,可以看到用NCCL在GPU通讯方面能够达到线性的加速,也意味着通信的开销不会导致训练的延时,这个是非常难做的。有HPC (高性能计算) 背景的朋友都知道,能达到线性的加速是非常难的一个任务,而NCCL在通信方面取得了这样的效果。最后一个我想讲的是TensorRT,训练好一个模型,最重要的是模型的准确性和怎么把模型交付给客户使用?推理和训练其实是不一样的,训练时可能用的是FP32的精度,但在推理的时候,可以用更低的精度。训练时,各层之间的关系是固定的,而且需要把中间参数保存下来,从而进行反向迭代。但推理时,只有正向的迭代,此时可以通过使用TensorRT达到免费加速的效果。TensorRT可以做一些Layer fusion,同时也可以做些精度校准,对于不同的GPU卡,可以实现模型的自动调整,动态分配内存,不管是在内存、计算、网络结构以及参数精度方面,都可以用TensorRT达到更好的效果,取得一更好的性能。以P4为例,如果使用FP32精度的参数算力可以达到5.5T,如果使用Int 8精度的参数算力可以达到22T,所以说硬件的性能提升也需要通过软件的优化才能够完成。最后我想讲的是deep learning的菜单,在医疗领域最重要的就是数据,当然也需要强大的计算力。在此基础上,我们可以用监督学习,或者增强学习,训练各种模型。关于数据来源,我们有各种合作伙伴和研究机构,他们会为我们提供各种数据集。我们也在跟很多医院展开合作,能够提供这样的数据。我们为大家提供最快的计算平台,以保证拿到这些数据之后,能够最快的取得结果。而在算法方面,现在深度学习社区,每年大概有几万甚至十几万篇论文发出来,他们提供了各种各样的思路,比如做图像分割,最开始从一个很简单的网络开始,后来用FCN来实现,现在可能用GAN来做。通过不同的算法,完成各种各样的应用,解决医疗上各种各样的难题。不管是对个人来讲,还是对社会来讲,都能带来很大的帮助。以上就是我今天关于AI在医疗领域应用的一些分享,谢谢大家!提问环节问题一郭家豪-上海应用技术大学-研究助理针对传统的在校医学生,毕业后希望转型到医疗领域的深度学习中,在这一转型中,优势有哪些?劣势有哪些?针对深度学习的技术,最关键的核心技术是哪一块儿?罗晟:你现在是在医疗行业,如果你想要转型到深度学习,我们是非常欢迎的,同时我们也非常希望有专业的医疗行业的人才加入到深度学习的队伍当中,因为对于深度学习来说,它只是一个工具,怎么用这个工具,在哪个方向能够用这个工具才是最关键的。你的优势在于知道怎样应用深度学习技术,用在什么方向,你只要去加强深度学习方面的技术,甚至可以让专业的技术人员帮你做加速。我相信未来也会有相应的工具,能够让人很快的使用,所以方向才是最重要的。其实,在深度学习领域,想要知道怎么应用,确定好要用的医疗技术及方向之后,就可以用GPU技术来实现,NVIDIA提供了所有框架的优化,你可以使用这些框架来做数据整理,确认好方向之后,有各种各样的research community提供的网络,都可以去尝试,从而在确定的方向取得一定的成果,我相信在确定了方向之后,一切的技术,都不会成为你的阻碍,而且这样的技术肯定会随着未来的发展也变得越来越普及,越来越有用。问题二高蓉彬-甘肃畜牧工程职业技术学院-教师深度学习对药物药理学研究能起到什么作用?罗晟:我前面的内容已经涉及到了怎么用深度学习做药理学的研究以及在分子方面的研究。比如做药物发现时使用GCN网络,通过该方法,可以去把药物分子结构做映射,从而知道不同的药物之间互相的联系,同时也可以判断药物之后的结果是什么样的,这些都可以用深度学习来完成。问题三罗力川-大唐电信-芯片设计工程师该平台是否用到了英伟达的 DLA加速器了吗?如果用到了,可否详细介绍下?罗晟:很高兴听你提到NVIDIA的DLA,DLA是一个深度学习加速器,目前实现是在Jetson Xavier上面,Xavier现在是在申请试用中。当然不管是DLA也好, Xavier也好,Tesla GPU也好,还是Tensor Core也好,各种软件在NVIDIA平台都是统一的。任何软件都可以运行在NVIDIA任何版本的GPU上,并且都可以取得很好的效果。同时这部分的加速都是用TensorRT来实现,TensorRT可以去感知不同硬件的区别,比如P4有Int8的支持,而在P40和v100上有FP16的支持,这样TensorRT就可以屏蔽底层任何硬件的信息来使用。但另一个方面,因为Xavier现在是刚开发出来。相信在未来,比如我有一个平板电脑,就跟我前面案例提及的平板电脑,提供这样的解决方案,帮助贫困地区的人们使用到GPU加速,在医疗行业为边远地区的人民带来新的希望。问题四秦智勇-北京微电子所-工程师医疗领域信息比较私密,训练怎样解决数据源的问题?罗晟:这个问题问的非常好,医疗行业数据是比较私密的,怎么解决数据源的问题呢?其实我是这么理解的,首先在最开始训练的时候,会有各种各样的开放的数据集,可以去使用。另一方面,也可以尝试跟一些重要的医疗机构进行合作,我相信随着深度学习的发展,他们未来会需要用到深度学习的技术,而通过合作,他们可以提供各种各样的数据,就像我前面的提到一个案例,美国的一个研究所,就在展开这样的一个合作项目,去收集各样各种各样的数据,并开放给大家,帮助大家把深度学习的技术更好的的应用在医疗方面。问题五张承龙-中科院计算所-程序员医疗领域主要采用哪种深度学习模型,为什么这种模型效果要好,怎么进行小样本学习?罗晟:深度学习模型有很多种,主要还是取决于应用的领域。比如药物发现领域,可能会用图卷积的网络,两种图卷积的模型都可以使用。如果是一些文本的记录,肯定会用到NLP以及相关的模型;而对于医疗图片,目前来说比较前沿的都会用GAN(生成时对抗网络)来做,训练一个图像分割器,以及一个生成器,来训练一个更好的模型。当然对于medical image来说,现在是比较容易做的。但是因为GAN有一个很大的问题,就是训练比较难。对于图像分割,用FCN可以取得一个好的效果。小样本的学习,可以通过数据增强的方式,把数据集扩大,同时训练时不要选择太过复杂的网络,以避免一些问题,同时也可以进行一些数据的收集,以便在未来获得一个通用性更强的模型。问题六潘宇-北航-微电子专业学生目前要实现深度学习在医疗领域更好的应用还有哪些问题需要解决罗晟:我觉得有非常多的问题需要解决,比如拿到了数据如何解释。很多年前我在跟清华的一个教授合作的时候,使用一些医疗的信息,比如用深度学习去挖掘诊脉的信息,怎么让诊脉的结果出来之后可以做判断?之前去拍MI和CT照片的时候,为什么医生可以说这样是有问题的,那样是没问题的呢?我相信在当时也是通过数据统计的方法,因为有些病人MI和CT的照片里面有这样的情况,所以我们就理解这个地方有这样的问题。对深度学习或者在医疗行业做medical image来说,解决这个问题很简单,我们能够对最后的结果给出一定的解释。不管是经验也好,还是怎样,我们能够把它还原成类似MRI的照片从而告诉医生这个地方是有问题的,通过这样的方式,把可解释性解决。从另一个方面就是我们的技术还有更多方面需要挖掘,在药物发现里面怎么去做进一步的加速,在诊断系统里面,怎样更好的提高系统的准确性等,这些都是未来技术需要去解决的,也需要我们去为之努力。问题七乔冠超-电子科技大学-微电子专业学生深度学习在医疗领域的应用在技术方面和其他领域有什么区别?主要是算法的创新还是硬件平台的创新?罗晟:从技术根本来说,很多领域,比如图片与图像领域是一样的,没有太多的区别,在深度学习领域,我们谈论的是通用型的模型,虽然不是通用人工智能。像前面的例子,一个模型可以预测七十八种疾病,而之前只能识别一种,这样一个通用的模型最重要一点就是数据,能提供这样的数据,就需要一些数据的创新,也需要算法的创新和更强的算力。因为更多的数据,意味着需要更强的算力来支撑计算,有更好的模型能够提供更好的精确性,但是在一定程度上模型的复杂度肯定是在增加的,也是需要更大的算力来支持的。所以更强的算力能够保证可以去做一些迭代和测试,从而推动模型的发展,收集更多的数据,其实三者是相辅相成的。问题八刘汝洲-北京精真估-NLP技术部负责人NLP在疾病诊断方面有哪些落地的应用罗晟:前面已经讲过关于NLP相关内容,可以用NLP对一些病例的信息分析,对于病例的分析主要有两个方面,首先我们可以拿到一些疾病的信息,去做预测,当我们拿到一个最新的病人信息,把它放到模型里面,可以通过病历记录训练出一个模型,从而去判断是否有潜在的疾病风险;另一方面,拿到这些信息之后,跟真实的信息进行比对,可以去做些推荐,获得更好的推荐结果,这两方面也已经落地应用了。当然还有很多,现在有各种各样的机器人在医院里面提供服务,比如问诊机器人,去医院就诊时,可以去问一下机器人,它会根据你的描述给出相应的诊断反馈,这些都是未来需要提供的,也有一些项目已经落地,我觉得是非常好的。现在的三甲医院是非常拥挤的,有了最开始的定位,才能更准确的选择相应的科室,或者根据这些基本信息推荐解决方案等。新课预告#智东西公开课#9月13日晚8点,超级公开课IBM专场将开讲,由IBM中国芯片设计部门高级经理尹文主讲,也是首次公开线上讲解POWER 9处理器!课件获取第一讲,NVIDIA大中华区高性能计算及Applied Deep Learning部门技术总监主讲赖俊杰,主题为《如何搭建适合自己的深度学习平台》第二讲,NVIDIA高级系统架构师吴磊主讲,主题为《如何为深度学习和HPC提供更高算力》第三讲,NVIDIA DLI认证讲师侯宇涛主讲,主题为《不需要写代码,如何用开源软件DIGITS实现图像分类》(线上实践课程,无课件)第四讲,图玛深维首席科学家陈韵强、NVIDIA高级系统架构师付庆平共同主讲,主题为《深度学习如何改变医疗影像分析》第五讲,NVIDIA DLI认证讲师侯宇涛主讲,主题为《手把手教你使用开源软件DIGITS实现目标检测》(线上实践课程,无课件)第六讲,西安交大人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成共同主讲,主题为《智能监控场景下的大规模并行化视频分析方法》第七讲,清华大学计算机系副教授都志辉、NVIDIA高级系统架构师易成共同主讲,主题为《GPU加速的空间天气预报》第八讲,希氏异构人工智能首席科学家周斌主讲,主题为《如何利用最强GPU搭建医疗人工智能计算平台——医学图像AI领域最强超级计算机首次解密》第九讲,NVIDIA中国GPU应用市场总监侯宇涛主讲,主题为《揭秘深度学习》第十讲,NVIDIA高级系统架构师张景贵主讲,主题为《在你的桌面端通过NVIDIA云端GPU开展深度学习》第十一讲,百度AI技术生态部高级算法工程师赵鹏昊主讲,主题为《如何借助GPU集群搭建AI训练和推理平台》第十二讲,NVIDIA 深度学习解决方案架构师罗晟主讲,主题为《医疗领域的深度学习》
图片来源@视觉中国文 | 硅星闻,作者 | 宫恩浩(深透医疗Subtle Medical创始人及CEO)在当今的医学影像领域,无论是美国、欧洲还是中国,人工智能正在成为主旋律。今年1月,上海交大发布《人工智能医疗白皮书》,指出AI医学影像成为中国人工智能医疗最成熟领域。据第三方统计,从100家AI相关的非上市企业2018年预计营收来看,100强中共有10家AI医疗公司,其中AI医学影像领域的公司占到了六席。在融资方面,AI医学影像是获得融资最多的医疗领域。AI医疗影像行业成为人工智能在医疗领域发展最快最成熟的领域,并不出奇。首先,医学影像和纯机器学习结合得非常紧密,医学图像本身就是结构性图像及数据,对应的人工智能算法也比较成熟。其次,无论是在中国还是美国,医院影像检查每次扫描和诊断部分都有相应的成本,医疗影像技术进步可以为医院提高影像效率、为医生节省时间、最终降低成本,AI算法的改进能够带来看得见摸得着的经济价值,这也是这个行业发展最快的原因。目前AI影像应用最广的两个领域,一方面是放射学,一方面是病理学。病理学的问题在于其数字化还处在刚刚起步的阶段,而技术发展有个从电子化、数字化、再到自动化、智能化的过程,因此病理学AI产品发展周期稍长。而放射学的电子化、数字化程度比较高,从数字化到智能化的发展会比较快。作为AI医学影像行业的创业者,我在这两个月辗转世界各地,参加了中国、美国、欧洲的多个业内权威的医疗会议,切实观察到了AI医疗高歌猛进的背景下,中美欧AI医疗影像的产业差异,从研发、应用、监管等角度详细进行了梳理。前沿技术:AI成为主旋律总体来说,在医学影像AI领域,最前沿的是中国和美国,这两个地区是新技术发展最快的,现在欧洲也在不断跟进。我参加了三年的美国的RSNA(北美放射学会年会),这两年明显能感觉到AI影像产品的公司越来越多,产品种类也越来越多样化。三年前,RSNA上机器学习AI展区还很小,一开始主要集中在肺结节检测和骨龄检测。而现在大家开始做各类实用方向,2018年的RSNA范围比2017年更广,各公司也在更多领域开展突破,同质化程度也有降低。从中美欧产业的差异来说,相比欧洲、中国,美国更注重AI影像设备实际落地的价值,这个价值主要体现在两点:临床诊断的准确度以及工作流程(workflow)的匹配及优化。从临床准确度来说,现在很多影像产品能达到90%左右的准确度,但是这样的准确度是远远不够的,如果说每20个人检测,概率上就会有一个人误诊,这种准确度是不能被医院接受的。美国很多医院在采购新的AI影像设备时,会做准确度的测试,越来越多的临床研究发现医学影像人工智能系统很容易受到设备、环境及人工操作的变化所影响,在真正临床使用时的高准确度尚待更多提高和验证。同时,美国更注重对工作流程的优化与规整,要求医疗硬件软件厂商的设备与医院工作流程完美融合、无缝对接,尽可能不影响原来的工作流。如果不能达到这一点,实际应用中就会给临床医生和管理者带来不便。深透医疗临床测试医院之一加州大学UCSF的放射影像系主任 Chris Hess,也是深透医疗合作者,在英伟达GTC大会上指出,“颠覆性革新不能颠覆现有工作流程,要改善而不能让流程更复杂”。举例而言,比如一家医院购买了有好几家影像公司的产品,但每家公司都有自己的平台,需要在医院内将数据在不同平台间传输,这在真正的临床中是不可能的,因为医院、信息部门与临床医生都需要花更多时间来适应与学习。因此在美国医院会在采购过程中就很关注软件部署的流程,避免不必要的麻烦。在中国,医院关注重视AI算法准确度的同时,也越来越关注软件的效率和对工作流程的影响。但当前国内大多数AI软件主要应用于科研和临床研究,这方面与美国有所不同。相对来说,欧洲对于AI医疗影像等新技术的应用更加保守一些,也由于对于数据隐私保护更加关注,在AI研发和应用上落后于中美。但大趋势还是相似的,今年3月奥地利维也纳举行的ECR 2019(欧洲放射学大会)展现出的大趋势也是AI的应用将越来越广泛。今年ECR上,很多医疗影像厂商都在讨论,如何使用人工智能来辅助放射科医生,借助AI去判断医生应该优先读哪个病人的片子。许多厂商展示了他们的新算法,这些算法可以分析图像并标记那些可能是紧急情况的病人,让医生优先处理这些片子——比如标记CT上的疑似中风患者,是X光片上的气胸患者。这些新的AI技术的诞生,将很好地辅助放射科医生的工作。此外,欧美更加注重影像的定量化分析,但是国内还没有太多这方面的应用。国内仍以满足基础临床需求为第一要务,仅仅是让患者进行基础的CT、磁共振扫描,由医生做诊断和治疗计划。欧美的定量化影像分析相比下更广泛地进入临床,为医院和病人提供定量化分析的报告。深透医疗在2018年NVIDIA GTC大会上获得了全球Inception Award医疗方向冠军,此次2019GTC大会与NVIDIA深度合作参与了多项展示与报告安全和风险从数据安全的角度来说,欧洲和美国有着不同的需求。欧洲非常重视个人信息和隐私数据的保护。2018年5月,欧盟出台的《通用数据保护条例》(General Data Protection Regulation,简称GDPR)正式生效,堪称史上最严的保护用户数据安全的法律,包括规定数据不能出国出境,而且对企业违法行为的惩处力度非常大。而美国相对来说这方面的规定宽松一些,美国也有HIPAA法案(Health Insurance Portability and Accountability Act),其中也规定了一些个人健康信息隐私保护标准和实施指南,相比没有欧洲要求的严格和复杂,但是十分规范化。过去国内无论是医院还是公众层面,大家对数据隐私都不是那么重视。现在,一些医院也开始意识到这一点,尽量避免患者隐私泄露,而公众的意识也在逐步提高。从剂量安全的角度来说,中美欧也有差异。美国和欧洲对于剂量安全方面非常关注,因此在应用新技术时非常保守。他们关心的是,比如核磁共振对比剂在人体内是否会沉积及它对人体的危害,或者CT影像的对比剂是否会增加基因突变的可能性,如何对人体剂量进行监测。他们非常关注并尝试解决这些问题,包括我们深透医疗也在研发这方面的产品。其中利用AI降低磁共振对比度的技术去年底还获得RSNA颁发的研究项目嘉奖,并在近期刚刚发布的由RSNA(北美放射学会),NIH(美国国立卫生研究院)和ACR(美国放射学会)整理的AI影像研究路线图中着重提及。而影像中剂量的安全性这一点,在国内还没有特别关注。监管监管是医疗行业永远绕不开的部分。对于AI医疗影像设备厂商来说,在中美欧遇到的监管也是不同的。美国FDA(食品药品监督管理局)的流程较为精细清晰,他们认为人工智能是个新技术,会有一些不确定性,但人工智能只是几十年来FDA审查遇到的另一个新技术之一。因此对新产品制定了一定的标准,并沿用历来对于新技术的更高标准要求。医疗产品在上市前有510(k)申请,PMA批准, Denovo授权等多类认证。对于最常用的510(k)申请,厂商需要去论证其产品和之前的产品有很大的相似性,而且用来类比的产品需要是近年内的产品。FDA将医疗器械分为三类(Ⅰ,Ⅱ,Ⅲ),Ⅲ类风险等级最高,一般要深入到人体的医疗器械都是Ⅲ类,从数量上来说市面上多数为Ⅱ医疗器械,AI医学影像软件基本均为II类医疗器械。。欧洲的标准是CE标记(CE Marking)),这个标准和FDA有所不同,它的监管同样分为三类,如果产品不涉及诊断可以走Ⅰ类,申请流程相对简单,而诊断类产品较多为Ⅱ类,申请周期相对更长一些。欧洲CE标准将在2020年有所变革,申请过程一般会有所加长。中国主要是近期更名的国家药品监督管理局NMPA进行监管,最近也新出了相关的规范,新的标准加强了对于数据质量、来源方面的关注,比如强调记录并规范化使用的数据、测试的标准等等。这些变化也与FDA等其他监管机构的思路基本一致,从AI软件的设计、训练及测试方面更深入的监管和规范。可以预计未来国内AI影像市场也会越来越规范。从医疗影像行业的特点来看,AI医疗影像有很多是软件,而软件的更新周期远短于硬件,因此诸如美国FDA传统的评审方法已经不适用于医疗软件的监管。这两年美国开始启动FDA软件预认证计划(最早在2017年中开始试点),精简流程,让一部分有较高资质、开发流程规范、产品质量过关的厂商,在产品上市审批阶段更畅通,同时严格加强后续的监管。值得一提的是,深透医疗基于深度学习的医学AI产品已经获得美国FDA批准和欧洲CE认证,预期第二个针对磁共振的AI影像产品将于2019年获批上市。在今年3月举办的欧洲放射学大学(ECR)和ISMRM MR Value论坛(国际磁共振医学学会磁共振价值论坛)上,深透医疗的联合创始人、斯坦福大学医学院Greg Zaharchuk教授也在欧洲展示了我们的技术。欧洲ISMRM(国际磁共振医学学会) MR Value论坛,深透医疗联合创始人Greg Zaharchuk教授发表演讲讨论如何利用AI、深度学习等技术提高磁共振质量与效率,实现1分钟磁共振扫描平台化如今中美欧都有一个大趋势就是现在有很多公司开始做平台和应用市场(marketplace),即将各种医疗应用集成在一个平台上。在平台化方面比较领先的是美国,美国往往由大公司的子公司或者新部门对平台进行推广,比如英伟达NVIDIA公司的Clara平台,还有通用电气(GE)下的新推广的Edison平台,飞利浦西门子也都有自己推广的数字平台,TeraRecon旗下收购的Envoy。美国Nuance公司类似国内的科大讯飞,他们以自然语言处理技术为突破做了一个医生读图做笔记的软件已在医学和影像中心有很大的市场份额,一次为基础计划进入AI诊断领域,推广的医生判读医学影像的平台。此外Google、Microsoft及亚马逊AWS云平台等等也在做这方面的部署。深透医疗方面与各个平台公司在不同应用方面进行探索。这些平台目前的主要困难还是实际应用场景与使用量。作为新产品形式,当前各个平台还是在市场化初期。但这一个方向的需求是存在的。这也和美国医院重视工作流程有关,医院的IT部门非常保守,行动迟缓,他们不愿意同时和十几家公司合作来改进IT设施,因此相对来说marketplace是一个比较理想的解决方式。医疗平台对于美国的大公司来说也是个新的挑战。大公司有其独特优势,他们往往有很强的销售能力,很大的市场占有率,有分化销售的渠道。但归根结底,平台对他们来说是个新事物。大公司传统的销售方式以卖设备为主,以出售最新、最前沿设备挣钱为主。现在他们开始思考更长远的战略,他们认为未来发展不光要卖硬件,还要做平台,提供优质服务,所以他们现在也在不断发展平台技术。从医院的角度说,平台上必须有医院想要的应用,医院才会花钱购买。医疗marketplace和手机APP的不同点在于,真正有价值的医疗平台与应用,不会像手机APP那么繁杂,而且它的开发及产品生命周期也会比手机应用长很多。只有那些真正能为医院带来价值的、得到FDA认可的应用,才能真正进入医院,实际上这些新东西都还在探索之中。深透医疗现在也与很多医疗平台有探索合作。在今年3月的英伟达GTC大会上,深透医疗Subtle Medical与英伟达合作展示了Clara医学影像AI平台上的应用,我们的产品使用了最新的NVIDIA T4 GPU,能够实现更便捷的深度学习产品部署以及更高效的数据处理,并可以与当前各种设备平台、PACS平台以及AI影像产品平台结合。欧洲方面,除了一些小的初创公司外,一些大企业如飞利浦、西门子等大公司也开始铺平台。而中国做marketplace的公司以垂直细分领域的初创公司为主,初创公司做平台难度很大。而且国内成功的企业往往是由注重某个细分领域的公司做这个细分领域的平台。国内如东软医疗等传统医学影像设备商业在云平台上布局。国内相关技术发展的一个优势是5G发展比较快,因为平台里很多应用是通过云端运算需要大量数据传输,如果数据传输太慢,可能就不如直接对本地部署进行优化。因此5G等技术的大力推广是必要的也是中国在这方面发展的可能的优势之一。医疗支付体系不同AI医疗影像设备最终都是要卖给医院等医疗机构,而不同国家医疗支付体系的不同,带来了完全不同的产业逻辑。因此,当厂商迈向市场时,一个重要的问题是:谁是医疗影像产品真正的买单方?美国主要是保险公司付费、医院提供服务并获得相应的付费。因此,美国的设备购买流程更加规范一些。比如深透医疗在美国和医院方面一般部署流程:让临床团队认可影像产品的质量以及深透医疗的AI技术产品对于临床的价值,让医院的IT部门认可产品与医院的基础设施配套,与医院现有的工作流程紧密结合,不用消耗特别多医院的资源。最重要的是,需要从运营角度,切实计算出购买该设备能为医院带来多少价值,能为医院运营节省多少成本带来多少收益,最终通过计算出来的数据来决定是否购买这套设备。在欧洲、加拿大一些地方,主要是政府付费(少数医院也是保险公司付费)。因此,在欧洲、加拿大,厂商需要证明它能给整个体系带来临床价值及商务价值(节约开支等),不光要说服医院,还要说服付费方。国内目前医疗付费有社保、自付费和商务保险等,医院有公立医院私立医院等,相比美国清晰的界定,国内还不是很清晰。比如说,国内的患者进行了预约,但是最后没有就诊,这个成本由谁支付还界定得不是很清楚。在美国如果患者没来医院,或者出院了又再次入院,保险方面会根据患者的情况调整保险额度,对于医院来着都是有运营成本和收益方面的影响。因此,由于支付体系的不同,医院的关注点也不同。比如美国通过AI预测患者是否来就诊就是一个有市场价值的应用,但是在过内就诊预约在不断规范化、同时就诊需求很大,目前还没有类似的应用场景。价值是核心这种不同的支付体系带来了完全不同的价值评判标准和商业模式。深透医疗Subtle Medical的科学顾问Advisor之一、医疗IT领域专家、芝加哥大学医学院Paul Chang教授在GTC上指出,AI技术有很大价值,可以预见会改变临床影像,但这一变革花费的时间会比大家预想的要长。当前需要更加关注和临床紧密结合的需求,做”必须要有”, 而不仅仅是“有也不错”的应用。美国由于其付费模式,特别注重对价值的定量化计算。这种价值不仅仅是物质上的,也包括Efficiency/Proctivity(效率、效能)的增加,即医疗各个上下游环节,包括病人会不会出现、迟到,治疗效果如何,比如根据算法的预测优化医生的日程表,这些都能带来可观的商务价值。Paul Chang教授认为,“Efficiency/Proctivity(效率、效能)是AI实际价值的重点,提高医疗影像效率、节省成本、 增加效能是落地最先发生的地方。影像流程整个底层架构以及工作流程都应该改善。”深透医疗在美国市场化的AI产品的关注点也是以临床影像中提高质量、优化流程、增加效率为主。目前来说,在AI影像市场,美国的商业模式比较明确,FDA监管明确,保险也比较明确,产品的价值是可以定量化的。我们的AI影像产品SubtlePET对PET等核医学影像采集环节加速可大四倍,提供高质量的医学图像,与此同时还不会给医疗流程增加任何额外环节或负担,产品商业化部署中的医院可以通过数据认识到其带来的每年数十万甚至数百万美元的临床价值。而在国内产品价值较很难量化,究其原因,也是因为国内对付费方的界定不那么清晰。更进一步,国内不同地区的医院差异性很大,每个县都不一样,医生资源、病人人群差别很大,医院财务模型和采购模式也不同。国内商业化难度更高,也需要更多的因地制宜。美国相对来说每个州的医院差异没那么大,美国各州的差异体现在监管上,除了FDA监管外,不同州都有自己法律,其监管也有差异。中国医院的病人多需求大,这也带来了中美技术应用的差异。美国的磁共振检查扫出来很多是三维高分辨率的采集的,国内很多医院也在越来越多的引入三维图像扫描,但是国内病人多,时间有限,同时也是为了方便打印胶片,普通医院更多情况下磁共振扫描使用更快捷的二维扫描。国内病人做一个磁共振可能10分钟,但美国由于扫描时间以及其他操作时间可能是30-45分钟。因此,对于国内医院来说,如果能通过AI算法,在进一步维持甚至降低扫描时间的同时,如何通过快捷的扫描呈现出更高质量的影像有着极为重要的临床价值,为扫描效率与扫描质量的提升。过去,我们需要在效率、质量、安全性之间有所取舍,必须要牺牲一方面来在有限时间内得到诊断信息。随着新的技术、人工智能的发展,未来我们不用牺牲其中一方,既提升效率又提高质量,也能更安全,甚至能看到过去看不到的东西。我与来自斯坦福、清华的医学影像AI研究者、临床医生一起创办Subtle Medical深透医疗的初衷,就是希望通过技术加快影像处理速度,减少用量,通过技术来优化流程,减少不必要的成本和医疗资源浪费,真正带来效率提升。现在我们在国内与东软医疗进行OEM的合作,同时我们与天坛医院等国内顶尖医疗机构开展了科研合作。在于美国、中国、加拿大甚至巴西等各地医疗机构的合作中,我们不断整理更多更高质量的数据,其核心是要不断提高AI算法的普适性与准确性,确保Subtle Medical深透医疗的应用在国内不同机型、不同医院、不同人种上保持最出色的效果。通过AI为患者、医院、社会带来价值。(本文首发钛媒体)【钛媒体作者介绍:宫恩浩,深透医疗Subtle Medical创始人及CEO。深透医疗Subtle Medical是一家位于硅谷的AI医学影像公司,从「AI+医学成像」出发,结合深度学习和图像重建技术,提高医学影像及其流程的质量、效率与安全性。相关AI软件已获得FDA批准。在斯坦福, UCSF, Hoag Hospital等美国、加拿大顶尖医院使用与临床合作,并与301医院、天坛医院等国内顶尖医院开展科研合作。公司也与英伟达、英特尔、通用医疗、飞利浦、西门子、东软等企业开展AI技术合作开发。】