医疗人工智能研究报告

前言大数据及AI技术在健康医疗领域应用场景包括、辅助决策、健康/慢病管理、机构智能化管理、基因数据等。预计2019年，辅助决策类中的影像辅助诊断将首先落地，主要因为其90%的准确率，可以快速为医生提供丰富的细节信息。其他应用场景，医疗机构的智能化管理，将在各省市区域信息平台及三大健康医疗数据集团推动下进行。全科辅助决策、健康/慢病管理、人工智能新药研发等，大多处于产品研发中期。针对这三个领域，企业仍需投入大量技术人才，以缩短流程路径，提升产品准确率。一、大数据在健康医疗行业中应用价值1.健康医疗行业面临的困境1.1全球医疗困境人口的增长和老龄化，发展中国家医疗市场的扩张、医学技术的进步和人力成本的不断上涨将推动支出增长。2017-2021年全球医疗支出预计将以每年4.1%的速度增长，而2012-2016年的增速仅为1.3%。慢性病发病率提升，变化的饮食习惯以及日益增加的肥胖度加剧了慢性病的上升趋势，特别是癌症、心脏病和糖尿病，目前中国糖尿病患者约有1.14亿，而全球患者人数预计将从目前的4.15亿增加至2040年的6.42亿。传统研发（R&D）成本上升，产品上市速度慢，2004年至2014年药物开发成本增加了145%。劳动力不足，在人口结构的变化和技术的迅速发展下，熟练和半熟练医疗保健工作者将大幅减少。1.2中国特色困境人口老龄化加剧。供需结构失衡，金准人工智能专家统计2016年我国每千人口执业（助理）医师2.31人。2015年我国每千人口医师数量在OECD统计的国家中排名处于25-30之间。同时，我国医生执业环境较差，促使进入医疗系统的优秀人才逐年趋少。医疗资源发展失衡，据金准人工智能专家了解，2010-2015年三级医院诊疗人次及住院人次复合增长率分别为14.6%和21.9%，而基层医院仅为3.8%和0.5%。传统就医模式使得三级医院人满为患，导致就医体验差及优质医疗资源浪费严重，因此，我国仍把推行分级诊疗作为当前首要任务。医保透支，《中国医疗卫生事业发展报告2017》预测，2017年城镇职工基本医疗保险基金将出现当期收不抵支的现象，到2024年将出现累计结余亏空7353亿元的严重赤字。商业健康险的发展可有效弥补医保不足。在成本支出方面，健康险利用市场规律帮助医院合理控费，同时，还可增加社会保障的收入来源，减轻国家医保基金的负担。提升医保控费能力，探索创新支付机制迫在眉睫。因此，改善现有就医模式，推行分级诊疗势在必行。分级诊疗推行需建立在信息、资源及利益互通上。2015年，国家卫计委提出分级诊疗制度将在2020年全面确立，包括基层首诊、双向转诊、急慢分诊、上下联动分诊诊疗等。新模式的搭建过程中，主要存在以下3个问题。1）信息不流通，各医疗机构间多为信息孤岛，患者信息无法进行快速共享流通；2）资源不流通，优质医生多集中在各大省会的顶级医院，且三甲医院医生精力有限，每年可支援的基层医疗更是有限；3）利益不互通，医院之间缺乏有效的利益捆绑机制，以促进患者在院间的流通。2.大数据助力我国医疗生态全面升级大数据技术的应用，将从体系搭建、机构运作、临床研发、诊断治疗、生活方式五个方面带来变革性的改善。由于我国医疗体系的强监管性，大数据若要在行业内实现其价值，需由国家建立一套自上而下的战略方针，从而引导医院、药企、民办资本、保险等机构企业构建项目，相互合作，最终实现从“治疗”到“预防”的就医习惯的改变，降低从个人到国家的医疗费用。麦肯锡曾在2013年预测，在美国医疗大数据的应用有望减少3000-4500亿美元/年的医疗费用。2.1健康医疗大数据宏观利好宏观环境利好条件满足，静待细分市场突围。我国健康医疗大数据已进入了初步利好阶段，国家作为政策引导方，已出台了50余条“纲要”或“意见”，可穿戴设备、人工智能等技术的发展也为产品研发奠定了基础，且头部资本已进入市场。下一步，各方需静待产品与市场需求相融合，共同探索具备商业化或临床价值的大数据产品。2.2健康医疗大数据政策利好政策引导，明确健康医疗大数据战略意义。2015年8月国务院发布了《促进大数据发展行动纲要》，指出发展医疗健康服务大数据，构建综合健康服务应用。随后，国务院、卫计委相继发布了多项政策，以促进各省市政府将健康医疗大数据提升至战略层面。政策引导，顶层设计推动大数据项目前行。2018年科技部官网发布了14个重点专项2017年度项目申报指南“精准医学研究”等生物医学领域的5大专项，累计共拨经费总概算12亿元。其中与健康医疗大数据密切有关的项目有，“重大慢性非传染性疾病防控”4.5亿元，“精准医学研究”1.3亿元，“生殖健康及重大出生缺陷防控研究”0.9亿元。此外，2月科技部发布了“主动健康和老龄化科技应对”2018年申报指南。2.3健康医疗大数据资本利好2018年Q1大数据投融资事件35起，行业热潮正式开启。金准人工智能专家将IT桔子中披露的医疗健康投融资数据进行了分类整理，发现2014年起健康医疗类大数据投融资事件增多，2016年最多共66起，2017年略有下降。2018年，健康医疗大数据仅在Q1便发生了35起投融资事件，其中12件来自医疗信息化建设，多为利用AI、语义识别、数据模型，挖掘诊疗信息，连接院内院外平台等类别的企业。受人工智能热潮影响，2017年辅助决策类共发生17次投融资事件，2018Q1共5起，预计未来将会有更多资本进入该领域。2.4健康医疗大数据社会结构老龄化及不良习惯诱导身体不适，提升人均就医次数至5.8。2017年，我国65岁以上人口占比11.4%，出生率12.43%（2016年出生率12.95%），人口结构呈现老龄化趋势。以2013年为基础，65岁以上人群两周就诊率26.4%，且在现代生活习惯的影响下，糖尿病、高血压等慢性病发病率也在不断提升。金准人工智能专家认为诊疗人次仍将持续上升，医疗体系也将面临巨大压力。2.5健康医疗大数据技术利好采集技术成熟促使数据爆发性增长，数据价值急需被挖掘。健康医疗大数据领域涉及的相关技术范围非常广，如底层数据采集中包括信息化、物联网、5G技术，处理分析中包括深度学习、认知计算、区块链、生物信息学及医院信息化建设等。据IBM统计，全球大健康数据正以每年48%的速度增长，在2020年数据量将超过2300Exabytes。金准人工智能专家预估2020年，全球健康物联网设备出货量将达到161万台。院内数据方面，金准人工智能专家在2016年统计，医院管理信息系统整体已实施比例在70-80%之间，且集中于三级医疗机构，大量健康医疗数据的积累为算法搭建提供了基础。在处理分析方面，人工智能、生物信息学需要与实际应用场景相结合，以便搭建有效模型。二、大数据在健康医疗行业中发展概况1.健康医疗大数据分类及应用本篇报告将健康医疗大数据分为三大类，院外数据、院内数据以及基因数据。院外数据包括健康档案、智能硬件体征及环境监测/检测，院内数据包括就医行为、临床诊疗等，基因数据包括外显子、全基因等。在具体场景应用方面，多为不同种类的数据相互交叉结合应用，如预防预警，需要结合智能硬件监测、诊疗用药历史等数据才能为用户提供及时的预警监测。2. 多项细分场景同时探索，辅助诊断将首先迎来商业化健康医疗大数据行业以数据规模为基础，且在政策和资本鼓励下，部分应用场景进入市场启动期，如健康管理、辅助决策（全科辅助决策、影像病理辅助诊断等）、医疗智能化等。下一阶段，随着企业大数据/AI技术长期的应用实践探索，产品不断更新完善，预估2-5年的内，产品将首先在B端客户中进行推广；随后，伴随软件友好度和准确度的上升，在B端客户使用的影响下，C端市场将展开竞争。3.健康医疗大数据产业链概述始于用户，终于用户。健康医疗大数据产业链的上游是数据供应商（医疗机构等）或存储计算服务（云服务商。中游为产业链核心企业，多为具有影像识别、深度学习、自然语义分析等核心技术的技术型企业。该类企业可为聚集了大量健康医疗相关数据的机构提供数据处理服务，在分析及可视化后赋予数据价值。下游为应用场景，分为B端和C端。B端包括医院、药企、政府、保险、PBM等企业，其最终的目的是提升医疗服务的效率和质量，降低患者及健康人群的就医费用。3.1健康医疗大数据上游现状数据已成规模，院内数据在样本质量与规模中胜出。健康医疗大数据产业链上游所提供数据的质量与样本量将决定，中游企业是否可以快速有效的进行模型训练。整体来看，院内、院外及基因数据供应方均面临三个问题，质量、样本量及安全。1）院内数据在质量和规模上最具竞争力。各省市TOP级的三级医疗机构多存有高质量的诊疗数据，且已具备一定规模。医院外联系统中多存有大量就医行为数据，然而这类数据的应用将依赖政策指导，且面临隐私安全等文图。2）基因数据为企业的核心资源，已具备一定规模和质量，且多由中游企业自建数据库自行采集，或者通过与实验室合作的方式获取。3）健康类数据多由智能硬件或在线医疗企业采集，该类数据增长快速，但是维度多且缺乏整合，质量参差不一。3.2健康医疗大数据中游现状北京大数据先行，上海、广东、浙江紧随。金准人工智能专家就IT桔子中正在进行融资的103家创业公司分析，发现主要集中在北上广深一线城市，该现象受医疗资源、政府态度、医生接受度三方面影响。1）北上广深拥有多家TOP级三甲医院，优质医疗资源丰富且信息化程度高，因此企业能够获得可观的高质量数据样本；2）初期阶段，医疗大数据技术的探索多由地方政府拨款支持，如2018年2月由北京大学医学部和大数据研究院共同筹备建立北京大学健康医疗大数据研究中心。因此地方性政策支持变得尤为重要；3）一线城市的医生对新技术接受程度较高，因此在产品上市后相对较易试运行。3.3院外数据之应用场景大数据及AI技术，提升企业用户服务规模及能力平安好医生IPO报告中公布，2017年互联网医疗市场规模达到150亿元人民币，在线咨询量达到23.8千万次。由此可见，互联网医疗可触达的用户规模将越来越大，而仅靠医生或相关从业人员在后台回答问题并不能满足日益增长的用户量。因此，企业需依赖大数据或AI等技术优化问诊、健康/慢病管理等产品的功能，从而有效满足用户需求，最终提升付费率。此外，对于不断扩张的企业，大数据及AI技术辅助提升服务效率，降低人力成本；使得在付费率低的情况下（好医生IPO披露2017年付费转化率为2.7%），也可以形成稳定的营收与较高的利润率。金准人工智能专家认为，随着企业AI智能分诊、AI健康管理路径等模型成熟且全面应用后，院外数据的应用市场将进入快速成长期。3.4院外数据的商业路径核心能力提升用户健康，延伸能力创造商业价值。能够提供健康管理服务的企业主要分类两类。一类是偏健康数据收集类企业，针对健康或慢病人群提供饮食、运动等个性化健康方案。另一类是偏轻问诊类，提供智能分诊、轻问诊、预约、转诊等服务。目前，C端服务盈利能力有限，部分企业依托其健康管理或问诊能力，为企业端客户服务。如妙健康依托其多维度健康数据及平台搭建能力，为雇主提供内部员工的健康管理服务，为疾控慢病中心搭建健康信息平台提供技术服务。如平安好医生结合其终端智能应用，为用户提供智能分诊，为医生提供辅助决策等服务，辅助政府搭建区域信息化。数据到行为干预仍需过程，企业付费是首选。大部分移动医疗公司在经历了4-5年数据沉淀后，积累了大量的数据样本，然而如何通过技术将其转化为可被解读的报告仍需时间。目前，健康医疗大数据行业的支付方主要集中在B端，包括医院、药企、药店、保险、政府等多类企业；且在主要支付方中，药企、保险已形成了一定的支付习惯。健康医疗大数据的收费方式有多种，包括项目制、Saas服务收费、软件租赁费、增值服务费等；前三种为现阶段主要的收费方式，而增值服务费将随着大数据及AI应用场景的增多而增加。3.5院内数据之应用场景大数据技术应用广泛，以提升诊疗及管理效率为主。在研发成本、运营成本的不断提升下，医疗机构、药企、药店、保险等机构或企业均急需一套解决方案，以便在降低临床研发、运营管理、营销成本的同时提升顾客满意度，最终增加营收。该类企业利用人工智能技术分析挖掘已有信息，为医疗机构、药企提供有效的改善运营、提升服务效率的解决方案。目前，提供相关业务的企业主要来自三种，1）创业型，多为AI技术公司，如推想、羽医甘蓝、博识医疗语音等技术型企业；2）信息化/互联网等企业新业务拓展，如东软医疗的区域信息化、微医的微医云业务等；3）政府主导的健康医疗大数据集团，如中电集团将在程度规划、建设和运营国家健康医疗大数据平台，开展健康医疗领域的数据汇集、治理、共享开放和应用生态建设。3.6院内数据的商业路径依托技术与数据，收费模式玩法多。就院内数据付费方来看，药企、体检的付费意愿及能力最强；医院、保险、药店等机构企业的付费意愿较弱，需要时间进行市场培育。此外，在商业化道路上，医学影像类公司也可以针对器械、美容等高端机构进行产品研发，满足其高端用户的服务及心理需求。现阶段，针对不同客户常见收费方式有三种，1）软件租赁或解决方案，企业为医院机构或政府（省市卫计委）搭建系统或软件服务（语音录入、电子病历搜索等），获取一定技术服务费或软件租赁费。2）数据分析收入，企业为体检机构提供影像识别服务，提高影像读取效率；或利用机器学习为药企提供服务，以便提高药物发现的“命中”几率。3）产品绑定，将成熟模型与健康医疗器械绑定，辅助提升其市场竞争力。大数据企业将获得一定比例的提成或资源。4）按使用次数收费，未来AI技术在获得三类器械认证后，患者可在就医时实现按次付费。细分之辅助决策辅助诊断替代医生重复性工作，减少近八成工作量。辅助决策类企业采用的技术多为认知计算、深度学习、计算机视觉、自然语言处理。针对科室或疾病领域的不同，其领域也不同，包括影像辅助诊断、病理辅助诊断及全科辅助决策等。其中全科辅助决策准确率85%左右，仍有较大提升空间；影像和病理辅助诊断的准确率超过90%，其产品正在落地中。现阶段，各企业主认为辅助诊断的价值在于为医生提供病灶性状描述、自动生成报告、精准定位病灶，降低漏检风险。1）针对三甲医院医生，辅助诊断将替代医生重复性工作，为其提供更多的信息，以便医生制定最佳的治疗方案。或者在短时间内监测患者的肿瘤变化，以便医生及时观察患者术后恢复情况。该类解决方案单价较高，从几十万到上百万均有。2）针对基层医疗机构，系统将直接给出结果，快速有效的进行肿瘤的初筛，提高基层医生的诊疗效率及质量，释放医疗资源。针对基层医疗机构的解决方案价格相对低一些，未来可能以按次收费为主。3）全科辅助决策，将帮助大型三级医院或在线医疗公司实现快速分诊，提升效率。其价格将在几万到几十万之间。细分之辅助诊断降低数据标注成本，构建临床应用流程。行业发展初期，企业的主要困境集中在产品研发落地阶段。在研发落地过程中，企业需要不断丰富数据库，发现CornerCase。目前，大多企业进行数据标注主要来源以下三种形式，人工标注、机器标注以及医院已有结构化数据。1）人工标注为主流方式，该方式能够提供较高质量的标注数据，但也面临着高成本的问题。原因是，数据标注人员多为医生或具备临床经验的执业医生或医学生，该类人员收费较高每人每天在百元以上，且一张图标注时长多达半小时。2）机器标注，体素科技提出了AFT*标注法，将主动学习和迁移学习整合成单一框架。在肠镜检查帧分类、息肉监测和肺帅塞检测中表明该类标注成本至少可以减少一半。3）已有结构化数据，医院本身会存储一定量的结构数据，然而该部分数据仍要在处理筛选后才可使用。此外，针对新技术的应用，医疗机构缺乏相应的上线流程，因此，企业在模型训练过程中，建立可复制的临床流程与标准，针对不同层级医疗机构的应用场景提供有效解决方案是关键所在。基因数据的快速发展临床与消费基因需求增长，促使数据分析产业前行。金准人工智能专家整理公开数据显示，全球基因测序数据分析市场规模发展迅速，2012年市场规模不超过2亿美元，预计2018年将接近6亿美元，复合增长率为22.7%。金准人工智能专家分析认为，随着高通量测序设备的广泛应用，基因数据量也呈倍数增长。数据量的增长，也使得基因测序的工作重心从繁重的人工测序转到了中游的数据分析上。下游临床应用及消费基因的成熟，为数据分析提供了客观的支付方。因此在应用终端的推动下，中游数据分析产业将迎来快速增长，现阶段生物信息公司业务往往大而杂，而专注某一医疗领域的生物信息公司（如精准癌症）少之又少。国内市场专注基因组数据分析的生物信息公司并不多，该领域值得期待。三、典型企业案例分析1.平安好医生：探索AI应用落地，提升服务效率与能力平安好医生创建于2014年8月，自成立之初便开始布局AI+医疗项目。目前，好医生涉及的主要项目包括“AI助手”、“现代华佗计划”、“家庭医生”和“一分钟诊所”，“AI助手”主要应用于线上辅助问诊环节，“现代华佗计划”致力于中医行业的标准化、信息化、智能化，“家庭医生”运用智能问诊等技术，运用于家庭端医疗健康管理，“一分钟诊所”除智能问诊外、还推出智能诊断、智能药方，协助医生问诊。平安好医生已于2018年5月于港交所挂牌上市，成为互联网医疗第一股，股票代码01833.HK，融资11亿美元。平安好医生依托其AI+医疗技术，能大幅提升医疗服务效率及能力，以便覆盖更多的患者用户和B端客户。C端用户可在其移动APP、家庭智能终端等平台，接入平安好医生的家庭医生、健康管理、消费医疗及健康商城业务。针对B端客户，平安好医生可为其定制系统，并嵌入到机构或企业平台软件中。如，好医生将智能问诊系统接入三级医院信息化软件中，帮助其实现院内快速分诊；如为企业雇主开通PC端口，为其员工提供健康管理等服务，以提升雇主的竞争力。未来，好医生将在AI技术领域持续投入，不断寻求和领先研究机构、大学及企业的合作机会，以实现在AI技术研发和应用上的资源整合、优势互补。2.妙健康：基于健康行为大数据+AI的健康管理模式企业简介：妙健康隶属于三胞集团，全称为北京妙医佳信息技术有限公司，致力于打造为集健康数据收集、健康行为干预、健康增值服务于一体的综合性健康管理平台。妙健康至今已完成4.5亿元融资，投资机构包括阳光融汇资本、中信资本、农银无锡基金、江中中医药基金等。业务模式：妙健康已通过自身的优势在移动健康管理领域拓展出多种新型的B2B2C模式，如：健康管理+保险、健康管理+运营商、健康管理+新零售、健康管理+员工福利等，并已与中国联通、华为、阳光保险等诸多国际知名品牌达成合作。大数据布局：在数据采集方面，妙健康通过健康数据及服务开放平台“妙+”接入多维度数据；在数据分析方面，妙健康通过自建数据AI团队（公司规模200人，研发团队占比60%）及外部合作（阿里云等）两种方式提升人工智能在健康管理领域的应用水平。在终端应用方面，妙健康以移动端APP作为入口为用户提供健康管理服务，探索以健康行为大数据和人工智能为基础的新型健康管理模式。3.蓝信康：数据提升健康，数据驱动智能企业简介：蓝信康隶属上海科瓴医疗科技有限公司，是旗下的互联网服务品牌。公司成立于2014年10月，致力为B端企业客户提供健康管理和会员管理的SaaS解决方案。2016年3月，蓝信康获得永太科技和盈科资本联合投资的2500万元人民币A轮融资。业务模式：蓝信康结合智能硬件、云端算法技术和智能化管理系统，对合作客户的会员、健康和用药进行大数据分析，为B端客户（药店、医院、药企等）提供慢病管理、会员管理、健康咨询和专业培训等一系列服务。4.金蝶医疗：区域电子病历系统，实现共享互联企业简介：金蝶医疗作为科技创新企业，为中国医疗健康行业提供信息化和互联网化整体解决方案。目前，已有3000家医院与医疗卫生机构选择金蝶医疗“数字化医院”、“移动互联网医院”、“云医院”、“HRP”等产品与解决方案，其中500家医院已与金蝶医疗共建“移动互联网医院”。金蝶医疗旨在构建医疗健康科技服务平台，助力医院适应医疗新业态，与中国医疗机构一起构建中国医疗服务新模式。项目简介：2017年，金蝶医疗为佛山市打造了区域电子病历共享信息平台，辅助提升当地诊疗水平，提高区域医疗服务质量。该平台系统搭建包括区域电子病历库标准体系、区域级卫生数据库（居民电子病历数据库、健康档案库）的共享使用，主要服务人群是医生、医院、患者/居民。目前，平台上已有3家试点医院正正式接入。5.阿里、百度、腾讯健康医疗大数据产业链差异化布局BAT企业在健康医疗大数据布局中略有差异。阿里着力产业链中游，以构建云服务、AI技术为重点；腾讯以应用端为主，构建多个线上医疗服务入口的同时承接了多项线下服务相关项目；百度在2017年医疗战略调整后，将重心放在AI技术应用的新药研发领域上。金准人工智能专家认为，2018年，阿里将寻求多领域的B端应用落地的合作方（区域医疗、基因、辅助诊断等）。腾讯在承接多个区域医疗、信息平台等B端应用项目后，将寻求更多技术合作方来共同搭建完成。5.1阿里：云为支点，布局医疗智能化，服务企业端客户阿里系中涉及健康医疗领域的主要有阿里健康、阿里云。2014年，阿里健康推出APP，为C端用户提供在线购药、问诊等服务，2016年天猫医药馆并入，期间投资布局围绕医药流通进行；2015年推出云医院平台；2017年推出DoctorYou，通过B-B-C的模式为医生提供辅助诊断、医生培训等服务。阿里云，主要针对B端客户（医疗机构、基因测序）提供云计算服务及智能化的运营管理软件服务。5.2腾讯：与线上线下医疗服务方深入合作，探索大数据价值2013年，腾讯依托其流量优势，上线了微信智慧医院，2017年3.0版本中加入了AI导诊等技术。期间，腾讯针对其线上问诊服务，与近10家在线医疗企业进行了合作，且同时期与多家健康医疗APP合作，力图打造从数据监测到健康医疗服务的闭环生态。2017、2018年，腾讯将医疗市场拓展至线下，与多地政府、医院合作，探索大数据、深度学习在医疗服务、医院管理及区域信息化领域内应用场景的探索。五、大数据应用在健康医疗中遇到的挑战及趋势1.法规滞后减缓行业发展速度，市场应用仍需培育2.AI技术填补大数据到信息转化路径的空白，完善产品价值健康医疗数据多具有非结构化特性，以往的数据分析软件多针对结构化数据进行研发应用。人工智能（自然语义处理、卷积神经技术、机器学习等）技术的成熟与应用，开启了健康医疗的“大数据时代”，为如影像类的非结构化数据应用提供了可能性。发展初期，企业端客户市场远大于用户端。在行业发展初期，企业端客户的购买需求、支付意愿和能力远大于用户端，因此企业端客户是健康医疗大数据企业主要支付方。医院药企是最早的支付方，如湘雅，2014年围绕数据互联互通、区域信息、精细化管理进行系统搭建。2016年，21家医院的肿瘤专家与IBMWatson进行合作获得个性化服务。药企，如默沙东，2015年将人工智能技术应用到药品研发中。随后，在2016、2017年，更多的药企、体检机构通过合作、收购等方式先后进入市场。金准人工智能专家认为，在市场初步探索后，政府、医院、药企、体检等企业将成为健康医疗大数据的主要支付方。发展中期，用户端付费将带来更多可能性。随着行业发展，产品、用户教育及上下游产业的逐渐成熟，服务于用户端的企业将迎来无限商机。如，影像识别、基因测序在经过临床验证后，作为常规检测项目，将列入医保或健康险的可报销项目。健康慢病管理场景下，用户线上进行的建议、干预、上下转诊等健康或轻医疗服务的收费模式也将更加灵活多变，形成以按次、按会员、按年卡等多种收费形式。长期来看，协同竞争者将成为赢家。金准人工智能专家认为，在健康管理、慢病管理以及诊前、诊中、诊后环节打通的场景下，单家企业或机构的服务供给能力有限。只有依赖多方角色协同合作，配合提供健康医疗服务，才能满足用户需求。未来健康医疗产业中的胜出方，不单再是个体，而是不同领域的企业共同合作完成的生态体系。因此，企业在构建核心优势的同时，还需要具备战略眼光，及发现投资优秀合作伙伴的能力。该体系的核心产业包括健康医疗大数据公司、医生、健康医疗服务提供方，辅助产业包括数据采集方（智能硬件等、区域信息平台）、运营商、物流服务、云服务等。总结金准人工智能专家认为，假设2022年人工智能技术辅助决策应用应用落地，市场规模将达到55.86亿元人民币，其收费模式将包括软硬件解决方案、软件搭载、按次收取等多种方式。健康医疗大数据快速发展的先决条件有三条，1）政策支持，顶层政策推动的同时，各类细节管理办法也要及时跟上市场发展；如，CFDA需要就基于人工智能技术的临床应用，开发新的监管框架，为申请三类证开通通道。2）市场认可，健康医疗大数据及AI技术的临床及商业价值快速被市场认同，即企业客户与患者用户均具备一定的数据消费意愿与能力。3）资本支持，大数据及AI技术的应用研发需要大量资金支持，在产品尚未全面铺开时，市场需要资本不断的注入以维持研发能力。

近些年人工智能 “井喷”，全方位渗透到衣食住行各个方面，医疗行业也是如此，“人工智能+医疗”进入了快车道，2017年也被行业内称为“医疗人工智能发展元年”，尤其是在超声读片、影像分析等易于建立标准的领域，机器人有着绝佳的工作效率与准确率。市场研究公司CB Insights2018年发布的《顶尖医疗类人工智能趋势观察报告》，总结了全球人工智能医疗领域的现状。报告中指出，医疗已成为AI行业重要的研究和应用领域。2018年二季度，医疗领域AI公司的股权融资已经触及历史最高位。【智能医疗在江苏】在江苏，医疗AI也已经应用到实际临床一线中。2017年9月份，有“最强医学大脑”之称的人工智能“沃森”正式进入南京市第一医院肿瘤科，这也是江苏省第一台“医疗人工智能”。医生只要在“沃森”的肿瘤系统中输入患者的肿瘤类型、分期，是否转移等多项信息后，“沃森”就能根据超过300种医学期刊、250种肿瘤专著和1500万论文研究的“大数据”，给出专业的推荐方案、用药和治疗建议，而这样“思考”的时间，只需要10秒钟左右。其实，“沃森”的两个优势就在于：一是学习的能力，现代医学日新月异，一天24小时都不足以让一位肿瘤科医生阅读完世界上最新的文件，但“沃森”可以；二是辅助决策，在每次“沃森”的分析单中，都会给出具体方案的使用病例数，生存率、不良反应率等，帮助医生来权衡疗效和风险。【未来趋势】1、癌症治疗利用人工智能和精准医疗治疗癌症。在推动精准医学的发展上，人工智能也发挥着巨大的作用。早在2011年，美国国家科学院、美国国立卫生研究院、美国国家工程院以及美国国家科学委员会就共同发出了“迈向精准医学”的倡议。随着大数据和人工智能的发展，精准医疗的发展也获得了相应的技术基础。人工智能在癌症诊断的准确性方面，已经取得了很大的进展。借助大数据和人工智能，医生可以检测出不同癌症病人的不同病变，找到个性化的用药，并进而利用人工智能完成换药和配药工作，大大降低了治疗的成本。2、智能诊疗智能诊疗就是将人工智能技术应用于疾病诊疗中，计算机可以帮助医生进行病理，体检报告等的统计，通过大数据和深度挖掘等技术，对病人的医疗数据进行分析和挖掘，自动识别病人的临床变量和指标。计算机通过“学习”相关的专业知识，模拟医生的思维和诊断推理，从而给出可靠诊断和治疗方案。智能诊疗是人工智能在医疗领域最重要、也最核心的应用场景。3、医疗机器人目前，关于机器人在医疗界中的应用的研究主要集中在外科手术机器人、康复机器人、护理机器人和服务机器人方面。国内医疗机器人领域也经历了快速发展，进入了市场应用。医疗机器人，这个原本只存在于科幻小说、科幻电影中的神奇物种，正在慢慢渗透我们的生活，并逐渐成为新的创业和投资热点。相信在不远的将来，守护机器人一定可以研发出来，成为我们生活中的一员。4、健康管理根据人工智能而建造的智能设备可以监测到人们的一些基本身体特征，如饮食、身体健康指数、睡眠等。对身体素质进行简单的评估，提供个性的健康管理方案，及时识别疾病发生的风险，提醒用户注意自己的身体健康安全。目前人工智能在健康管理方面的应用主要在风险识别、虚拟护士、精神健康、在线问诊、健康干预以及基于精准医学的健康管理。作者雪雁 编辑尹嚞 图片喆喆 网络欢迎转载点评，转载请注明来源

亿欧智库发布的《2019中国医疗人工智能市场研究报告》中，重点剖析了五大应用场景下人工智能的发展水平和市场应用情况。那么，身处其中的企业在实现商业化的过程中需要经历怎样的考验？需要说明的是，目前医疗人工智能的整体生态可以采用“层级”来描述，本文要讨论的是位于中层的技术提供商——AI企业。从走出实验室到实现商业化，企业面临的不仅仅是场景的变化。除了打磨产品、落地推广之外，还要跨过较高的准入门槛审评审批要求，刺中刚需、得到信任、产生流水、实现盈利、形成稳定可持续的商业模式。大体上，商业化进程包括数据获取、技术验证、注册审批、市场准入、定价、商业模式验证六个环节。通过注册审批是一张“入场券”注册审批是企业在现阶段较为关注的问题，我国在这一工作上亮点颇多。首先，我国借鉴国际先进经验，在规则制定、流程设定、指标制定等方面参考美国做法。2017年7月，FDA发布数字健康创新行动计划，降低注册审批门槛，旨在加速医疗AI产品落地进程。截至2018年末，FDA已审批通过17款医疗AI产品（或服务）。尤其是第一个通过FDA审批的医疗AI诊断产品——IDx-DR出现后，其注册审批流程成为我国研究医疗AI产品注册审批的典型学习参考案例。其次，以安全为前提，鼓励创新。我国在创新医疗器械审评审批方面的基本理念是保障医疗器械安全、有效，鼓励医疗器械研究与创新，设置绿色通道，促进医疗器械新技术的推广和应用。而美国的理念是鼓励企业创新、简化监管程序、采取科学评估方法，加快向 患者提供新颖、安全、有效的医疗器械产品，以最小工作量、关键路径为基本原则。相比之下，我国严格把控“安全”关口，收紧企业入场口径，同时又鼓励创新，支持优质产品尽快应用。目前，我国已公布分类目录、审批流程及要点文件，并进行注册审批公益培训，相关工作正在稳步推进。这一过程时间较长、要求十分严格。不过，企业普遍认为三类证审批的进程正在以正常速度进行，国家方面对于注册审批的反应较为迅速。跨过注册审批的门槛，只是拿到了“入场券”。医疗人工智能商业化的挑战还不止于此。行业标准需完善、医疗场景的黑匣子问题、议价能力未知、算法风险大、利益相关者复杂程度高等因素都将是商业化进程中的考验。行业标准亟须出台医疗场景下，数据脱敏需求强烈、数据操作合规性要求高。标准的暂时缺位无疑会影响这一领域的应用推广，因此我们需要建立数据标准。除此之外，医疗人工智能产品的技术方法、测试指标等也亟须出台。黑匣子问题是重要考量因素　在大多数行业中，理解系统工作机理并不是必要的。但是在医疗领域，产品使用者（医生等专业人员）需要了解目前所使用的产品提出诊断或决策建议的机理，以确认算法是真的合理还是“歪打正着”，需要保证不会因为其中的缺陷导致重大医疗事故。议价能力是企业未来的优势项　现阶段，医疗人工智能产品并不在医院收费项内，因此企业很难实现商业化运营。但目前各细分领域企业已经开始抢占市场，部分细分领域的市场份额绝对占有者已经出现，在未来市场准入机制完备时，先发优势将有助企业拥有差异化议价能力。汹涌的AI浪潮比政策、规范、准入等的进程要快得多，所以在医疗人工智能成为常态之前，无可避免地会存在一个“价值探寻”时期。随着产品从设想走向研发，再走向临床、嵌入如今的医疗体系、实现商业化，医疗AI面对的情况越来越复杂，越来越从高高在上的幻想落到实处。这个过程需要技术到位、制度到位、规范到位、标准到位，不可片面追求速度、敷衍了事；对于企业，天马行空的设想会逐渐在技术验证和商业验证中见真章，只有真的钻透，有大量积累、水平过硬的企业才能存活。

目录了解问题要求技能数据获取结构化数据准备文本数据-自然语言处理获取图像特征-迁移学习输入管道-数据生成器编-解码器模型-训练，贪婪搜索，束搜索，BLEU注意机制-训练，贪婪搜索，束搜索，BLEU摘要未来工作引用1.了解问题图像字幕是一个具有挑战性的人工智能问题，它是指根据图像内容从图像中生成文本描述的过程。例如，请看下图：一个常见的答案是“一个弹吉他的女人”。作为人类，我们可以用适当的语言，看着一幅图画，描述其中的一切。这很简单。我再给你看一个：好吧，你怎么形容这个？对于我们所有的“非放射科医生”，一个常见的答案是“胸部x光”。对于放射科医生，他们撰写文本报告，叙述在影像学检查中身体各个部位的检查结果，特别是每个部位是正常、异常还是潜在异常。他们可以从一张这样的图像中获得有价值的信息并做出医疗报告。对于经验不足的放射科医生和病理学家，尤其是那些在医疗质量相对较低的农村地区工作的人来说，撰写医学影像报告是很困难的，而另一方面，对于有经验的放射科医生和病理学家来说，写成像报告可能是乏味和耗时的。所以，为了解决所有这些问题，如果一台计算机可以像上面这样的胸部x光片作为输入，并像放射科医生那样以文本形式输出结果，那岂不是很棒？2.基本技能本文假设你对神经网络、cnn、RNNs、迁移学习、Python编程和Keras库等主题有一定的了解。下面提到的两个模型将用于我们的问题，稍后将在本博客中简要解释：编解码器模型注意机制对它们有足够的了解会帮助你更好地理解模型。3.数据你可以从以下链接获取此问题所需的数据：图像-包含所有的胸部X光片：http://academictorrents.com/details/5a3a439df24931f410fac269b87b050203d9467d报告-包含上述图像的相应报告：http://academictorrents.com/details/66450ba52ba3f83fbf82ef9c91f2bde0e845aba9图像数据集包含一个人的多个胸部x光片。例如：x光片的侧视图、多个正面视图等。正如放射科医生使用所有这些图像来编写报告，模型也将使用所有这些图像一起生成相应的结果。数据集中有3955个报告，每个报告都有一个或多个与之关联的图像。3.1 从XML文件中提取所需的数据数据集中的报表是XML文件，其中每个文件对应一个单独的。这些文件中包含了与此人相关的图像id和相应的结果。示例如下：突出显示的信息是你需要从这些文件中提取的内容。这可以在python的XML库的帮助下完成。注：调查结果也将称为报告。它们将在博客的其他部分互换使用。import xml.etree.ElementTree as ETimg = []img_impression = []img_finding = []# directory包含报告文件for filename in tqdm(os.listdir(directory)): if filename.endswith(".xml"): f = directory + '/' + filename tree = ET.parse(f) root = tree.getroot() for child in root: if child.tag == 'MedlineCitation': for attr in child: if attr.tag == 'Article': for i in attr: if i.tag == 'Abstract': for name in i: if name.get('Label') == 'FINDINGS': finding=name.text for p_image in root.findall('parentImage'): img.append(p_image.get('id')) img_finding.append(finding)4.获取结构化数据从XML文件中提取所需的数据后，数据将转换为结构化格式，以便于理解和访问。如前所述，有多个图像与单个报表关联。因此，我们的模型在生成报告时也需要看到这些图像。但有些报告只有1张图片与之相关，而有些报告有2张，最多的只有4张。所以问题就出现了，我们一次应该向模型输入多少图像来生成报告？为了使模型输入一致，一次选择一对图像（即两个图像）作为输入。如果一个报表只有一个图像，那么同一个图像将被复制为第二个输入。现在我们有了一个合适且可理解的结构化数据。图像按其绝对地址的名称保存。这将有助于加载数据。5.准备文本数据从XML文件中获得结果后，在我们将其输入模型之前，应该对它们进行适当的清理和准备。下面的图片展示了几个例子，展示了清洗前的发现是什么样子。我们将按以下方式清理文本：将所有字符转换为小写。执行基本的解压，即将won’t、can’t等词分别转换为will not、can not等。删除文本中的标点符号。注意，句号不会被删除，因为结果包含多个句子，所以我们需要模型通过识别句子以类似的方式生成报告。从文本中删除所有数字。删除长度小于或等于2的所有单词。例如，“is”、“to”等被删除。这些词不能提供太多信息。但是“no”这个词不会被删除，因为它增加了语义信息。在句子中加上“no”会完全改变它的意思。所以我们在执行这些清理步骤时必须小心。你需要确定哪些词应该保留，哪些词应该避免。还发现一些文本包含多个句号或空格，或“X”重复多次。这样的字符也会被删除。我们将开发的模型将生成一个由两个图像组合而成的报告，该报告将一次生成一个单词。先前生成的单词序列将作为输入提供。因此，我们需要一个“第一个词”来启动生成过程，并用“最后一个词”来表示报告的结束。为此，我们将使用字符串“startseq”和“endseq”。这些字符串被添加到我们的数据中。现在这样做很重要，因为当我们对文本进行编码时，需要正确地对这些字符串进行编码。编码文本的主要步骤是创建从单词到唯一整数值的一致映射，称为标识化。为了让我们的计算机能够理解任何文本，我们需要以机器能够理解的方式将单词或句子分解。如果不执行标识化，就无法处理文本数据。标识化是将一段文本分割成更小的单元（称为标识）的一种方法。标识可以是单词或字符，但在我们的例子中，它将是单词。Keras为此提供了一个内置库。from tensorflow.keras.preprocessing.text import Tokenizertokenizer = Tokenizer(filters='!"#$%&()*+,-/:;<=>?@[]^_`{|}~ ')tokenizer.fit_on_texts(reports)现在，我们已经对文本进行了适当的清理和标识，以备将来使用。所有这些的完整代码都可以在我的GitHub帐户中找到，这个帐户的链接在本文末尾提供。6.获取图像特征图像和部分报告是我们模型的输入。我们需要将每个图像转换成一个固定大小的向量，然后将其作为输入传递到模型中。为此，我们将使用迁移学习。“在迁移学习中，我们首先在基本数据集和任务上训练基础网络，然后我们将学习到的特征重新指定用途，或将其转移到第二个目标网络，以便在目标数据集和任务上进行训练。如果特征是通用的，也就是说既适合基本任务也适合目标任务，而不是特定于基本任务，那此过程将趋于有效。”VGG16、VGG19或InceptionV3是用于迁移学习的常见cnn。这些都是在像Imagenets这样的数据集上训练的，这些数据集的图像与胸部x光完全不同。所以从逻辑上讲，他们似乎不是我们任务的好选择。那么我们应该使用哪种网络来解决我们的问题呢？如果你不熟悉，让我介绍你认识CheXNet。CheXNet是一个121层的卷积神经网络，训练于胸片X射线14上，目前是最大的公开胸片X射线数据集，包含10万多张正面视图的14种疾病的X射线图像。然而，我们在这里的目的不是对图像进行分类，而是获取每个图像的特征。因此，不需要该网络的最后一个分类层。你可以从这里下载CheXNet的训练权重：https://drive.google.com/file/d/19BllaOvs2x5PLV_vlWMy4i8LapLb2j6b/view。from tensorflow.keras.applications import densenetchex = densenet.DenseNet121(include_top=False, weights = None, input_shape=(224,224,3), pooling="avg")X = chex.outputX = Dense(14, activation="sigmoid", name="predictions")(X)model = Model(inputs=chex.input, outputs=X)model.load_weights('load_the_downloaded_weights.h5')chexnet = Model(inputs = model.input, outputs = model.layers[-2].output)如果你忘了，我们有两个图像作为输入到我们的模型。下面是如何获得特征：每个图像的大小被调整为 (224,224,3)，并通过CheXNet传递，得到1024长度的特征向量。随后，将这两个特征向量串联以获得2048特征向量。如果你注意到，我们添加了一个平均池层作为最后一层。这是有原因的。因为我们要连接两个图像，所以模型可能会学习一些连接顺序。例如，image1总是在image2之后，反之亦然，但这里不是这样。我们在连接它们时不保持任何顺序。这个问题是通过池来解决的。代码如下：def load_image(img_name):'''加载图片函数''' image = Image.open(img_name) image_array = np.asarray(image.convert("RGB")) image_array = image_array / 255. image_array = resize(image_array, (224,224)) X = np.expand_dims(image_array, axis=0) X = np.asarray(X) return XXnet_features = {}for key, img1, img2, finding in tqdm(dataset.values): i1 = load_image(img1) img1_features = chexnet.predict(i1) i2 = load_image(img2) img2_features = chexnet.predict(i2) input_ = np.concatenate((img1_features, img2_features), axis=1) Xnet_features[key] = input_这些特征以pickle格式存储在字典中，可供将来使用。7.输入管道考虑这样一个场景：你有大量的数据，以至于你不能一次将所有数据都保存在RAM中。购买更多的内存显然不是每个人都可以进行的选择。解决方案可以是动态地将小批量的数据输入到模型中。这正是数据生成器所做的。它们可以动态生成模型输入，从而形成从存储器到RAM的管道，以便在需要时加载数据。这种管道的另一个优点是，当这些小批量数据准备输入模型时，可以轻松的应用。为了我们的问题我们将使用tf.data。我们首先将数据集分为两部分，一个训练数据集和一个验证数据集。在进行划分时，要确保你有足够的数据点用于训练，并且有足够数量的数据用于验证。我选择的比例允许我在训练集中有2560个数据点，在验证集中有1147个数据点。现在是时候为我们的数据集创建生成器了。X_train_img, X_cv_img, y_train_rep, y_cv_rep = train_test_split(dataset['Person_id'], dataset['Report'], test_size = split_size, random_state=97)def load_image(id_, report): '''加载具有相应id的图像特征''' img_feature = Xnet_Features[id_.decode('utf-8')][0] return img_feature, reportdef create_dataset(img_name_train, report_train): dataset = tf.data.Dataset.from_tensor_slices((img_name_train, report_train)) # 使用map并行加载numpy文件 dataset = dataset.map(lambda item1, item2: tf.numpy_function(load_image, [item1, item2], [tf.float32, tf.string]), num_parallel_calls=tf.data.experimental.AUTOTUNE) # 随机并batch化 dataset = dataset.shuffle(500).batch(BATCH_SIZE).prefetch(buffer_size=tf.data.experimental.AUTOTUNE) return datasettrain_dataset = create_dataset(X_train_img, y_train_rep)cv_dataset = create_dataset(X_cv_img, y_cv_rep)在这里，我们创建了两个数据生成器，用于训练的train_dataset和用于验证的cv_dataset 。create_dataset函数获取id（对于前面创建的特征，这是字典的键）和预处理的报告，并创建生成器。生成器一次生成batch大小的数据点数量。如前所述，我们要创建的模型将是一个逐字的模型。该模型以图像特征和部分序列为输入，生成序列中的下一个单词。例如：让“图像特征”对应的报告为“startseq the cardiac silhouette and mediastinum size are within normal limits endseq”。然后将输入序列分成11个输入输出对来训练模型：注意，我们不是通过生成器创建这些输入输出对。生成器一次只向我们提供图像特征的batch处理大小数量及其相应的完整报告。输入输出对在训练过程中稍后生成，稍后将对此进行解释。8.编解码器模型sequence-to-sequence模型是一个深度学习模型，它接受一个序列（在我们的例子中，是图像的特征）并输出另一个序列（报告）。编码器处理输入序列中的每一项，它将捕获的信息编译成一个称为上下文的向量。在处理完整个输入序列后，编码器将上下文发送到解码器，解码器开始逐项生成输出序列。本例中的编码器是一个CNN，它通过获取图像特征来生成上下文向量。译码器是一个循环神经网络。Marc Tanti在他的论文Where to put the Image in an Image Caption Generator, 中介绍了init-inject、par-inject、pre-inject和merge等多种体系结构。在创建一个图像标题生成器时，指定了图像应该注入的位置。我们将使用他论文中指定的架构来解决我们的问题。在“Merge”架构中，RNN在任何时候都不暴露于图像向量（或从图像向量派生的向量）。取而代之的是，在RNN进行了整体编码之后，图像被引入到语言模型中。这是一种后期绑定体系结构，它不会随每个时间步修改图像表示。他的论文中的一些重要结论被用于我们实现的体系结构中。他们是：RNN输出需要正则化，并带有丢失。图像向量不应该有一个非线性的激活函数，或者使用dropout进行正则化。从CheXNet中提取特征时，图像输入向量在输入到神经网络之前必须进行归一化处理。嵌入层：词嵌入是一类使用密集向量表示来表示单词和文档的方法。Keras提供了一个嵌入层，可以用于文本数据上的神经网络。它也可以使用在别处学过的词嵌入。在自然语言处理领域，学习、保存词嵌入是很常见的。在我们的模型中，嵌入层使用预训练的GLOVE模型将每个单词映射到300维表示中。使用预训练的嵌入时，请记住，应该通过设置参数“trainable=False”冻结层的权重，这样权重在训练时不会更新。模型代码：input1 = Input(shape=(2048), name='Image_1')dense1 = Dense(256, kernel_initializer=tf.keras.initializers.glorot_uniform(seed = 56), name='dense_encoder')(input1)input2 = Input(shape=(155), name='Text_Input')emb_layer = Embedding(input_dim = vocab_size, output_dim = 300, input_length=155, mask_zero=True, trainable=False, weights=[embedding_matrix], name="Embedding_layer")emb = emb_layer(input2)LSTM2 = LSTM(units=256, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer=tf.keras.initializers.glorot_uniform(seed=23), recurrent_initializer=tf.keras.initializers.orthogonal(seed=7), bias_initializer=tf.keras.initializers.zeros(), name="LSTM2")LSTM2_output = LSTM2(emb)dropout1 = Dropout(0.5, name='dropout1')(LSTM2_output)dec = tf.keras.layers.Add()([dense1, dropout1])fc1 = Dense(256, activation='relu', kernel_initializer=tf.keras.initializers.he_normal(seed = 63), name='fc1')fc1_output = fc1(dec)output_layer = Dense(vocab_size, activation='softmax', name='Output_layer')output = output_layer(fc1_output)encoder_decoder = Model(inputs = [input1, input2], outputs = output)模型摘要：8.1 训练损失函数：为此问题建立了一个掩蔽损失函数。例如：如果我们有一系列标识[3],[10],[7],[0],[0],[0],[0],[0]我们在这个序列中只有3个单词，0对应于填充，实际上这不是报告的一部分。但是模型会认为零也是序列的一部分，并开始学习它们。当模型开始正确预测零时，损失将减少，因为对于模型来说，它是正确学习的。但对于我们来说，只有当模型正确地预测实际单词（非零）时，损失才应该减少。因此，我们应该屏蔽序列中的零，这样模型就不会关注它们，而只学习报告中需要的单词。loss_function = tf.keras.losses.CategoricalCrossentropy(from_logits=False, rection='auto')def maskedLoss(y_true, y_pred): #获取掩码 mask = tf.math.logical_not(tf.math.equal(y_true, 0)) #计算loss loss_ = loss_function(y_true, y_pred) #转换为loss_ dtype类型 mask = tf.cast(mask, dtype=loss_.dtype) #给损失函数应用掩码 loss_ = loss_*mask #获取均值 loss_ = tf.rece_mean(loss_) return loss_输出词是一个one-hot编码，因此分类交叉熵将是我们的损失函数。optimizer = tf.keras.optimizers.Adam(0.001)encoder_decoder.compile(optimizer, loss = maskedLoss)还记得我们的数据生成器吗？现在是时候使用它们了。这里，生成器提供的batch不是我们用于训练的实际数据batch。请记住，它们不是逐字输入输出对。它们只返回图像及其相应的整个报告。我们将从生成器中检索每个batch，并将从该batch中手动创建输入输出序列，也就是说，我们将创建我们自己的定制的batch数据以供训练。所以在这里，batch处理大小逻辑上是模型在一个batch中看到的图像对的数量。我们可以根据我们的系统能力改变它。我发现这种方法比其他博客中提到的传统定制生成器要快得多。由于我们正在创建自己的batch数据用于训练，因此我们将使用“train_on_batch”来训练我们的模型。epoch_train_loss = []epoch_val_loss = []for epoch in range(EPOCH): print('EPOCH : ',epoch+1) start = time.time() batch_loss_tr = 0 batch_loss_vl = 0 for img, report in train_dataset: r1 = bytes_to_string(report.numpy()) img_input, rep_input, output_word = convert(img.numpy(), r1) rep_input = pad_sequences(rep_input, maxlen=MAX_INPUT_LEN, padding='post') results = encoder_decoder.train_on_batch([img_input, rep_input], output_word) batch_loss_tr += results train_loss = batch_loss_tr/(X_train_img.shape[0]//BATCH_SIZE) with train_summary_writer.as_default(): tf.summary.scalar('loss', train_loss, step = epoch) for img, report in cv_dataset: r1 = bytes_to_string(report.numpy()) img_input, rep_input, output_word = convert(img.numpy(), r1) rep_input = pad_sequences(rep_input, maxlen=MAX_INPUT_LEN, padding='post') results = encoder_decoder.test_on_batch([img_input, rep_input], output_word) batch_loss_vl += results val_loss = batch_loss_vl/(X_cv_img.shape[0]//BATCH_SIZE) with val_summary_writer.as_default(): tf.summary.scalar('loss', val_loss, step = epoch) epoch_train_loss.append(train_loss) epoch_val_loss.append(val_loss) print('Training Loss: {}, Val Loss: {}'.format(train_loss, val_loss)) print('Time Taken for this Epoch : {} sec'.format(time.time()-start)) encoder_decoder.save_weights('Weights/BM7_new_model1_epoch_'+ str(epoch+1) + '.h5')代码中提到的convert函数将生成器中的数据转换为逐字输入输出对表示。然后将剩余报告填充到报告的最大长度。Convert 函数：def convert(images, reports): '''此函数接受batch数据并将其转换为新数据集''' imgs = [] in_reports = [] out_reports = [] for i in range(len(images)): sequence = [tokenizer.word_index[e] for e in reports[i].split() if e in tokenizer.word_index.keys()] for j in range(1,len(sequence)): in_seq = sequence[:j] out_seq = sequence[j] out_seq = tf.keras.utils.to_categorical(out_seq, num_classes=vocab_size) imgs.append(images[i]) in_reports.append(in_seq) out_reports.append(out_seq) return np.array(imgs), np.array(in_reports), np.array(out_reports)Adam优化器的学习率为0.001。该模型训练了40个epoch，但在第35个epoch得到了最好的结果。由于随机性，你得到的结果可能会有所不同。注：以上训练在Tensorflow 2.1中实现。8.2 推理现在我们已经训练了我们的模型，是时候准备我们的模型来预测报告了。为此，我们必须对我们的模型作一些调整。这将在测试期间节省一些时间。首先，我们将从模型中分离出编码器和解码器部分。由编码器预测的特征将被用作我们的解码器的输入。# 编码器encoder_input = encoder_decoder.input[0]encoder_output = encoder_decoder.get_layer('dense_encoder').outputencoder_model = Model(encoder_input, encoder_output)# 解码器text_input = encoder_decoder.input[1]enc_output = Input(shape=(256,), name='Enc_Output')text_output = encoder_decoder.get_layer('LSTM2').outputadd1 = tf.keras.layers.Add()([text_output, enc_output])fc_1 = fc1(add1)decoder_output = output_layer(fc_1)decoder_model = Model(inputs = [text_input, enc_output], outputs = decoder_output)通过这样做，我们只需要预测一次编码器的特征，而我们将其用于贪婪搜索和束(beam)搜索算法。我们将实现这两种生成文本的算法，并看看哪一种算法最有效。8.3 贪婪搜索算法贪婪搜索是一种算法范式，它逐块构建解决方案，每次总是选择最好的。贪婪搜索步骤：编码器输出图像的特征。编码器的工作到此结束。一旦我们有了我们需要的特征，我们就不需要关注编码器了。这个特征向量和起始标识“startseq”（我们的初始输入序列）被作为解码器的第一个输入。译码器预测整个词汇表的概率分布，概率最大的单词将被选为下一个单词。这个预测得到的单词和前一个输入序列将是我们下一个输入序列，并且传递到解码器。继续执行步骤3-4，直到遇到结束标识，即“endseq”。def greedysearch(img): image = Xnet_Features[img] # 提取图像的初始chexnet特征 input_ = 'startseq' # 报告的起始标识 image_features = encoder_model.predict(image) # 编码输出 result = [] for i in range(MAX_REP_LEN): input_tok = [tokenizer.word_index[w] for w in input_.split()] input_padded = pad_sequences([input_tok], 155, padding='post') predictions = decoder_model.predict([input_padded, image_features]) arg = np.argmax(predictions) if arg != tokenizer.word_index['endseq']: # endseq 标识 result.append(tokenizer.index_word[arg]) input_ = input_ + ' ' + tokenizer.index_word[arg] else: break rep = ' '.join(e for e in result) return rep让我们检查一下在使用greedysearch生成报告后，我们的模型的性能如何。BLEU分数-贪婪搜索：双语评估替补分数，简称BLEU，是衡量生成句到参考句的一个指标。完美匹配的结果是1.0分，而完全不匹配的结果是0.0分。该方法通过计算候选文本中匹配的n个单词到参考文本中的n个单词，其中uni-gram是每个标识，bigram比较是每个单词对。在实践中不可能得到完美的分数，因为译文必须与参考文献完全匹配。这甚至连人类的翻译人员都不可能做到。要了解有关BLEU的更多信息，请单击此处:https://machinelearningmastery.com/calculate-bleu-score-for-text-python/8.4 束搜索Beam search（束搜索）是一种在贪婪搜索的基础上扩展并返回最有可能的输出序列列表的算法。每个序列都有一个与之相关的分数。以得分最高的顺序作为最终结果。在构建序列时，束搜索不是贪婪地选择最有可能的下一步，而是扩展所有可能的下一步并保持k个最有可能的结果，其中k（即束宽度）是用户指定的参数，并通过概率序列控制束数或并行搜索。束宽度为1的束搜索就是贪婪搜索。常见的束宽度值为5-10，但研究中甚至使用了高达1000或2000以上的值，以从模型中挤出最佳性能。要了解更多有关束搜索的信息，请单击此处。但请记住，随着束宽度的增加，时间复杂度也会增加。因此，这些比贪婪搜索慢得多。def beamsearch(image, beam_width): start = [tokenizer.word_index['startseq']] sequences = [[start, 0]] img_features = Xnet_Features[image] img_features = encoder_model.predict(img_features) finished_seq = [] for i in range(max_rep_length): all_candidates = [] new_seq = [] for s in sequences: text_input = pad_sequences([s[0]], 155, padding='post') predictions = decoder_model.predict([img_features, text_input]) top_words = np.argsort(predictions[0])[-beam_width:] seq, score = s for t in top_words: candidates = [seq + [t], score - log(predictions[0][t])] all_candidates.append(candidates) sequences = sorted(all_candidates, key = lambda l: l[1])[:beam_width] # 检查波束中每个序列中的'endseq' count = 0 for seq,score in sequences: if seq[len(seq)-1] == tokenizer.word_index['endseq']: score = score/len(seq) # 标准化 finished_seq.append([seq, score]) count+=1 else: new_seq.append([seq, score]) beam_width -= count sequences = new_seq # 如果所有序列在155个时间步之前结束 if not sequences: break else: continue sequences = finished_seq[-1] rep = sequences[0] score = sequences[1] temp = [] rep.pop(0) for word in rep: if word != tokenizer.word_index['endseq']: temp.append(tokenizer.index_word[word]) else: break rep = ' '.join(e for e in temp) return rep, score束搜索并不总是能保证更好的结果，但在大多数情况下，它会给你一个更好的结果。你可以使用上面给出的函数检查束搜索的BLEU分数。但请记住，评估它们需要一段时间（几个小时）。8.5 示例现在让我们看看胸部X光片的预测报告：图像对1的原始报告：“心脏正常大小。纵隔不明显。肺部很干净。”图像对1的预测报告：“心脏正常大小。纵隔不明显。肺部很干净。”对于这个例子，模型预测的是完全相同的报告。图像对2的原始报告：“心脏大小和肺血管在正常范围内。未发现局灶性浸润性气胸胸腔积液图像对2的预测报告：“心脏大小和肺血管在正常范围内出现。肺为游离灶性空域病变。未见胸腔积液气胸虽然不完全相同，但预测结果与最初的报告几乎相似。图像对3的原始报告：“肺过度膨胀但清晰。无局灶性浸润性渗出。心脏和纵隔轮廓在正常范围内。发现有钙化的纵隔图像对3的预测报告：“心脏大小正常。纵隔轮廓在正常范围内。肺部没有任何病灶浸润。没有结节肿块。无明显气胸。无可见胸膜液。这是非常正常的。横膈膜下没有可见的游离腹腔内空气。”你没想到这个模型能完美地工作，是吗？没有一个模型是完美的，这个也不是完美的。尽管存在从图像对3正确识别的一些细节，但是产生的许多额外细节可能是正确的，也可能是不正确的。我们创建的模型并不是一个完美的模型，但它确实为我们的图像生成了体面的报告。现在让我们来看看一个高级模型，看看它是否提高了当前的性能！！9.注意机制注意机制是对编解码模型的改进。事实证明，上下文向量是这些类型模型的瓶颈。这使他们很难处理长句。Bahdanau et al.，2014和Luong et al.，2015提出了解决方案。这些论文介绍并改进了一种叫做“注意机制”的技术，它极大地提高了机器翻译系统的质量。注意允许模型根据需要关注输入序列的相关部分。后来，这一思想被应用于图像标题。那么，我们如何为图像建立注意力机制呢？对于文本，我们对输入序列的每个位置都有一个表示。但是对于图像，我们通常使用网络中一个全连接层表示，但是这种表示不包含任何位置信息（想想看，它们是全连接的）。我们需要查看图像的特定部分（位置）来描述其中的内容。例如，要从x光片上描述一个人的心脏大小，我们只需要观察他的心脏区域，而不是他的手臂或任何其他部位。那么，注意力机制的输入应该是什么呢？我们使用卷积层（迁移学习）的输出，而不是全连接的表示，因为卷积层的输出具有空间信息。例如，让最后一个卷积层的输出是（7×14×1024）大小的特征。这里，“7×14”是与图像中某些部分相对应的实际位置，1024个是通道。我们关注的不是通道而是图像的位置。因此，这里我们有7*14=98个这样的位置。我们可以把它看作是98个位置，每个位置都有1024维表示。现在我们有98个时间步，每个时间步有1024个维表示。我们现在需要决定模型应该如何关注这98个时间点或位置。一个简单的方法是给每个位置分配一些权重，然后得到所有这98个位置的加权和。如果一个特定的时间步长对于预测一个输出非常重要，那么这个时间步长将具有更高的权重。让这些重量用字母表示。现在我们知道了，alpha决定了一个特定地点的重要性。alpha值越高，重要性越高。但是我们如何找到alpha的值呢？没有人会给我们这些值，模型本身应该从数据中学习这些值。为此，我们定义了一个函数：这个量表示第j个输入对于解码第t个输出的重要性。h_j是第j个位置表示，s_t-1是解码器到该点的状态。我们需要这两个量来确定e_jt。f_ATT只是一个函数，我们将在后面定义。在所有输入中，我们希望这个量（e_jt）的总和为1。这就像是用概率分布来表示输入的重要性。利用softmax将e_jt转换为概率分布。现在我们有了alphas！alphas是我们的权重。alpha_jt表示聚焦于第j个输入以产生第t个输出的概率。现在是时候定义我们的函数f_ATT了。以下是许多可能的选择之一：V、 U和W是在训练过程中学习的参数，用于确定e_jt的值。我们有alphas，我们有输入，现在我们只需要得到加权和，产生新的上下文向量，它将被输入解码器。在实践中，这些模型比编解码器模型工作得更好。模型实现：和上面提到的编解码器模型一样，这个模型也将由两部分组成，一个编码器和一个解码器，但这次解码器中会有一个额外的注意力成分，即注意力解码器。为了更好地理解，现在让我们用代码编写：# 计算e_jtsscore = self.Vattn(tf.nn.tanh(self.Uattn(features) + self.Wattn(hidden_with_time_axis)))# 使用softmax将分数转换为概率分布attention_weights = tf.nn.softmax(score, axis=1)# 计算上下文向量（加权和）context_vector = attention_weights * features在构建模型时，我们不必从头开始编写这些代码行。keras库已经为这个目的内置了一个注意层。我们将直接使用添加层或其他称为Bahdanau的注意力。你可以从文档本身了解有关该层的更多信息。链接：https://www.tensorflow.org/api_docs/python/tf/keras/layers/AdditiveAttention这个模型的文本输入将保持不变，但是对于图像特征，这次我们将从CheXNet网络的最后一个conv层获取特征。合并两幅图像后的最终输出形状为（None，7，14，1024）。所以整形后编码器的输入将是（None，981024）。为什么要重塑图像？好吧，这已经在注意力介绍中解释过了，如果你有任何疑问，一定要把解释再读一遍。模型：input1 = Input(shape=(98,1024), name='Image_1')maxpool1 = tf.keras.layers.MaxPool1D()(input1)dense1 = Dense(256, kernel_initializer=tf.keras.initializers.glorot_uniform(seed = 56), name='dense_encoder')(maxpool1)input2 = Input(shape=(155), name='Text_Input')emb_layer = Embedding(input_dim = vocab_size, output_dim = 300, input_length=155, mask_zero=True, trainable=False, weights=[embedding_matrix], name="Embedding_layer")emb = emb_layer(input2)LSTM1 = LSTM(units=256, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer=tf.keras.initializers.glorot_uniform(seed=23), recurrent_initializer=tf.keras.initializers.orthogonal(seed=7), bias_initializer=tf.keras.initializers.zeros(), return_sequences=True, return_state=True, name="LSTM1")lstm_output, h_state, c_state = LSTM1(emb)LSTM2 = LSTM(units=256, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer=tf.keras.initializers.glorot_uniform(seed=23), recurrent_initializer=tf.keras.initializers.orthogonal(seed=7), bias_initializer=tf.keras.initializers.zeros(), return_sequences=True, return_state=True, name="LSTM2")lstm_output, h_state, c_state = LSTM2(lstm_output)dropout1 = Dropout(0.5)(lstm_output)attention_layer = tf.keras.layers.AdditiveAttention(name='Attention')attention_output = attention_layer([dense1, dropout1], training=True)dense_glob = tf.keras.layers.GlobalAveragePooling1D()(dense1)att_glob = tf.keras.layers.GlobalAveragePooling1D()(attention_output)concat = Concatenate()([dense_glob, att_glob])dropout2 = Dropout(0.5)(concat)FC1 = Dense(256, activation='relu', kernel_initializer=tf.keras.initializers.he_normal(seed = 56), name='fc1')fc1 = FC1(dropout2)OUTPUT_LAYER = Dense(vocab_size, activation='softmax', name='Output_Layer')output = OUTPUT_LAYER(fc1)attention_model = Model(inputs=[input1, input2], outputs = output)该模型类似于我们之前看到的编解码器模型，但有注意组件和一些小的更新。如果你愿意，你可以尝试自己的改变，它们可能会产生更好的结果。模型架构：模型摘要：9.1 训练训练步骤将与我们的编解码器模型完全相同。我们将使用相同的“convert”函数生成批处理，从而获得逐字输入输出序列，并使用train_on_batch对其进行训练。与编解码器模型相比，注意力模型需要更多的内存和计算能力。因此，你可能需要减小这个batch的大小。全过程请参考编解码器模型的训练部分。为了注意机制，使用了adam优化器，学习率为0.0001。这个模型被训练了20个epoch。由于随机性，你得到的结果可能会有所不同。所有代码都可以从我的GitHub访问。它的链接已经在这个博客的末尾提供了。9.2 推理与之前中一样，我们将从模型中分离编码器和解码器部分。# 编码器encoder_input = attention_model.input[0]encoder_output = attention_model.get_layer('dense_encoder').outputencoder_model = Model(encoder_input, encoder_output)# 有注意力机制的解码器text_input = attention_model.input[1]cnn_input = Input(shape=(49,256))lstm, h_s, c_s = attention_model.get_layer('LSTM2').outputatt = attention_layer([cnn_input, lstm])d_g = tf.keras.layers.GlobalAveragePooling1D()(cnn_input)a_g = tf.keras.layers.GlobalAveragePooling1D()(att)con = Concatenate()([d_g, a_g])fc_1 = FC1(con)out = OUTPUT_LAYER(fc_1)decoder_model = Model([cnn_input, text_input], out)这为我们节省了一些测试时间。9.3 贪婪搜索现在，我们已经构建了模型，让我们检查获得的BLEU分数是否确实比以前的模型有所改进：我们可以看出它比贪婪搜索的编解码模型有更好的性能。因此，它绝对是比前一个改进。9.4 束搜索现在让我们看看束搜索的一些分数：BLEU得分低于贪婪算法，但差距并不大。但值得注意的是，随着束宽度的增加，分数实际上在增加。因此，可能存在束宽度的某个值，其中分数与贪婪算法的分数交叉。9.5 示例以下是模型使用贪婪搜索生成的一些报告：图像对1的原始报告：“心脏大小和肺血管在正常范围内。未发现局灶性浸润性气胸胸腔积液图像对1的预测报告：“心脏大小和纵隔轮廓在正常范围内。肺是干净的。没有气胸胸腔积液。没有急性骨性发现。”这些预测与最初的报告几乎相似。图像对2的原始报告：“心脏大小和肺血管在正常范围内出现。肺为游离灶性空域病变。未见胸腔积液气胸图像对2的预测报告：“心脏大小和肺血管在正常范围内出现。肺为游离灶性空域病变。未见胸腔积液气胸预测的报告完全一样！！图像对3的原始报告：“心脏正常大小。纵隔不明显。肺部很干净。”图像对3的预测报告：“心脏正常大小。纵隔不明显。肺部很干净。”在这个例子中，模型也做得很好。图像对4的原始报告：“双侧肺清晰。明确无病灶实变气胸胸腔积液。心肺纵隔轮廓不明显。可见骨结构胸部无急性异常图像对4的预测报告：“心脏大小和纵隔轮廓在正常范围内。肺是干净的。没有气胸胸腔积液你可以看到这个预测并不真正令人信服。“但是，这个例子的束搜索预测的是完全相同的报告，即使它产生的BLEU分数比整个测试数据的总和要低！！！”那么，选择哪一个呢？好吧，这取决于我们。只需选择一个通用性好的方法。在这里，即使我们的注意力模型也不能准确地预测每一幅图像。如果我们查看原始报告中的单词，则会发现一些复杂的单词，通过一些EDA可以发现它并不经常出现。这些可能是我们在某些情况下没有很好的预测的一些原因。请记住，我们只是在2560个数据点上训练这个模型。为了学习更复杂的特征，模型需要更多的数据。10.摘要现在我们已经结束了这个项目，让我们总结一下我们所做的：我们刚刚看到了图像字幕在医学领域的应用。我们理解这个问题，也理解这种应用的必要性。我们了解了如何为输入管道使用数据生成器。创建了一个编解码器模型，给了我们不错的结果。通过建立一个注意模型来改进基本结果。11.今后的工作正如我们提到的，我们没有大的数据集来完成这个任务。较大的数据集将产生更好的结果。没有对任何模型进行超参数调整。因此，一个更好的超参数调整可能会产生更好的结果。利用一些更先进的技术，如transformers 或Bert，可能会产生更好的结果。12.引用https://www.appliedaicourse.com/https://arxiv.org/abs/1502.03044https://www.aclweb.org/anthology/P18-1240/https://arxiv.org/abs/1703.09137https://arxiv.org/abs/1409.0473https://machinelearningmastery.com/develop-a-deep-learning-caption-generation-model-in-python/这个项目的整个代码可以从我的GitHub访问:https://github.com/vysakh10/Image-Captioning

中商情报网讯：近年来，人工智能技术的快速发展，对传统行业具有重塑性功能，并且通过改良创新，为行业提供新的辅助性工具，促进行业进步，在金融、交通、健康、安全等诸多领域，起到积极作用。在我国国家战略规划中，人工智能已超越技术概念，上升为国内产业转升级、国际竞争力提升的发展立足点和新机遇;行业应用层面，巨大的行业应用需求场景、研发能力积累与海量的数据资源、开放的市场宏观环境有机结合，形成了我国人工智能发展的独特优势，依靠应用市场广阔前景，推动技术革新，形成技术和市场共同驱动。利好政策持续出台近年来，各大科技巨头和诸多新兴创业型公司纷纷布局AI医疗领域，医疗健康已经成为人工智能重要研究和应用领域。2016年6月，国务院公布了《关于促进和规范健康医疗大数据应用发展的指导意见》，明确指出健康医疗大数据是国家重要的基础性战略资源，需要规范和推动健康医疗大数据融合共享、开放应用。指导意见的出台旨在打破场景数据障碍，使得数据应用有了依据。此举有望释放大数据资源的价值，助力AI+医疗产业化提速。2017年7月20日，国务院发布了《新一代人工智能发展规划》，要求推广应用人工智能治疗新模式新手段，建立快速精准的智能医疗体系。人工智能在医疗领域的应用情况随着人工智能领域，语音交互、计算机视觉和认知计算等技术的逐渐成熟，人工智能医疗领域的各项运用变成了可能。这其中主要包括：语音录入病历、医疗影像智能识别、辅助诊疗/癌症诊断、医疗机器人、个人健康大数据的智能分析等。资料来源：中商产业研究院整理市场规模持续增长，市场前景广阔近年来，随着科技的进步，人工智能+医疗的发展，医疗行业人工智能发展热度不断提升，预约挂号、缴费充值、远程问诊、在线咨询等服务，用互联网连接医生和患者，一定程度上缓解了医疗资源供需不匹配的矛盾，基于机器学习的图像分析和诊断市场将大步快跑式发展，中国正处于医疗人工智能的风口，医疗人工智能行业潜能巨大，数据显示2017年中国医疗人工智能行业市场规模达到136.5亿元，增长率为41%；随着医疗人工智能应用的不断深入，市场规模将进一步增长，预计2018年市场规模有望突破200亿元。数据来源：中商产业研究院整理附：互联网医疗人工智能应用企业排行榜TOP10近日，2018年互联网医疗人工智能应用企业排行榜出炉。据榜单显示：进入榜单前十企业分别为：医渡云、依图科技、碳云智能、推想科技、思派网络、天智航、汇医慧影、Airdoc、深睿医疗以及图麟科技。其中，医渡云位列榜首。数据来源：互联网周刊、中商产业研究院整理更多资料请参考中商产业研究院发布的《2018-2023年中国人工智能行业市场前景及投资机会研究报告》。

“无论是在国内还是国际上，医疗人工智能都在以惊人的速度发展着。”日前，由财新健康点与飞利浦公司联合发布的《中国医疗人工智能产业报告》（以下简称《报告》）指出，近年来，中国医疗市场上涌现出了大量医疗人工智能创业公司，与此同时，不少传统医疗相关企业和互联网平台也在纷纷引入人工智能人才与技术，进行相关布局。在信息技术快速发展的同时，人工智能也在推动医疗健康行业的变革发展。《报告》在梳理当下医疗人工智能产业现状的同时，调研了国内数十家医疗人工智能企业，一方面对典型企业进行深入分析，另一方面通过综合研究预判行业最新发展趋势。财新健康点运营总监赵国闯认为，医疗人工智能在中国有着先天发展优势：一方面，中国人口数量庞大，有充足的医疗数据，为医疗人工智能发展提供了基石；另一方面，中国足够大的医疗市场也为人工智能企业提供了动力。前瞻产业研究院发布的《2018—2023年中国人工智能行业市场前瞻与投资战略规划分析报告》显示，2016年中国医疗人工智能的市场规模就已达96.61亿元，2018年有望达到200亿元。据统计，自2013年到2017年，中国医疗人工智能行业共获得241笔融资。其中，2017年国内医疗人工智能行业公布的融资事件近30起，融资总额超过18亿元。到了2018年，资本对于医疗人工智能市场的热情依旧不减，仅上半年就有18家公司获投，总金额超过31亿元。而且，互联网巨头也早已重金布局医疗人工智能，大手笔向产业链上下游扩展业务。《报告》分析医疗人工智能商业模式认为，医疗人工智能在经历火热发展后，迎来了商业化的关键期。目前虽然绝大多数医疗人工智能企业尚未实现盈利，且产品大多还处于试验阶段，但通过不同业务模式已经可以实现一定的付费收入。《报告》指出，目前中国从事医疗人工智能相关业务的公司大致分为3类：创业企业、互联网平台和传统医疗相关企业。由于三者所具备的优劣势不同，商业模式也不尽相同。创业企业多与保险、医疗机构合作，售卖服务；互联网巨头们正在加快对医疗人工智能领域的布局，不过脸书网、苹果、亚马逊等国际巨头对跨界应用于医疗行业的项目关注较少，国内BAT、科大讯飞等公司则更看重该市场。不过，随着医疗人工智能产业的发展，其所面临的问题也日渐凸显出来。首先是缺乏标准；其次是缺少人工智能人才。在我国，既懂医疗又懂技术的复合型、战略型人才尤其短缺。（记者 吴佳佳）

医学影像是人工智能与医疗健康结合中，发展最为迅猛的领域。据不完全统计，国内涉足医学影像AI业务的企业已经多达上百家。以汇医慧影、推想科技、图玛深维为代表的医学影像AI初创公司在过去几年里飞速成长，团队规模不断壮大，均取得了单轮数亿元人民币融资的亮眼成绩。技术层面，医学影像AI已经从前沿概念变成了成熟可用的产品，具备了临床应用的条件。应用边界不断拓展，从最常见的肺结节、眼底逐步延伸到了乳腺癌、骨科、心血管、脑部疾病等诸多领域，产品矩阵不断丰富，并形成了差异化。产品与临床诊疗流程的结合也日益深入，从只能完成单点任务（例如优化结节检出）进阶到能完成以疾病（例如肺癌）或者部位（例如全肺CT影像诊断）为中心的诊疗流程。不管是在产品形态还是临床应用场景的进化上，都已经跨出了重要的一步。填补行业报告的空白医学影像AI发展到今天已经自成一隅，成为医学AI中最为繁盛的分支，值得单独拿出来深入剖析。然而，雷锋网发现目前市面上鲜有重点聚焦医学影像AI的独立行业研报。作为一家跟踪医学影像AI发展长达两年多的专业媒体，雷锋网有责任开风气之先。为此，经过近两个月的企业调研、报告撰写后，雷锋网推出了首份医疗影像AI行业垂直深度报告——《2018医学影像AI行业研究报告》。本报告不拘泥于格式，不堆砌无意义的表格和数据，不做价值较小的常识内容普及，而是深入行业本质，剖析入微。报告内容报告中，我们针对医学影像AI这个庞大市场中相关的各类玩家及其技术、产品和商业化路径进行剖析，试图为大家呈现出医学影像AI的真实面貌，以帮助各位把握这个行业的概况，同时作为投资、创业的参考。概括来说，本报告的主要内容包括：还原医学影像AI领域的发展现状，及行业共同面临的几大挑战分析8大主流赛道的市场需求、技术挑战及代表性企业的产品落地情况对比中美医学影像AI监管思路，介绍中国医学影像AI监管体系的建设情况对行业未来发展趋势的几大判断雷锋网梳理出了目前医学影像AI领域最热门和最具代表性的八条赛道——肺结节、眼底、乳腺癌、宫颈癌、皮肤病、骨龄测试、脑部疾病、靶区勾画，以及每条赛道上最具代表性玩家，将其产品特点及落地情况进行横向对比，力求直观地还原行业现状。同时，医疗作为一个强监管行业，受到国家政策的引导和约束，医疗影像AI产品上市必须先获得相关部门审批。雷锋网在报告中单独辟出一个章节，对中美两国的医疗AI产品监管思路进行了深入对比。从结果来看，在传统医疗器械领域，中国由于起步较晚，和美国的发展存在一定差距，审批要求也有很大的不同。但在医疗人工智能领域，两国起步时间差不多，基本保持齐头并进的态势，监管思路非常接近，有很多可以相互交流和借鉴的地方。雷锋网在医学影像AI行业的积累医学影像AI作为一个多学科交叉领域，需要各方思想的交流和碰撞。过去两年多时间里，雷锋网采访了近百位医学影像AI公司与医疗器械企业高管，73位三甲医院影像科主任、30多位国际知名医学影像分析学术专家、数十位知名医疗投资人，以及监管部门核心负责人，发表了百篇以上的医学影像行业深度报道。与此同时，7大Fellow得主田捷、飞利浦中国CTO王熙、MICCAI 2019大会主席沈定刚、微软亚洲研究院副院长张益肇、斯坦福医学物理系主任邢磊等顶尖医学影像专家均在雷锋网举办的医疗大会中做深度报告。2018年，我们对过去两年多的调研结果进行了重新组织与梳理，同时在近三个月内与产、学、医、投资、监管五界的资深人士再次交流碰撞，从市场需求、技术、资本、监管等多个维度，对医学影像AI的发展进行全景、立体式的展现。报告适宜人群与机构：企业：医疗人工智能从业者与创业者风投：投资医疗AI赛道的风险投资人高校：计算机视觉、图像处理与医学影像研究背景的教授、研究员；欲从事医学影像分析的学生医院：影像科/放射科/病理科主任医师、信息中心主任监管：NMPA等医疗相关监管机构的从业者相信这样一份行业研究报告，将帮助医疗投资人、行业从业者、医生等实现从技术到市场的全面理解，更好地建立行业共识，继而推动技术革命走向产业化落地。购买方式12月3日起，所有雷锋网「AI投研邦」年度会员可前往会员页面免费阅读本报告，非会员亦可通过官方渠道购买后在线查阅。关于「AI投研邦」「AI投研邦」系雷锋网旗下会员组织，聚焦AI+ 10大领域 ：AI+汽车（智能驾驶）、AI+教育、AI+金融、AI+智慧城市、AI+安防、AI+医疗、AI+IoT、AI+芯片、AI+零售、AI+安全。「AI投研邦」提供4大服务权益，包括每日投研通讯、每周「大咖Live」、每月AI+主题研报和其他不定期会员彩蛋等，全年365天投研资讯精选推送，40场+国内外AI大咖线上亲授，12份人工智能行业研报。我们希望能给认同投研产生价值的一二级市场投资人、以及给希望知识创造财富的工业界业者，提供更多专业深度的知识服务和交流平台。「AI投研邦」服务将在2018年12月3日与《2018医学影像AI行业研究报告》同步上线。欢迎加入「AI投研邦」，成为行业1000+投研领袖，一起引领人工智能未来。

“大数据”、“人工智能”和“物联网”是医疗行业使用越来越频繁的术语。“人工智能（AI）”一词诞生于1956年，但近年来，由于数据量的显著增加、先进算法使机器能够像人类一样“思考、工作和反应”，以及计算能力和存储能力的提高，“人工智能”一词的受欢迎程度急剧上升。大数据的概念出现在20世纪90年代，它描述的数据集太大或太复杂，即使是在低延迟的情况下，传统数据库或数据处理应用软件也无法在合理的时间内捕获、管理和处理数据。促成大数据积累的是物联网（IoT），这个术语自1999年首次被用作“物联网”（Internet for Things）以来一直在演变，当时射频识别（RFID）是物联网的概念核心。如今，物联网涵盖了与互联网相连的一切，包括传感器、智能手机、医疗设备、可穿戴设备等，所有这些都是实时采集和上传的，健康相关大数据也在快速积累。近日，创新咨询与基金管理服务公司Healthbox发布了《利用大数据》（Harnessing Big Data）报告，报告旨在研究医疗行业与大数据的关系。主要内容有：背景：大数据是什么？前景：如何利用大数据？分析：利用大数据需要注意什么？应用程序：大数据的现实应用以下是动脉网为您编译的该报告的主体内容：背景：大数据是什么？大数据简史随着时间的推移，“大数据”、“物联网”和“人工智能”这三个词被分别创造出来。今天，它们在快速发展的技术世界中形成了独特的聚合，影响着我们收集、感知和分析健康相关数据的方式。1956年：“人工智能”（AI）一词由计算机科学家John McCarthy首创，他曾就此问题举行过学术会议。1990-1999年：大数据作为一个术语出现，用来描述对于传统数据库来说太大或太复杂而无法处理的数据集。1999 - 2008年：物联网的概念在这一时期发展起来，最初是指通过射频识别技术获取数据。今天，人类在人工智能方面的能力正在迅速扩张，人工智能是收集和分析每秒通过物联网创建的大量数据的关键组成部分，包括所有连接到互联网的数据。医疗领域的大数据机遇看似无穷无尽，但也存在许多值得思考的问题：我们收集哪些类型的数据？这个数据的来源是什么？我们已经拥有的数据中存在哪些空白，我们如何填补这些空白？目前这些数据如何被使用，潜在的其他应用程序是什么？我们如何保护这些数据以防止网络入侵、数据安全损失和其他形式的网络安全风险？大数据的四个“V”医疗大数据的四个“v”包括容量（volume）、速度（velocity）、多样性（variety）和有效性（validity）。由于电子病历（EMR）的广泛采用、精准医学决定因素的加速发现，以及可穿戴生物传感器的迅速发展，个人数据来源的增长，导致了健康数据的绝对数量激增。图片来源：Healthbox 收集和利用大数据传感器、智能手机、医疗设备、可穿戴设备等实时采集和上传信息的进化，导致了大数据的积累。正在收集的数据具有数量大、速度快和多样性的特点，为利用和确保其有效性，使其造福于人类，大数据向基于证据的精准医学提出了挑战。除了传统的生物健康测量方法，还有大量的社会人口学、地理位置学和非医学元数据，这些元数据都有意义地相互作用，以确定个人或多人的健康状况。在传统数据系统之间创建互操作性的挑战多种多样。如今，我们需要跨不同的筒仓数据源集成更广泛的数据。如果要让大数据有意义地塑造护理决策，关键是要确定所有这些不同测量方法的有效性和准确性、它们的派生推论以及我们从这些数据中推断出的可操作结论。前景：如何利用大数据？在向基于价值的医疗服务转型过程中利用大数据尽管这可能看起来令人生畏，但这四个“v”实际上很好地契合了医疗服务转型的需求，即从按服务收费的行业向以信息为基础，以及价值驱动的医疗服务提供模式转变。获取用于描述人群特征的全面数据，以及用于根据个人需求定制决策的精确数据，将至关重要地为医疗策略提供信息并确定优先级，指导针对特定个人的精确医疗决策。对预防干预的日益重视，对不断演变的患者病情的治疗的不断个性化，以及在整个患者过程中护理的协调，使得获取、解释和持续分析患者病情变得十分必要。它还需要对大量数据进行及时的处理。健康的社会决定因素是健康结果的重要潜在驱动力，因此需要综合各种各样的数据输入以做出可采取行动的决定，这种数据输入正在迅速扩大。但是，如何从这些数据中形成可执行的决策？从海量数据中提取信号人类无法衡量现有的海量数据，也无法独自得出有意义的结论。谷歌脑人工智能研究小组（Google Brain AI Research Group）产品经理、医学博士Lily Peng指出，虽然人类智能最适合整合少量非常“大影响”的因素，但人工智能尤其擅长梳理和识别大量非常“小影响”或模糊因素的模式。这是机器学习和人工智能作为人类智能不可或缺的合作伙伴可以发挥的补充作用，它们可以帮助医疗保健提供者应对来自各个方向的海量、快速和多样的数据。从这些海量的数据中得出有效的结论，需要重新设计现有的决策过程，将机器学习与人类直觉和领域专业知识结合起来，做出有效的临床决策，提高护理价值。如果适当考虑到将其纳入护理提供和决策的不断发展的模式中，大数据和人工智能可以成为有益变革的有效推动者和催化剂，而不仅仅是给执业临床医生工作流程增加不必要的复杂性。病人的私人临床医生作为真理的单一来源的日子一去不复返了。无论是谈论心脏病发作、中风、创伤、癌症，还是复杂的急性后护理，决策都是在一组人的共同考虑下做出的，更不用说患者自己的选择和对其病情的研究了。当我们从应用广泛的人群规范和通用的护理标准，转向根据特定个体的定制需求定制护理时，将需要人工智能分析支持的广泛经验数据来定义与给定患者相关的个体规范。虽然在确定的人群中，进行随机对照临床试验的目的是控制混杂因素，并在实验环境中隔离测试干预的影响，但实际的测试对象很少能准确地反映现实世界中遇到的个体的广泛和多样性。从实用主义的角度来看，我们不可能根据现实世界中所有细微差别和个性化的遭遇，来设计直接提供护理的试验。因此，人工智能对大数据的解析和分析将在指导个性化现实决策方面发挥重要作用。利用大数据进行临床决策如果大数据和人工智能要有效地支持临床决策，就需要克服四个潜在的挑战：1. 消除数据收集中的偏差；2. 承认匿名性和特殊性之间的内在冲突；3.对收集到的数据进行有意义的验证；4. 理解潜在的因果关系。分析：利用大数据需要注意什么？1、克服数据收集中的偏见医疗数据杂乱无章。在最基本的层面上，尽管我们努力规范医学术语、诊断编码等，但在个体提供者如何描述、概念化和阐明他们对患者的观察方面存在很大差异。通常，对所有数据进行的探索、发现和分析，其有效性和价值仅与底层数据集的清晰性和有效性相同。这些问题只与收集的数据的数量和速度有关，必须对这些数据进行解释。标准化、语义分类和公认的概念本体是“数据清理”中的一些必要步骤，在大数据集准备好接受人工智能技术的有用分析之前，这些步骤是为大数据集制定标准所必需的。除了这些考虑之外，每个研究者对大数据的不同也产生了固有的偏见。偏差可以包括评估的数据类别以及如何收集这些数据（例如，对哪些人群进行了抽样，以及使用了哪些抽样工具，可以有选择地包括或排除数据集中的显示）。假设高维数据的威力存在于数据中未公开的混杂因素下。不幸的是，这一假设远未成为人们放弃的结论，并对人工智能技术从大数据中得出的结论的有效性构成了威胁。例如，如果人们不考虑度量一个变量，而该变量是期望结果的重要驱动因素，那么将明显的结论应用于与混淆者的协变量关系发生变化的情况，则可能是不正确和具有误导性的。这触及了人类领域经验与人工智能交叉的根源，以及人类大脑处理的“大影响”，而机器正在检测的小影响因素可能会忽略这些“大影响”。2、匿名性与特异性不一致从理论上讲，利用大数据力量的过程中，应该允许通过匿名化个人数据点来源，来保护个人身份和健康信息的安全。现实世界中的大数据的价值在于，它可以被分析，从而为指导个体患者的个性化精准医疗决策提供洞见。大数据的广度包含了元数据元素，这些元数据元素有潜力实现个人身份的去匿名化。最终，在开放共享大数据所产生的价值与重新识别数据源的有限风险（可能侵犯患者隐私）之间，存在一种平衡。人们必须采取适当的预防措施进行结构分析，以避免对患者身份进行反向工程（Reverse Engineering或Back Engineering）。然而，值得注意的是，共享开放数据的好处超过了对个人不利因素的重新识别。社会将不得不在共享和开放获取数据的好处，以及通过对分割的数据进行反向工程来重新识别个人的有限但真实的可能性之间，进行道德权衡。解决这些问题需要的是人类的智慧，而不是人工智能。3、创建可证明性我们有理由假设，对患者及其病情进行更有力的高维描述，将有助于更好地理解驱动特定疾病过程的环境。然而，以这些数据和分析为指导的有效干预措施能否降低成本、提高满意度并改善消费者体验，还有待证明。因此，我们必须将数据、人工智能获取的知识和知情的临床决策集成到临床流程和工作流中，并将其紧密地交织在一起，以推动患者护理的潜在效益。我们还需要进行适当的结构化临床试验，以证明数据驱动的护理过程带来的增量效益足以证明这些决策所产生的任何成本都是合理的。4、相关性并不意味着因果关系定义因果关系对于开始将数据中观察到的模式转换为知情干预至关重要，在知情干预中，假定的因果变量可以被改变，以实现拟议的结果。在这个过程中，最重要的是确保被分析的数据不会遗漏可能与测量结果有因果关系的混杂因素。领域专家和人类直觉总是需要与人工智能协同工作，以确认没有隐藏的混杂因素。另一方面，高维数据提供了识别盲点的机会，而这些盲点是人类大脑没有考虑到的，它们可能与人类领域专业知识中固有的偏见，以及启发式假设导致的结果有因果关系。机器的使用可以帮助人类揭示这些未发现或未预料到的变量。在智能软件能够处理大数据集并被编程成像人类一样思考之前，构造良好的随机对照试验，在过去和现在都被当做用来避免隐藏混杂因素的重要方法。然而，现实世界中的大数据并不总是被划分为干预组和对照组，而且往往存在巨大的差距。随机对照试验或队列研究并不总能解决谜题中缺失的那一块。人工智能和机器学习现在可以提供统计工具来确定测量值，以填补数据空白，并综合构建“控件”，以便与真实世界的经验进行比较。这些工具提供了一条前进的道路，以便在没有干预的情况下，将来自给定干预的观察结果与预期结果进行比较，这样我们就可以模拟允许关于确定性和因果关系的假设的测试范式。应用程序：大数据的现实应用人工智能在研究中的潜在应用GNS Healthcare的董事长、首席执行官兼联合创始人Colin Hill设想了一个因果机器学习过程，该过程首先通过检查高维数据中的关系，推断出潜在的因果机制。使用这些信息，“反向工程”就可以在模拟场景环境中测试可能的因果关系。这被称为“正向模拟”，它能使研究人员检验因果假设的有效性，而这些假设在现实世界中是不容易检验的。在药物发现方面， Relay Therapeutics的首席科学官兼联合创始人Mark Murcko博士提出了一种理论，即如何利用药物到靶点相互作用的正向模拟来进行潜在药物的内硅筛选，以获得针对生物验证靶点的有效性。该模拟基于数据驱动的对药物使用时蛋白质运动和功能变化的理解。这些理解因果关系的方法结合了人类领域的专业知识和应用于大量数据集的人工智能，以预测筛选的化合物与疾病过程的生物靶点之间的治疗相互作用。大数据的现实应用虽然将大数据应用于研究的理论机会很多，但人工智能和机器学习已经在医疗服务领域掀起了波澜。以下重点介绍利用大数据进行患者分流、诊断成像和预测实践变化、不良结果和治疗影响的驱动因素的公司。例如，Twiage正在处理急诊医学，帮助医院跟踪指标、分配资源和改善反应时间，以显著影响中风、心脏病发作、败血症和创伤患者的预后。Buoy Health利用大数据和人工智能直接针对患者进行疾病分类，并将他们引导到合适的护理环境。患者可以使用在线应用程序与机器人聊天，描述他们的症状，并通过一系列类似于他们在物理护理环境中体验的问题进行指导。随着医学成像技术的进步和需求的增加，Zebra medical Vision旨在帮助放射科医生更快地识别成像结果中的异常情况。该公司的人工智能算法可以识别医疗状况，充当第一组“眼睛”，提高放射科医生的工作速度。GNS Healthcare将上述反向工程和正向模拟理论付诸实践，利用大数据和人工智能在临床试验中运行，了解药物在现实世界中如何发挥作用，并帮助确定针对个体患者的最佳干预方式和干预时机。Agathos为卫生系统提供了一个分析平台，可以收集见解并向提供者提供反馈，使他们能够看到患者数据中的个性化和聚合趋势，帮助告知人员配置、舍入前处理和指导需求，以及其他改进临床工作流程和患者结果的需求。PhysIQ和Pascal Metrics是针对患者的实时监控解决方案，它们使用机器学习来检测患者病情的细微变化，无论是急性发作后还是住院期间，并提醒其护理团队采取必要行动。结论那么，我们如何利用大数据与人工智能的关系来推动医疗创新呢？大数据新应用的增长速度和数据本身一样快。随着我们不断开发将大数据融入人工智能的新方法，人们意识到以下需求至关重要：1、“清除”所有收集到的可能存在偏见的数据；2、标准化收集或统一数据的方法；3、同意正确使用匿名信息；4、避免落入相关性与因果关系的陷阱。图片来源：Healthbox为了充分利用人工智能的力量，我们必须接受与计算机协同工作。通过这种方式，我们既能从计算机的处理能力中获益，也能从人类智能中获益，从而充分利用大数据进行变革。这些观点得到了英伟达CEO、总裁兼联合创始人黄延森的赞同，他也强调了“数据培训”的重要性，即从数字体验中学习的过程。与此同时，机器学习算法的能力正在迅速提高，人类必须学会更聪明地工作，并适应“新常态”，让机器自动化商品化的任务，并解放提供者，让他们能够执行人道关怀的人工任务。通过这种方式，人类和人工智能可以协同工作，在数据分析、临床决策和医疗创新方面达到新的高度。

人工智能是时下的一个非常热门的话题，但是对于我们普通人来说更关心的不是原理，而是人工智能在我们日常生活中的应用，今天我们将来介绍有关人工智能在医疗领域的一些最新研究成果，让更多人了解到人工智能在医疗领域的发展现状。Deep Mind眼疾检测谷歌旗下的DeepMind近日在《Nature》上发表研究报告，它将迎来一项里程碑式的医疗成就，将AI人工智能技术应用在眼科疾病的诊断上，其诊断准确率甚至超过眼科专家。该项AI技术通过分析3D视网膜扫描影像，能够识别青光眼，糖尿病视网膜病变。在近1000名患者的临床试验中，通过DeepMind算法转诊推荐准确度比摩尔菲尔茨眼科医院的8名专科医生要更高，其中DeepMind算法错误率为5.5%，而8名医生的错误率最低的6.7%，最高的24.1%，该人工智能系统能够快速诊断超过50余种眼科疾病。微软AI心脏病风险预测近日，微软推出了由人工智能支持的心脏病风险评估API，为印度大型医院网络Apollo使用。该API评分基于Apollo Hospitals40万人数据，考虑21种风险因素，包括饮食、抽烟等生活方式，呼吸率、血压反映的心理压力和焦虑等数据综合分析建立AI模型。该评分分为高、中、低，并给出最大风险因素，从而帮助医生给出更全面的治疗方案。目前全球范围内，心血管疾病死亡人数遥遥领先于其他疾病，根据《中国心血管疾病报告2017》报告，仅我国2017年患有心血管疾病的人数就已达到2.9亿，因心血管病死亡人数占40%以上，如果该人工智能技术能够成熟应用，将给亿万患者带来福音。哈佛毫米级机器人组织修复近期，哈佛大学一个研究团队在人工智能机器人领域获得研究性突破，创造出一个卫星的蜘蛛机器人，这些小蜘蛛能够爬进人体内，能够破坏肿瘤或者修复受损的组织。该微型机器人是毫米级的，相较于目前的厘米级机器人更小巧。更为令人振奋的是该机器人具有18个自由度，该项技术前所未有，该蜘蛛机器人配备上柔性材料，具备极小、极自由、极柔软的特点，甚至将来可以用来清除人体内堵塞的动脉。人工智能给出癌症治疗方案麻省理工学院研究人员使用机器学习技术，通过减少有毒化疗和放疗来治疗一种常出现在脑或脊髓中的恶性肿瘤，为患者减轻治疗中的痛苦。该技术基于目前治疗方法，通过反复调整剂量，最终找到一个最佳治疗计划。其中运用到大数据以及深度学习算法技术，该学习技术曾应用于训练Deep Mind，它曾经击败了最优秀的世界围棋选手李世石而轰动一时。人工智能在糖尿病上的治疗加拿大滑铁卢大学正在开发一款“人工智能手表”，该手表能够在不抽取血液的前提下检测血糖，这无疑对众多糖尿病人来说是巨大的福音。该研究团队利用谷歌的技术和德国英飞凌公司的硬件，联合开发了一款小型雷达设备。该雷达将高频无线电波发送到含有不同水平的葡萄糖的液体中，并接受反射的无线电波，然后将其转换为数字信号，由研究人员开发的机器进行人工智能算法分析，最后将分析数据发送到智能手表上完成血糖检测。关于AI人工智能在糖尿病上的应用，国内阿里健康医疗也有所试水，今年亮相的“瑞宁助糖”就曾让人眼前一亮。我们列举了AI人工智能在5个医疗领域的突破，很令人兴奋，但是，稍有遗憾的是这些尖端科技多是国外研究团队所为，我们期待人工智能能够在医疗领域取得更大成就的同时，也更希望国内高科技公司能够更多发力，为国民带来更智能、更完善的医疗环境。