欢迎来到加倍考研网! 北京 上海 广州 深圳 天津
微信二维码
在线客服 40004-98986
推荐适合你的在职研究生专业及院校
深度学习的可解释性研究(一):让模型「说人话」测谎器

深度学习的可解释性研究(一):让模型「说人话」

雷锋网 AI 科技评论按:本文为 BIGSCity 的知乎专栏内容,作者王小贱。北航智慧城市兴趣组 BIGSCITY是隶属于北京航空航天大学计算机学院的一个学术研究小组,小组致力于研究机器学习与数据挖掘在城市科学、社会科学等领域的交叉应用技术。AI 科技评论获得 BIGSCity 授权转载,敬请期待更多后续内容。非常开心本文成为 BIGSCity 兴趣组的第一篇投稿,《深度学习的可解释性研究》系列预计包含 3-4 篇内容,用尽可能浅显的语言带领大家了解可解释性的概念与方法以及关于深度学习可解释性工作的研究成果,不定期更新内容(欢迎催更)。可解释性是什么?广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息。比如我们在调试 bug 的时候,需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时,我们需要查阅一些资料来了解这个新问题的基本概念和研究现状,以获得对研究方向的正确认识。反过来理解,如果在一些情境中我们无法得到相应的足够的信息,那么这些事情对我们来说都是不可解释的。比如刘慈欣的短篇《朝闻道》中霍金提出的「宇宙的目的是什么」这个问题一下子把无所不知的排险者卡住了,因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息,这些终极问题对我们来说永远都是不可解释的。而具体到机器学习领域来说,以最用户友好的决策树模型为例,模型每作出一个决策都会通过一个决策序列来向我们展示模型的决策依据:比如男性&未婚&博士&秃头的条件对应「不感兴趣」这个决策,而且决策树模型自带的基于信息理论的筛选变量标准也有助于帮助我们理解在模型决策产生的过程中哪些变量起到了显著的作用。所以在一定程度上,我们认为决策树模型是一个具有比较好的可解释性的模型,在以后的介绍中我们也会讲到,以决策树为代表的规则模型在可解释性研究方面起到了非常关键的作用。再以用户最不友好的多层神经网络模型为例,模型产生决策的依据是什么呢?大概是以比如 1/(e^-(2*1/(e^(-(2*x+y))+1) + 3*1/(e^(-(8*x+5*y))+1))+1) 是否大于 0.5 为标准(这已经是最简单的模型结构了),这一连串的非线性函数的叠加公式让人难以直接理解神经网络的「脑回路」,所以深度神经网络习惯性被大家认为是黑箱模型。17 年 ICML 的 Tutorial 中给出的一个关于可解释性的定义是:Interpretation is the process of giving explanations to Human.总结一下就是「说人话」,「说人话」,「说人话」,不以人类可以理解的方式给出的解释都叫耍流氓,记住这三个字,你就差不多把握了可解释性的精髓所在。我们为什么需要可解释性?广义上来说我们对可解释性的需求主要来源于对问题和任务了解得还不够充分。具体到深度学习/机器学习领域,就像我们上文提到的多层神经网络存在的问题,尽管高度的非线性赋予了多层神经网络极高的模型表示能力,配合一些堪称现代炼丹术的调参技术可以在很多问题上达到非常喜人的表现,大家如果经常关注 AI 的头条新闻,那些机器学习和神经网络不可思议的最新突破甚至经常会让人产生 AI 马上要取代人类的恐惧和幻觉。但正如近日贝叶斯网络的创始人 Pearl 所指出的,「几乎所有的深度学习突破性的本质上来说都只是些曲线拟合罢了」,他认为今天人工智能领域的技术水平只不过是上一代机器已有功能的增强版。虽然我们造出了准确度极高的机器,但最后只能得到一堆看上去毫无意义的模型参数和拟合度非常高的判定结果,但实际上模型本身也意味着知识,我们希望知道模型究竟从数据中学到了哪些知识(以人类可以理解的方式表达的)从而产生了最终的决策。从中是不是可以帮助我们发现一些潜在的关联,比如我想基于深度学习模型开发一个帮助医生判定病人风险的应用,除了最终的判定结果之外,我可能还需要了解模型产生这样的判定是基于病人哪些因素的考虑。如果一个模型完全不可解释,那么在很多领域的应用就会因为没办法给出更多可靠的信息而受到限制。这也是为什么在深度学习准确率这么高的情况下,仍然有一大部分人倾向于应用可解释性高的传统统计学模型的原因。不可解释同样也意味着危险,事实上很多领域对深度学习模型应用的顾虑除了模型本身无法给出足够的信息之外,也有或多或少关于安全性的考虑。比如,下面一个非常经典的关于对抗样本的例子,对于一个 CNN 模型,在熊猫的图片中添加了一些噪声之后却以 99.3% 的概率被判定为长臂猿。在熊猫图片中加入噪声,模型以 99.3% 的概率将图片识别为长臂猿事实上其他一些可解释性较好的模型面对的对抗样本问题可能甚至比深度学习模型更多,但具备可解释性的模型在面对这些问题的时候是可以对异常产生的原因进行追踪和定位的,比如线性回归模型中我们可以发现某个输入参数过大/过小导致了最后判别失常。但深度学习模型很难说上面这两幅图到底是因为哪些区别导致了判定结果出现了如此大的偏差。尽管关于对抗样本的研究最近也非常火热,但依然缺乏具备可解释性的关于这类问题的解释。当然很多学者对可解释性的必要性也存有疑惑,在 NIPS 2017 会场上,曾进行了一场非常激烈火爆的主题为「可解释性在机器学习中是否必要」的辩论,大家对可解释性的呼声还是非常高的。但人工智能三巨头之一的 Yann LeCun 却认为:人类大脑是非常有限的,我们没有那么多脑容量去研究所有东西的可解释性。有些东西是需要解释的,比如法律,但大多数情况下,它们并没有你想象中那么重要。比如世界上有那么多应用、网站,你每天用 Facebook、Google 的时候,你也没想着要寻求它们背后的可解释性。LeCun 也举了一个例子:他多年前和一群经济学家也做了一个模型来预测房价。第一个用的简单的线性于猜测模型,经济学家也能解释清楚其中的原理;第二个用的是复杂的神经网络,但效果比第一个好上不少。结果,这群经济学家想要开公司做了。你说他们会选哪个?LeCun 表示,任何时候在这两种里面选择都会选效果好的。就像很多年里虽然我们不知道药物里的成分但一直在用一样。但是不可否认的是,可解释性始终是一个非常好的性质,如果我们能兼顾效率、准确度、说人话这三个方面,具备可解释性模型将在很多应用场景中具有不可替代的优势。有哪些可解释性方法?我们之前也提到机器学习的目的是从数据中发现知识或解决问题,那么在这个过程中只要是能够提供给我们关于数据或模型的可以理解的信息,有助于我们更充分地发现知识、理解和解决问题的方法,那么都可以归类为可解释性方法。如果按照可解释性方法进行的过程进行划分的话,大概可以划分为三个大类:1. 在建模之前的可解释性方法2. 建立本身具备可解释性的模型3. 在建模之后使用可解释性方法对模型作出解释在建模之前的可解释性方法这一类方法其实主要涉及一些数据预处理或数据展示的方法。机器学习解决的是从数据中发现知识和规律的问题,如果我们对想要处理的数据特征所知甚少,指望对所要解决的问题本身有很好的理解是不现实的,在建模之前的可解释性方法的关键在于帮助我们迅速而全面地了解数据分布的特征,从而帮助我们考虑在建模过程中可能面临的问题并选择一种最合理的模型来逼近问题所能达到的最优解。数据可视化方法就是一类非常重要的建模前可解释性方法。很多对数据挖掘稍微有些了解的人可能会认为数据可视化是数据挖掘工作的最后一步,大概就是通过设计一些好看又唬人的图表或来展示你的分析挖掘成果。但大多数时候,我们在真正要研究一个数据问题之前,通过建立一系列方方面面的可视化方法来建立我们对数据的直观理解是非常必须的,特别是当数据量非常大或者数据维度非常高的时候,比如一些时空高维数据,如果可以建立一些一些交互式的可视化方法将会极大地帮助我们从各个层次角度理解数据的分布,在这个方面我们实验室也做过一些非常不错的工作。还有一类比较重要的方法是探索性质的数据分析,可以帮助我们更好地理解数据的分布情况。比如一种称为 MMD-critic 方法中,可以帮助我们找到数据中一些具有代表性或者不具代表性的样本。使用 MMD-critic 从 Imagenet 数据集中学到的代表性样本和非代表性样本(以两种狗为例)建立本身具备可解释性的模型建立本身具备可解释性的模型是我个人觉得是最关键的一类可解释性方法,同样也是一类要求和限定很高的方法,具备「说人话」能力的可解释性模型大概可以分为以下几种:1. 基于规则的方法(Rule-based)2. 基于单个特征的方法(Per-feature-based)3. 基于实例的方法(Case-based)4. 稀疏性方法(Sparsity)5. 单调性方法(Monotonicity)基于规则的方法比如我们提到的非常经典的决策树模型。这类模型中任何的一个决策都可以对应到一个逻辑规则表示。但当规则表示过多或者原始的特征本身就不是特别好解释的时候,基于规则的方法有时候也不太适用。基于单个特征的方法主要是一些非常经典的线性模型,比如线性回归、逻辑回归、广义线性回归、广义加性模型等,这类模型可以说是现在可解释性最高的方法,可能学习机器学习或计算机相关专业的朋友会认为线性回归是最基本最低级的模型,但如果大家学过计量经济学,就会发现大半本书都在讨论线性模型,包括经济学及相关领域的论文其实大多数也都是使用线性回归作为方法来进行研究。这种非常经典的模型全世界每秒都会被用到大概 800 多万次。为什么大家这么青睐这个模型呢?除了模型的结构比较简单之外,更重要的是线性回归模型及其一些变种拥有非常 solid 的统计学基础,统计学可以说是最看重可解释性的一门学科了,上百年来无数数学家统计学家探讨了在各种不同情况下的模型的参数估计、参数修正、假设检验、边界条件等等问题,目的就是为了使得在各种不同情况下都能使模型具有有非常好的可解释性,如果大家有时间有兴趣的话,除了学习机器学习深度模型模型之外还可以尽量多了解一些统计学的知识,可能对一些问题会获得完全不一样的思考和理解。基于实例的方法主要是通过一些代表性的样本来解释聚类/分类结果的方法。比如下图所展示的贝叶斯实例模型(Bayesian Case Model,BCM),我们将样本分成三个组团,可以分别找出每个组团中具有的代表性样例和重要的子空间。比如对于下面第一类聚类来说,绿脸是具有代表性的样本,而绿色、方块是具有代表性的特征子空间。使用 BCM 学到的分类及其对应的代表性样本和代表性特征子空间基于实例的方法的一些局限在于可能挑出来的样本不具有代表性或者人们可能会有过度泛化的倾向。基于稀疏性的方法主要是利用信息的稀疏性特质,将模型尽可能地简化表示。比如如下图的一种图稀疏性的 LDA 方法,根据层次性的单词信息形成了层次性的主题表达,这样一些小的主题就可以被更泛化的主题所概括,从而可以使我们更容易理解特定主题所代表的含义。Graph-based LDA 中的主题层次结构基于单调性的方法:在很多机器学习问题中,有一些输入和输出之间存在正相关/负相关关系,如果在模型训练中我们可以找出这种单调性的关系就可以让模型具有更高的可解释性。比如医生对患特定疾病的概率的估计主要由一些跟该疾病相关联的高风险因素决定,找出单调性关系就可以帮助我们识别这些高风险因素。在建模之后使用可解释性性方法作出解释建模后的可解释性方法主要是针对具有黑箱性质的深度学习模型而言的,主要分为以下几类的工作:1. 隐层分析方法2. 模拟/代理模型3. 敏感性分析方法这部分是我们接下来介绍和研究的重点,因此主要放在后续的文章中进行讲解,在本篇中不作过多介绍。除了对深度学习模型本身进行解释的方法之外,也有一部分工作旨在建立本身具有可解释性的深度学习模型,这和我们前面介绍通用的可解释性模型有区别也有联系,也放到以后的文章中进行介绍。如果对本系列感兴趣或有疑问,欢迎私信交流。关于 BIGSCity北航智慧城市兴趣组 BIGSCITY 是隶属于北京航空航天大学计算机学院的一个学术研究小组,小组致力于研究机器学习与数据挖掘在城市科学、社会科学等领域的交叉应用技术。BIGSCITY 的研究兴趣包括:城市计算,时空数据挖掘,机器学习可解释性,以及 AI 在交通、健康、金融等领域的应用等。本专栏将介绍 BIGSCITY 的一些研究成果,不定期更新与课题组研究相关的研究工作介绍,以及介绍与 BIGSCITY 相关的一切有趣的内容。关于 BIGSCITY 的详细情况参见研究组主页:https://www.bigscity.com/参考文献1. Google Brain, Interpretable Machine Learning: The fuss, the concrete and the questions.2. Kim B, Koyejo O, Khanna R, et al. Examples are not enough, learn to criticize! Criticism for Interpretability[C]. neural information processing systems, 2016: 2280-2288.3. Kim B, Rudin C, Shah J. The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification[J]. Computer Science, 2015, 3:1952-1960.4. Doshi-Velez F, Wallace B C, Adams R. Graph-sparse LDA: a topic model with structured sparsity[J]. Computer Science, 2014.

达瑟儿

如何提炼选题和解释研究目的?

在人们的生产和生活实践中,每天都会出现大量的问题。对于这些问题,有些是需要通过专门研究或专业人员参与才可回答或解决,有些则随着时间推移而自我发展和自我解决。由此说,作为专门的人文、社会和自然或工程技术的科学研究和研究成果——论文或报告,其并不是也不可能覆盖上述所有问题。事实上,哪些问题可以用于科学研究是有一定原则的。与此同时,特定的问题往往有时候就自带特定的研究思路或某种约定俗成的研究方案。但是,重大的创新性研究却不是这样的。一、题目来源对于想申报一项基金项目或撰写一篇论文的研究者而言,选择一个好的、有意义和有价值的问题是至关重要的。有了明确的研究问题,简洁准确的题目陈述对项目评审或论文能够获得发表机会也是很重要的,这在某种程度上如同一个人的外表形象一样。假如编辑或审阅人读不懂一篇论文的题目或是不能快速地从论文题目中明白该项研究的主要目标或内容的话,那该篇论文或申请书就离“回收站”不远了。要研究的问题从哪里来呢?无外乎两个:一是直接经验,另一个是间接经验。这两种来源并无优劣之分。事实上,间接经验其实还是来自直接经验,只不过因为经验感知者发生了变化而改变了称谓。由此,也可以说,问题的来源最终是直接经验。可是, 对专门研究者或是院校教师来说,因为时空的限制,他们不能有很多机会和条件去接触或感知直接经验。于是,间接经验有时便成为一种现实之举。就教育教学研究而言,有关课堂教学、学生学习和师生交往等教与学的存在就是典型的直接经验。相对而言,基于宏观和中观层面的教育政策及管理议题则既有直接经验的成分,也兼备间接经验的某些特征。现实中,院校教师们在申请研究项目或撰写论文时,往往喜欢或倾向于选择那些宏大主题。这种做法其实是不明智的,它不但没有发挥出教师们的特长和优势,恰恰是启动了劣势按钮。如“高职院校人才培养特色研究”这样的题目就根本不适合教师们去研究和撰写,它适合于智库或校长去研究。概言之,从教师的职业特点出发,教师们应该尽量去选择那些与自己日常教学工作紧密相关的议题并在其中选择值得研究的问题或对象。这些议题对教师而言,就是鲜活的直接经验。有时候,研究者也会从间接经验中选择议题或问题。这么做,很多时候是迫不得已,因为研究者缺少直接经验或没有机会获取直接经验。在读的全日制研究生们就是这种情况。正因如此,研究生在选题时经常会把真实的假问题作为论文题目。有了可靠的值得研究的问题,能够清晰地用语言表达出来也至关重要。一般而言,课题或论文名称在表达上首先要简洁。为此,要尽可能地用最简单的句式和最少的字。假如研究对象是 A 的话,常见的句式可以是:A是什么?为什么是A?如何成为 (或改革、变革) A?影响A 的因素有哪些?等等。其次,名称的表达要力求准确。准确的要求是指不能让读者产生歧义或疑问。最后,论文名称一定要使读者感受到清晰的问题。任何一项研究或一篇论文一定要试图回答或解决某个具体的问题。可是,现实中,我们经常会遇到缺乏问题意识的论文名称。例如,素质教育研究。试想,假如你第一眼看到该名称的论文,你脑海中会出现怎样的画面?作为期刊论文的名称, 这种表达太宽泛了, 没有恰当、直接地反映出作者在该文想要回答或解决的特定问题。除非你的研究对象或问题涉及素质教育的方方面面的问题,或是你的研究“容量”较大,抑或是一本专著。否则,就不能用这种边界模糊的表达作为论文的名称。恰当的表达可以是:素质教育的实施效果评价、素质教育的理论基础研究、素质教育的政策演变,等等。二、问题分类可以按照某种规则将所研究的问题予以归类。这样做的好处是便于为不同类别的研究课题或论文确定适合的研究方法或是结构。在教育教学研究中,常见以下四种类型。1.描述型研究这类研究旨在通过描述、归纳等手段和方式来揭示教育教学中的未知现象,其最终目的在于向政策制定者和教育者提供有关信息。如,高职院校学生学习适应性研究、博士研究生学位论文障碍研究,等等。与其他类型的研究相比,描述型研究是研究中最基本的也是初学者入门的研究类型。描述型研究的关键特征是其所揭示或归纳的结论或发现必须是前人未曾完成或留有研究不足或缺陷的。其本质是有关教育教学现象 “是什么”或“怎么样”。2.预测型研究这类研究旨在对某教育现象在未来某一时间点或时段的状态予以预测。预测的前提和基础是依据该教育现象在当前或之前某一时段的表现状态或基本信息。如,学业成绩的性别差异趋势研究、案例教学法在高职院校的应用趋势研究,等等。预测型研究的关键特征是基于当前看未来,其所给出的结论在当前是没法验证或判断的。但这并不是说,这种研究没有价值。相反,科学的基于数据挖掘和分析而来的结论恰恰能够准确地预测未来,从而帮助政府和教育工作者尽可能地减少失误。其本质是有关教育教学现象未来“会怎样”或“成为怎样”。3.改进型研究这类研究旨在通过寻找和发现那些阻碍或促进某教育教学现象存在或发展变化的影响因素并最终给出改进性的建议或方案。这类研究更多时候是聚焦于教育政策或学校教育教学中的某些方案或制度。如,影响大学生学习动机的因素及促进策略、大学教师专业发展的阻碍因素及促进策略,等等。改进型研究的关键特征是寻找影响因素并在此基础上有针对性地给出解决方案或政策建议。因此,该类研究更多时候涉及的是政策咨询或管理咨询。其本质是有关教育教学现象“怎么做”或“如何做”。4.解释型研究这类研究重在对教育教学现象的产生、发展和变化规律予以总结、概括或归纳。其关键特征是揭示出抽象的规律或对现象予以概念化的命名以便人们能够更为准确地认识和理解。如,慕课的本质与理论基础研究、信息技术时代职业教育的本质与特征研究,等等。解释型研究类似于我们通常所说的理论研究, 其本质是有关教育教学现象 “为什么”或“为何这样”。一般而言,某教育教学现象如果能够被解释或发现规律的话,也就意味人们已经能够对其描述、预测和使用介入因素。由此说,解释型研究是建立在以上三种研究类型基础之上的。研究者一旦将其所研究的问题按上述分类予以定位的话,这将有助于其接下来选择合适的研究方法,也将有助于其设计研究方案。因此,可以说,对问题类型予以定位在研究过程中是十分必要的环节之一。本文作者韩映雄,马迁。原文标题为《如何选题和陈述研究目标》,本文节选了如何选题这一部分,转载:社科学术圈,版权归原作者所有,如有侵权请告知删除。

大喘气

脑洞大开,用超级技术解释神仙法术

科学技术是人们根据自然规律总结出的实用科技,技术越发达,就越能创造出不可思议的神迹。笔者认为历史上的那些神迹都是外星人用高科技创造出来的。基于人类现在的技术水平低,因此无法理解,更无法实施出传话中的神力。作为科幻爱好者,笔者试着从超级技术(有理论但没有实现的技术)解释古代的神仙法术。一、呼风唤雨在古代,不论是农耕文明,还是游牧文明,风调雨顺是都是丰收的前提条件。需要雨时,没有雨,就会出现旱灾; 不需要雨时,有很多雨,就会出现洪灾。以人类现在的技术,呼风唤雨虽然困难,但并非无法做到。向天空发射干冰炮弹,就可以唤雨;改变空气层的冷热状况,就可以呼风。超级技术可以对气象进行全面控制,“冬雷震震, 夏雨雪”完全就是小技术,制造小冰河期、制造全球大洪水才是超级技术该有的实力。人类文明的史前传说中,都有大洪水的记录,笔者认为就是上帝文明制造的,目的就是毁灭人类。呼风唤雨二、腾云驾雾古代的神仙都有腾云驾雾的本领,一个筋斗云就是十万八千里,人类现在的航空航天技术就可以理解成是腾云驾雾的初级阶段。现在的飞机太大,看不出一个人腾云驾雾的感觉,跳伞虽然有腾云驾雾的感觉,但没有神韵。如果制造一种小型飞行器,人采在上面就可以飞离地面数百米至上千米,移动的速度达千公里每小时,那么就有了腾云驾雾的神韵。有了这种飞行技术,那么回到古代,在天上飞上一圈,也就成神仙了。腾云驾雾三、瞬移千里神仙都有一种本领,那就是一眨眼就在千里之外了; 你刚刚许愿完成,人家就可能出现在你身边。瞬移千里跟腾云驾雾的两种概念,瞬移千里需要的速度更快,好比飞机的速度跟光速相比一样。利用超级投影技术就可以实现瞬移千里,你在许愿时脑电波被接受到,然后神仙通常超级技术在你脑中成像,让你有了身临其境的感觉。瞬移千里还有一种可能,那就是神仙们的生命形式以能量波的形式存在。能量波,你可以理解成灵魂,也可以理解成意识。不论是能量波,还是意识,其速度都以光速传播,因此他们可以瞬意千里,然后以人体的形式展示出来。瞬移千里四、变化无穷神仙还有一种本领,那就是变化无穷,可以变成任何人,也可以变成任何动植物,甚至是没有生命的物体。看过《变形金刚》的人们知道,变形金刚可以形成许多机械结构。看过《终结者》的人们知道,终结者机器人可以变成任何人的样子。看过《生化危机》的人知道,复制人可以无穷无尽!超智能机器人,具有拟人态的功能,具有变形的功能,由程序控制他们变成需要的样子。人脸技术并非难事,现在很多支付系统都以人脸识别为验证方式。超智能机器人能识别人脸,并掌握一个人的外形参数,根据这些参数变成任意一个人。利用生物基团技术,可以复制无数个自我,至于复制需要用的时间,可以压缩。孙悟空有七十二般变化,还能变出千千万万个孙悟空,这可以理解成超级生物基团技术。人的潜力无穷无尽,一旦基因锁被 解开,那么人变成神也非难事。根据目前的研究,人类的大脑开发利用程度才5%左右,一旦完全开发,则不可想象。变化无穷五、永生不死玉皇大帝苦历过一千七百五十劫,每劫十二万九千六百年,合计2.2亿岁。每位神仙的寿命几乎都是无穷尽的,始于宇宙诞生之初,终于宇宙毁灭之时。人类要实现永生不死,要从基因和生命形式两方面如入。基因技术可以让人活上数万年,而改变生命形式,则人将永生不灭了。现在的更换器官技术、优生优育技术,都可以看成是基因工程的初级阶段。人类的基因确定了一个人的生老病死,一个人的基因可以视为中医所说的“先天元气”,改变基因就可以让人活着更长。如果完全解析了人类的基因,那么新人类可以采用基因技术培育,剔除基因缺陷,植入优秀基因,人长生不老就不是问题了。永生不死神话认为,人死之后以灵魂的形式存在,而灵魂可以视为一种能量波,这种能量波正常情况下不会消亡,也就达到了永生的目的。这就好比,资料存在硬盘里,只要硬盘不坏,那么资料永远不会消失。就算硬盘坏了,也可以将资料再转移。人类的生命好比资料,硬盘则好比人的身体,资料可以永存,但硬盘有时间限止。老子说“吾所以有大患者,为吾有身,及吾无身,吾有何患!”,这里大家可能忽视了一点,那就是“及吾无身”时,人未必就死了,只是以另外一种方式存在而已。当然,灵魂这种生命形式,让很多人无法接受,虽然可以永生,且不受病痛折磨,但也了无生趣。因此很多人提出“只羡鸳鸯不羡仙”,因为鸳鸯有爱情,而灵魂这种形式是没有爱情的。六、无中生有神仙还有一种能力,那就是无中生有,他们可以凭空变出金银财宝、美味珍馐、林罗绸缎。至于这种无中生有的能力,笔者有四种猜想:其一、维度科技; 其二、物质转化技术; 其三、能量转物质技术; 其四、脑部影响技术。我们生活在三维世界,可将一张纸理解成二维世界,人们从三维可以任意进入二维,因为二维少了一个维度。同理,神仙们可以从四维进入任意三维世界,神仙们变出的东西,是神仙们从四维进入三维后,从三维世界的其它地方直接取过来的。在三维世界,你无法抵御来自四维的索取,就好比你无法改变时间向前流动一样。维度科技三维世界的时间是单向的,它只向前流,不会倒流,也不会左流或者右流,更不会上流或者下流。在四维世界,时间是多向的,它可以向任意一个方向流动,这样的话神仙们除了可以抓取现在的物质,还可以抓取过去或者未来的物质。有这样的技术,无中生有也就简单了。人类对物质的认识是不断加深的,物质、分子、原子、电子、粒子,层次越来越深。如果人类掌握了原子的操控技术,将原子排列成需要的元素,再将这些元素转变成分子或者物质,那么“以物变物”就有可能了。比如传说中的点石成金,将石头中的原子重新排列,最终让它们变成金元素,那么石头也就成金了。点水成油,同样是这个道理,将水分子变成汽油的主要组成物质,则水变成油也不难了。人类文明的技术发展,到目前为止,只是在提高物质的能量利用率,目前已经可以小规模使用原子能了。物质可以转变成能量,那么能量可否转变成物质呢?能量转变成物质当然是可以的,比如植物通过光合作用,就光能转变成自身的物质。光能无处不在,如果能将光能转变成任意物质,那么无中生有也成为现实。目前除了植物将能量转化为物质,人类还不具备将能量转化为物质的技术,不过这是一个发展方向。光合作用脑部影响技术则有投机取朽的成份了,利用能量波影响人的脑部,让人的眼睛看到的东西变成你脑中想像的东西。通过这种方式,也可以实现无中生有,受影响的人绝对不会发现自己的大脑欺骗了自己!七、捉星拿月神仙们不仅可以搬山移海,还能捉星拿月,可谓神乎其技。中国神话中,后羿射日,他一人射了九个太阳下来,可谓神力无穷。所谓的星星,大部分是恒星,毁灭恒星难,驱动恒星更难,但是文明的技术能力是无穷的,捉星拿月对于神级文明来说,如同探囊取物。捉星拿月卡尔达舍夫等级是一种用来衡量一个文明的技术的先进等级的方法,以一个文明能用来与通讯交流外行星的能量的多少为基础。也就是说能用大量能量与外界沟通的行星,才可以算入卡尔达舍夫等级。宇宙一级文明:此等级的文明所掌握的科学技术可以完全掌控他们星球上的一切可利用资源,以及一切事物。是星球上的绝对主宰者,可以随心所欲的控制天气、河流、土地、其它生物、海洋甚至地壳内物质的变化、兴衰。可以说,在他们的星球上他们无所不能。宇宙二级文明:可充分利用其恒星所具有的能量,并将他们的太阳系完全纳入操控之下。可以在太阳系内的各个行星上自由居住、穿梭,不担心能源问题,因为懂得怎样高效利用从恒星上散发出的无穷无尽的能量,社会已经高度发达,发展趋于高加速式。宇宙三级文明:已经不局限于他们的太阳系,而是所在的整个星系,比如我们的银河系。可利用星系内所有恒星的能量。这类文明已经超出了我们的想象,我们只能猜测他们的生存方式。宇宙四级文明:猜测其摄取宇宙中的暗物质和暗能量(两者占可视宇宙范围内质量的约95%)作为他们的能源。至于此类文明的其它方方面面,已是无从想象了。宇宙四级文明从宇宙文明划分来看,进入二级文明,摧毁恒星就不难了; 进入三级文明,摧毁一个恒星如同我们打爆一个气球一样简单,捉星星、拿月亮真可以手到擒来。达到宇宙四级文明,捉星拿月的事,他们都不屑于为之。八、毁天灭地《三体》中,歌者文明的一个低级清理员,毁灭一个外星文明就如同家常便饭一样。三体世界毁于光粒打击,一个小小的光粒就可以击爆恒星,进而毁灭一个世界。地球文明则毁于二向箔,属于比较高级的降维打击,整个太阳系因为人类的存在而被二维化。毁天灭地文明技术发展到极至,足可以开天辟地,同样也可以毁天灭地。中国神话中,天地本混沌,盘古生于其中,他醒后手挥巨斧,天地分而万物生。西方神话中,上帝说,要有光,于是就有光。中西方神话都有创世神灵,而创世神灵皆有毁灭地球的行动。以人类目前的技术力量,毁灭自身没有问题,要摧毁地球却力有不及,因为人类的技术层次还很低,对原子能的利用都还仅仅处在初级阶段。如果掌握了暗能量的利用,那么人类也可以成为创世主,去创建一个生命休系,一个文明体系。人类也可以向歌者文明一样,任意摧毁一个恒星,任意驱动一颗行星,无所不能而无所不在。有人说,人类是地球上的病毒,从不间断地伤害地球; 而文明则是宇宙的病毒,不断的摧毁各种星体。因此有的人呼吁人类要限止技术的发展,甚至提出重返低技术的田园时代。他们忘记了病毒本身也是地球生物之一,而文明的产生是宇宙发展的必然结果。技术本身并没有错,只看使用技术的人是开天辟地,还是毁天灭地。人类对地球有什么作用?6500万年前,一颗直径10千米的小行星,以40km/s的速度撞向地球墨西哥尤卡坦半岛。这导致恐龙灭绝暂且不提,它还在地球身上撞击了一个直径达到180公里的大坑。我想人类对地球的作用,就是免于地球被外空天体毁灭。人类技术到达了一定层次,小行星撞击地球是不会发生的。小行星撞击地球

穿衣难

技术解读歼-20:深扒技术研发史,“威龙”的成功不是一朝一夕

2016年11月1日,珠海航展首日,2架身披最新碎裂迷彩的J20战机以低空掠过展会上空及展示几个高难度战术动作的方式告诉世人,中国的五代机时代来了!而为了这一天,中国人足足等了将近6年的时间。关于J20的话题,可以说从其诞生之日起就从来没有中断过,也一度成为中国继DF21D后军迷最热议的话题之一,而今次由空军飞行员驾驶并惊艳亮相航展,也至少从一个侧面再度印证了中国空军已经逐步接装该款飞机,未来J20也必将成为中国空军的绝对主力之一,因此今天笔者将结合现有资料及此次珠海航展现场得到的各方信息综合分析下J20在对空对地上的能力。▲双机编队J20▲早年J20原型机(即718工程)首飞成功的庆工照一、空中截杀对于一架战斗机而言,对空作战无疑是其最大的本职工作之一,五代机也是如此。而对于J20来说,其最大的用途便是在现有我国“区域拒止战略”的作战思想及体系下,拦截及歼灭入侵我国领空的敌方空中作战平台,这里面当然包括了潜在对手的五代战机、隐身轰炸机、预警机等,为此J20在其气动外形布局上采用了略显注重超音速性能的“鸭翼加边条翼加升立体”综合气动布局,这在相当程度上能够满足其在当前发动机性能尚不足的情况下的超音速巡航及空中格斗所需的机动性要求,而关于这一点此次珠海航展现场的中航工业副总张新国曾在答记者问时巧妙的说过不同时期的五代机其满足4S的标准的做法都是不一样的,从这也侧面印证了J20目前的设计是可以满足超音速巡航及超机动需要的,而关于此前J20是国发还是毛发的争论,笔者相信最近的官方报道已经给出了最好的答案,当然目前阶段J20所用的国产WS10B发动机只是一个过渡,随着推力更大WS15的到来,J20身上所蕴含的潜力届时也将得到一个完美的展现。▲完美的小展弦比高升力布局,使得J20在飞行中机身两侧都会产生各4个涡流,十分有利于其瞬间爬升及翻转格斗▲太行与AL31及117S的区别▲太行发动机实则已经发展出了多个型号▲就算官方不报道,从现有图片都能看出J20从2016号机到如今碎裂迷彩的J20量产型已经是装备了黑色喷口的WS10B发动机,这与以往银白色喷口AL31或WS10A有着很大不同,对比图上的J11装备WS10B的图片就能看出,J20确实配置了黑色喷口的WS10B▲此前银白色喷口的AL31发动机的J20,与上图对比差别明显▲疑似J20矢量喷口的设计▲注意其操作杆与下图国产五代机(大家也懂的)一体化座舱内部的侧杆很相似说到对空作战,除了完美的机体设计外,先进的航电及武器系统也是攸关成败的关键因素,从目前综合的资料上看,J20采用了国产第三代AESA雷达,其在具体作战性能上已经达到了国际一流水平,而新型电传操作系统、一体化综合屏显,侧杆操作等诸多先进技术的运用,无疑都使得J20拥有良好的空战能力及人机交互水平,特别是疑似EODAS(光电分布式孔径系统)的运用,更赋予了飞行员良好的战场态势感知能力,使得其在空战中更具优势,而此前唯独运用该系统的战机只有美国的F35。而在J20的武器配置方面,也堪称豪华,PL10第四代空空格斗弹,PL12改、PL15、PL21等现役或即将服役的中远程空空弹,都将给予J20在此前国内战斗机上前所未有的空中截杀能力。▲国产3代装备不同机型的相控阵雷达及部分参考参数,注意最后一种!▲航展曝光的国产五代机(大家都懂的)先进一体化座舱、综合显示屏及不同于此前国产飞机的侧杆操作方式▲J20机头机背附件布置的疑似EODAS▲早年曝光的J20带2枚PL15的照片,尺寸略大于PL12,其中一枚弹翼展开,红点为弹药挂点▲早前曝光的J20分别搭载PL12改及PL15的图,图上方弹舱为跟AIM120系列尺寸差不多的大的PL12改可以带3枚,而图下方弹舱不同于PL12改的尺寸更大的PL15则可以带2枚。▲此图完美解释了为何之前头次曝光的J20每侧弹舱只有2枚的原因,很简单因为PL15的尺寸大于P12及AIM120,因此只能携带2枚,但PL15的射程也更远▲J20格斗弹舱里携带新型PL10导弹的发射方式与F22有很大的不同,而前者这种发射方式能比后者在格斗中获得更快的发射机会,而本次航展的PL10的出口版本PL10E的数据也得到了曝光,大家可以参考下▲J20的内部布置图,图中显示出了机炮的大概布置二、地/海面追猎进入新时代后,战斗机的发展趋势均以多用途为主。对于J20而言,除了是一款优秀的五代制空战斗机外,良好的对地对海攻击能力也是其不可或缺的,因此从此前的原型机设计开始,J20就考虑到了这些因素。其巨大的弹舱容量设计及EOTS(光电跟踪瞄准系统)的采用,无疑是证明这一观点的最佳观点。虽然此次航展没有具体提到J20的实际挂载能力,但从国内第二款隐身战斗机J31的曝光资料来看,目前国内五代隐身战机的内部弹舱容量至少可以保证其战时一次性搭载4枚空地/空舰导弹或4枚500公斤级的精确制导深侵彻炸弹(即钻地炸弹)或12枚小直径SDB炸弹及其他武器系统,而对于比J31还大一号的重型战机J20来说,满足以上的条件根本不是什么难事,再配合其先进的EOTS系统,使得J20可以很好在国内下一代隐身轰炸机出来前承担踹门者或斩首者的重任,这一切都对于未来可能的周边冲突(如打击台独“总统府”,反敌水面舰艇等)起到了一个良好的威慑作用,从而根本上保障国家自身的和平发展环境。▲J20机头下方布置的EOTS能赋予其优秀的对地对海探测及打击能力▲航展上展出的J31的对地攻击弹药挂载,作为比J31还大的重型五代机J20其挂载能力基本在这之上,因此我们可以做个较好的参考,注意第二类弹药超音速空面导弹,其外形类似于YJ12的缩小版,说明国内对于隐身飞机用的机内超音速武器已经有了一定的产物,否则不会就这样进行公开,可见J20或许能成为中国继反舰弹道弹21D、26后,又一反航母利器。说完以上这些,笔者在简单的说说大家感兴趣的J20的RCS问题。无疑,五代机相对于此前战斗机的最大不同点就是其隐身能力的运用(即低可探测性能力包括低雷达探测及红外探测等),虽然目前J20的RCS还是一个未知数,毕竟绝密数据的公开不会那么轻易,或许永远也不会有一个真正的答案,但从中国已经研究了30年的隐身技术的积累来说,J20的隐身能力至少跟美国的F22及F35是一个层次。而在公开的第一批次量产型机上,我们也看到了不同于俄罗斯T50的区别,即J20同样装上了便于己方雷达观测的龙勃透镜,这一点同样美国的F22及F35也有配置,因此若非J20的隐身能力达到一个较高的量级(即与美国的F22与F35一样),是完全没必要装上的。▲J20上的龙勃透镜▲《一种小展弦比高升力飞机的气动布局研究》一文的部分节选,有兴趣的朋友可以自行前去搜索下载最后笔者认为,J20的出现并不是一朝一夕的事,其最早的理论基础来源于J10总师宋文骢及其团队成员在90年代末21世纪初所撰写的《一种小展弦比高升力飞机的气动布局研究》一文,可以说正因为有了那一代航空人坚持不懈的努力,才有了如今J20的一飞冲天,因此J20的出现实则是对中国军工人这些年努力自我创新,追赶世界潮流的最好褒奖。同样今天J20的成功,也会使得中国各相关制造业、材料学等诸多相关领域的水平得到一个质的提高,为今后的六代机研制打下一个坚实的基础,或者这才是J20所带给我们的最好礼物,而未来我们必将迎来属于威龙的红色天空。——————【《军武次位面Ⅲ》特别篇:不流血的殊死拼杀 揭秘首次大型战争重演拍摄】《军武次位面》是中国最受年轻人欢迎的网络军事节目之一,每周五在腾讯视频、优酷、今日头条、网易、爱奇艺、搜狐视频、凤凰网、乐视、秒拍、小米、A站、B站、风行等二十多家网站同步更新,在年轻一代军迷中有着很高的人气,欢迎大家关注我们的节目更新。

取境

可解释机器学习技术之后置全局可解释详解

后置全局可解释机器学习模型从大量训练数据中自动地学习有用模式,并将学到的知识保存到模型结构和参数中。后置全局可解释旨在为预先训练的模型所获得的知识提供全局解释,并以直观的方式对模型参数或学习得到的表示进行说明。我们将现有的模型分为传统机器学习和深度学习两类,这样分类是因为我们能够从每个类别中提取一些类似的解释范例。1. 传统机器学习解释传统的机器学习流水线通常依赖于特征工程它将原始数据转换为更好地表示预测任务的特征。这些特征通常是可解释的,机器学习的作用是将特征表示映射到输出。我们考虑了一种简单有效的解释方法,称为特征重要性(feature importance),适用于大多数传统机器学习模型,它表明机器学习模型在进行决策时每个特征的贡献程度。(1)模型无关解释:与模型无关的特征重要性广泛适用于各种机器学习模型。它将模型视为黑盒,并且不检查内部模型参数。典型的方法是“置换特征重要性”,其核心思想是,通过对给定特征值置换后模型预测精度的变化进行计算,可以确定给定特征对模型整体性能的重要性。更具体地说,给定一个具有n个特征的预先训练模型和一个测试集,该模型在测试集上的平均预测得分为p,即基线精度。我们将测试集上的特征值重新排序,并在修改后的数据集上计算模型的平均预测得分。每个特征迭代执行上述过程,最终可以分别得到n个特征的n个预测得分。然后,我们根据n个特征相对于基线精度p的得分下降程度来对其重要性进行排序。这种方法有几个优点:首先,我们不需要对人工特征进行归一化;其次,该方法可以推广到几乎所有以人工特征为输入的机器学习模型;最后,该策略在应用中被证明是稳健和有效的。(2)模型相关解释:针对不同模型也存在特定的解释方法。模型相关解释方法通常通过检查内部模型的结构和参数来得到模型的解释。下面,我们将介绍针对两类机器学习模型计算特征的重要性。广义线性模型(GLM)由一系列模型组成,这些模型是输入特征和模型参数的线性组合,然后输入到一些转换函数(通常是非线性的)构成的模型,如线性回归和逻辑回归。GLM的权重直接反映了特征的重要性,因此用户可以通过检查权重并将其可视化来了解模型的工作方式。然而,当不同的特征没有被适当地归一化且测量尺度变化时,通过权重进行模型解释不再可靠。此外,当特征维数过大时该方法所给出解释的可理解性会下降,这可能超出了人类的理解能力。基于树的集成模型,如梯度提升算法、随机森林和XGBoost,通常人类是难以理解的。有几种方法可以测量每个特征的贡献度。第一种方法是计算在树分支中采用某特征时的精度提升。如果不为某个特征的分支添加额外分支,则可能存在一些错误分类的元素。在增加额外分支之后,会存在两个分支,使得每个分支都更准确。第二种方法测量特征覆盖率,即计算与一个特征相关的样本的相对数量。第三种方法是计算一个特征用于数据分割的次数。2. DNN表征解释DNNs不仅要研究从表征到输出的映射,而且还要从原始数据中进行表征学习。学习到的深层表征通常是人类无法解释的,因此对DNNs模型的解释主要集中在理解DNNs中间层神经元捕获的表征。在这里,我们介绍两类主要的DNN模型,即CNN和RNN的表征解释方法。(1)CNN表征解释:针对CNN不同层上神秘表征的理解和解释吸引了越来越多的关注。在CNN表征解释的不同策略中,最为有效和广泛使用的策略是针对特定层上的神经元确定首选输人。该策略通常是通过激活最大化(AM)框架进行描述。从随机初始化图像开始,我们对图像进行优化,以最大化激活神经元。通过迭代优化,利用神经元响应值相对于图像的导数对图像做出调整。最后,对生成的图像进行可视化,就可以知道单个神经元在其感受野中探索的是什么。事实上,我们可以对任意神经元进行此类操作,从第一层神经元一直到最后一层输出神经元,以此来理解各层上的编码表示。虽然框架很简单,但实际运用中却面临着一些挑战,其中最大的挑战是会产生奇怪的伪影。优化过程中可能会产生包含噪声和高频模式的不真实图像。由于图像搜索空间大,如果没有进行合适的正则化,即使有满足条件的图像激活神经元,图像也无法辨识。为了解决这一问题,需要利用自然图像先验知识对优化过程进行约束,以生成和自然图像类似的合成图像。一些研究者启发式地提出了一些人为先验,包括总变差范数、α范数和高斯模糊。此外,可以通过生成模型(如GAN或VAE)生成更为强大的自然图像先验,此类生成模型可将隐空间中的编码映射到图像空间。这些方法不是直接对图像进行优化,而是对隐空间编码进行优化,以找到能够激活指定神经元的图像。实验结果表明,由生成模型产生的先验信息显著改善了可视化效果。模型可视化的结果揭示了CNN表征的一些有趣的性质。首先,神经网络在多个抽象层次上进行表征学习,从第一层到最后一层,逐渐从一般特征学到了任务相关特征。其次,神经元可以对存在语义关联的不同图像做出响应,展示了神经元具有多面性。注意,这种现象并不局限于高层神经元,所有层级的神经元都具有多面性,只是高层神经元比低层神经元更具多面性,即高层神经元对某类输入的变化具有更强的不变性。第三,CNN可以学到对象的分布式编码,可以使用基于部件的表示来描述对象,这些部件可以跨类别共享。(2)RNN表征解释:在对CNN解释进行了大量研究后,揭示RNN表征(包括GRUs和LSTMS)所编码的抽象知识近年来也引起了人们浓厚的兴趣。语言模型常被用于对RNN表征学习的分析,语言模型的目标是根据前一个标识来预测下一个标识。研究表明RNN确实能学习到一些有用的表征。首先,一些研究通过对能够最大化激活某个单元响应的实际输入标识进行分析,检测了RNN最后的隐藏层的表征,并对该层上不同单元的功能进行研究。研究表明,一些RNN表征单元能够捕获复杂的语言特性,如语法、语义和长期依赖关系。另外一项研究通过字符级语言模型对RNN的响应模式进行分析。该研究发现,虽然大多数神经单元很难找到特定的含义,但在RNN隐层表征中确实存在某些维度,能够关注于某些特定的语言结构,如引号、括号及文本中的行长度。在另外一项研究中,采用词级语言模型对RNN各个隐层单元所编码的语言特征进行分析。可视化结果表明,一些神经元主要对特定的语义类别产生响应,而另外一些神经单元则会对特定的语法类型或依赖关系产生响应。值得一提的是,一些隐层神经单元可以将响应值传递到后续的时间步,这就解释了为什么RNN可以学习长期依赖关系和复杂的语义特征。其次,通过对不同隐藏层学习到的表征进行比对,发现RNN可以学习到对象的层次化表征。该研究表明,RNN表征与CNN表征之间存在相似之处。例如,采用多层LSTM构建的双向语言模型,分析此模型不同层上的表征可知,模型的下层捕获了上下文无关的语义信息,较高层次的LSTM表征则可对语义上下文进行编码。深度上下文表征层可以通过上下文进行词义消歧,因此可以用于需要考虑上下文的词义理解任务中。

怪兽狼

张钹院士:可解释、可理解是人工智能研究的主攻方向 | CCF-GAIR 2018

2017 年末清华大学举办的「从阿尔法 Go 到通用人工智能:脑科学与人工智能」学术研讨会上,中国科学院院士、清华大学类脑计算研究中心学术委员会主任张钹院士在其现场演讲《AI 和神经科学》中的一番「关于教授们应在 AI 热潮中看到什么」的观点至今令雷锋网 AI 科技评论印象深刻。「现在的人工智能有点儿像《红楼梦》,不同的人有不同的看法。企业家看到商机,科学家(霍金)看到危险,工程师看到应用前景,老百姓看到 AlphaGo 打败李世石。而教授应当看到的是——去做人工智能的基础问题。我们不能去看那个商机,商机应该让企业家去看。」身为老一辈人工智能科学家,且至今仍活跃在中国 AI 前线的张钹院士在自己热爱的人工智能领域耕耘了一辈子。由中国计算机学会(CCF)主办,雷锋网与香港中文大学(深圳)承办的 CCF-GAIR 2018 大会计划于 6 月 29 日至 7 月 1 日在深圳举行。届时,张钹院士也将受邀作为主论坛嘉宾出席,同时他将在会上做主旨大会报告。张钹院士,CCF 会士,2014 CCF 终身成就奖获得者,中国科学院院士,计算机专家,清华大学类脑计算研究中心学术委员会主任。从事人工智能理论、人工神经网络、遗传算法、分形和小波等理论研究,以及把上述理论应用于模式识别、知识工程、智能机器人与智能控制等领域的应用技术研究,200 多篇学术论文和 5 篇(或章节)专著(中英文版)。多栖专业科研专家,终以人工智能作为致学目标张钹院士生于福建省福清县的一个书生门第,他的祖父是清朝贡生,为了改善家乡的教育环境,在当地创办过小学。1953 年,张钹院士参加高考并以数理化三门满分的成绩进入清华大学攻读电机与电气制造专业,三年后的 1956 年,张钹院士又响应国家国防需求进入飞行器控制专业学习,并顺利作为第一批优秀毕业生毕业。1978 年,张钹院士从原自动控制系的学科方向转向计算机研究,在此基础上,他与其他老师决定把人工智能与智能控制作为该教研组新的专业方向(这也使得清华大学较早的开展了人工智能教学与科研)。从那时起,张钹院士为中国人工智能事业的白手起家做出了一步又一步扎实的努力,同时也收获了来自国内外的赞誉。1980—1982 年,张钹院士作为访问学者受国家派遣前往美国伊利诺伊大学香槟分校访问学习,回国之后,带领组建了智能机器人实验室,并在此基础上筹备建立了智能技术与系统国家重点实验室;19871994 年任国家"863"高技术计划智能机器人主题专家组专家;1994 年当选为俄罗斯自然科学院外籍院士;1995 年当选为中国科学院院士;2011 年,被授予德国汉堡大学自然科学名誉博士,这是该校迄今为止在信息与数学领域授予的第五位学者,也是唯一的一位亚洲学者;2015 年 1 月 31 日,张钹院士获得 2014 CCF 终身成就奖;2016 年获微软研究院杰出合作贡献奖 ……过去 30 多年的研究中,张钹院士提出问题求解的商空间理论,以及在商空间数学模型的基础上提出了多粒度空间之间相互转换、综合与推理的方法。他还提出问题分层求解的计算复杂性分析以及降低复杂性的方法,该理论与相应的新算法已经应用于不同领域,如统计启发式搜索、路径规划的拓扑降维法、基于关系矩阵的时间规划以及多粒度信息融合等,这些新算法均能显著降低计算复杂性。张钹院士的该理论现已成为粒计算的主要分支之一。在人工神经网络上,他提出基于规划和基于点集覆盖的学习算法。这些自顶向下的结构学习方法比传统的自底向上的搜索方法在许多方面具有显著优越性。功成名就,依然耕耘在人工智能前沿在人工智能学术方面,张钹院士发表了 200 多篇学术论文和两部专著。如《问题求解理论及应用(Theory and Applications of Problem solving)》。张钹院士为中国人工智能奉献了自己的科研生涯,同时,张钹院士还在自动化、飞行器控制、计算机和人工智能的多个跨专业领域均建树极高,这也表现出张钹院士高产的科研实力。身为中国人工智能事业的元老级人物的张钹院士,即使已经年过八旬,但他依旧活跃在中国人工智能事业的前线,身体力行地传递着其对人工智能的研究精神。更为重要的一点,张钹院士历经了中国人工智能的从无到有,从弱到强,因而他也最能清楚地针对中国人工智能近年来的不同发展状态,发表适合的看法和提出正确的建议。雷锋网 AI 科技评论总结了张钹院士近年来关于人工智能的部分演讲内容,不难看出张钹院士对人工智能行业的独到观点,以及其对中国人工智能发展的高度关注。在将人工智能推上神坛的 AlphaGo 热潮下,张钹院士就一针见血地指出,「人工智能距离『超越』人还差得远,当前人工智能的最大问题是不可解释和不可理解,而目前人工智能的主攻方向是往可解释可理解的方面走的。」张钹院士也曾在多个公开场合的演讲中表示,研究人工智能的教授不能像商人那样只在 AI 中看到商机,更应透过 AI 大热的表象看到人工智能产业仍旧处于需要研究人员攻克基础难题的发展阶段。不止如此,张钹院士对国内的人工智能产业也相当上心,每隔几个月,甚至一个月多次就会受邀或主动进行人工智能相关演讲,为国内人工智能产业出谋划策。早在 2005 年时,张钹院士就呼吁中国计算机开启智能化之路,中国应掌握智能化技术以提高企业核心竞争力。2016 年,CNCC 2016 暨人工智能 60 周年上,张钹院士详细做了「后深度学习时代的人工智能」的演讲。同年,张钹院士在中国智谷大会上指出,AI 就是要让计算机实现感知、决策、行动等三种类人类行为。当然,张钹院士并没有止步于演讲层面,而于 2017 年四月选择在业界发挥自己的光和热,在人工智能创业公司深醒科技担任首席科学家。对产业与学术都有深入了解的张钹院士,又会在 CCF-GAIR 2018 上带来怎样的精彩演讲?目前 CCF-GAIR 2018 组委会已经上线了原价 3999,现价 999 的早鸟票,心动不如行动,购票地址及大会详情可访问 了解。

恭江

神经网络的可解释性研究现状

近年来,深度学习系统的解释方法已引起人们的广泛关注。现有的深度神经网络可解释方法主要分为基于数据的方法和基于模型的方法。基于数据的可解释性分析方法中最典型的是可视化方法。可视化方法主要通过可视化工具将数据中的重要部分进行标注,将学习过程与原始数据结合起来,进而帮助我们直观地理解深度学习的学习过程。例如,塞尔瓦拉朱(Selvaraju)等人使用了可视化方法,通过对卷积层的梯度生成热力图,对输入图像中的重要像素进行显示和标注,帮助我们理解深度学习的学习区域;欧拉(Olah)等人则使用了特征可视化的方法,对神经元学习到的内容进行可视化。这些可视化方法让人们对神经网络的内在机理有了直接印象,但是由于这类方法无法深人了解模型内部结构,难以对模型决策逻辑进行直接解释,因此对于神经网络的黑盒问题并没有实质性地解决。基于模型的可解释性分析方法主要分为代理模型和自动特征提取两种。代理模型方法是通过构建新的模型以模拟黑盒模型的输入和输出,通过该代理模型来理解原黑盒模型,比较典型的有里贝罗(Ribeiro)等人提出的基于模型无关的局部可解释性描述(Local Interpretable Model-Agnostic Explanations,LIME)的线性代理模型。自动特征提取则是另一种研究深度学习系统可解释性的方法,其主要通过对输入、输出以及模型内部元素的关系进行研究,进而分析解释其决策逻辑。具体有通过对各层、各神经元使用if-then规则进行自动特征提取的KT方法,使用采样进行自动特征提取的方法,以及通过连接权、偏导、输入变量的改变来判断输入变量重要程度的敏感性分析方法等。尽管这些方法能对现有神经网络的决策逻辑进行一定的分析,但是无法直接构建可解释性的神经网络。基于数据的可解释分析方法虽然能对神经网络的决策逻辑提供直观的印象,但是很难指导我们进行有目的的建模。而基于模型的可解释分析方法虽然在一定程度上对可解释性有所帮助,但是仍然很难帮助我们解决深度学习系统难以判读的问题。所以寻找一种新的能同时拥有可判读和可理解两大特要性,并可直接构建新的神经网络的方法成为了解决深度学习智能系统安全的核心问题之一。

研发的重要性怎么理解都不为过

研发费用在利润表中单独列示,这将释放一个信号:研发费用高的企业是有长远发展规划的企业,重视研发的企业也将得到更多尊重与认可。一直以来,把研发费用混在管理费用中核算,这是极大的失误,因为这模糊了研发费用的面目,也歪曲了管理费用的实质。现在的变革等于拨乱反正,为企业在研发上所做的努力正名。一、研发费用应在利润表中单列利润表中期间费用不应只有三项。销售费用核算面向市场的费用支出,管理费用核算面向内部运转的费用支出,财务费用核算面向融资的费用支出。研发费用与这三项期间费用都靠不上,建议单列出来作为一项期间费用列示。一方面,还管理费用以本来面目;另一方面,突出研发费用的地位。管理费用高让人心痛,而研发费用高则让人心动。二、 研发费用费用化更符合谨慎性原则研发费用资本化是给利润粉饰开的口子。把研发行为生生截为研究、开发两段并不科学;研发从来是行百里半九十,不到最后一刻没人敢说研发成功。从这点看,研究、开发是不可分的。即便研发成功了,研发成果就一定有价值吗?研发成功与市场成功差得远呢!按谨慎性原则,开发费用同样应费用化。三、研究阶段与开发阶段如何界定研发费用能否资本化,关键在于研发工作是处于研究阶段还是开发阶段。处于研究阶段,意味着事情还不成形,花的钱就当打水漂了,全部作为费用。处于开发阶段,好比看到了黎明前的曙光,花的每分钱都将有价值。实操中有两点不好把握:一是研究、开发临界点怎么分;二是谁敢说到了开发阶段成果就一定有价值。四、研发费用资本化容易被滥用研发费用资本化如同一道窄门,能过得去的不多。正如上面所讲,研发不到最后一刻,谁能预知成败呢?行百里半九十,研发过程也同此理,90%为研究,10%为开发。站在企业角度看,因为研发费用可加计扣除,从节税方面考虑,企业也乐意费用化。如果会计账面上资本化的研发支出过于高企,那是值得关注的信号,基本可以断定企业在滥用此款粉饰报表。五、衡量企业发展后劲看研发投入创新是高科技企业之魂。衡量高新技术企业发展后劲,可以看它每年的研发投入。华为每年至少拿出收入的10%投入研发,持续十多年如是。用华为CFO孟晚舟的话说,研发投入要像跑马拉松,而不是百米冲刺。华为能在完全竞争的通信市场笑傲群雄,与产品、技术过硬分不开,这些又与华为研发领先的战略分不开。六、企业的好“三高”与坏“三高”高毛利率、高预收账款、高研发费用加一块是“好三高”,有这三高的企业几乎可断定是好企业,华为是典型代表。高毛利率、高应收账款、高销售费用加一块是“坏三高”,有这三高的企业往往一时显赫,结局凄凉,秦池已做过例证。好坏三高的差别在于推动高毛利率的动因不同,前者靠研发创新,后者靠市场运作。七、高价格、高质量、重研发,缔造品牌影响力产业发展的两条路径:(1)低价格、低质量、轻创新;(2)高价格、高质量、重研发。第一条路径多为仿制,做着做着就成了血汗工厂,甚至成了假冒伪劣工厂,地沟油作坊是个例子。第二条路径早期艰难,要耐得住寂寞,一旦做起来,会形成品牌影响力,华为就是例子。产能过剩,洗牌难免,预先筹划下洗牌后的路径吧!八、先开一枪,再打一炮,然后范弗里特弹药量华为每年把销售收入的10%到15%投入研发,研发毕竟有不确定性,如何降低研发的不确定性呢?任正非有个生动的比方,先开一枪,再打一炮,然后范弗里特弹药量。先开一枪,就是在不同前沿技术方向开展研究,探索中没有失败这个词,但要控制节奏。当感觉到可能会有突破,那就再打一炮。当觉得有点把握时,再进行密集投入,这就是范弗里特弹药。九、研发创新的方向如何选择企业做研发,创新的方向如何选择?一般来说有两种导向:第一,技术导向,不断追求高尖精技术;第二,客户需求导向,根据客户需求形成技术和产品。这两个导向都有不确定性,前期都需要预研探路。华为的做法是,每年保证预研费用占研发费用的10%,不能高也不能低。这一比例既保证了进取,又控制了风险。十、企业研发不能过于追求技术领先为什么企业研发不能过分追求技术领先?一是因为最先进的技术不一定能市场化,不能市场化的技术对企业而言毫无价值;二是做最先进的技术意味着要一路探索,要有殉道精神,而竞争对手可以从你已摸索出的路径中轻松复制。因此,企业界有个奇怪的定律,最早搞出某项新技术的企业最后都不是该技术的获益者。十一、 想要预收账款,必须研发创新预收账款贷方的发生数可以反映出企业产品的竞争力,以及企业对研发创新的态度。通常只有新产品、稀缺产品才能做到先收钱后发货。竞争者同样会看到这种商机,要想持续保持领跑优势,企业需要不断地研发创新,苹果公司的产品就是例证。深究一下你会发现,预收账款大的企业往往研发支出也大。这也算天道酬勤吧!

驴得水

香港中文大学博士沈宇军:生成对抗网络的可解释性研究及其应用

「CV研究合辑」,是智东西公开课针对计算机视觉推出的一档合辑,聚焦于计算机视觉前沿领域研究成果与进展的讲解。每一讲由主讲与答疑两个环节组成,其中,主讲60分钟,采用视频直播形式,答疑30分钟,将在相应交流群进行。神经网络由于网络特征或决策逻辑在语义层面难以理解,同时也缺少数学工具去诊断与评测网络的特征表达能力,进而解释目前不同神经网络模型的信息处理特点,一直被大家称为是一种“黑箱”。而如何对神经网络进行“解释”,称为近年来的热门研究方向。生成对抗网络近年来随着其不断的发展,生成图片的质量以及模型的训练稳定性不断提高。然而,对于对抗生成网络的可解释性还少有研究。生成图片的过程是否有迹可循?生成模型是否像分类模型一样可以学到高级的语义信息?除了生成高清图片之外,一个预训练好的生成模型还有哪些应用?6月5日晚8点,智东西公开课「CV研究合辑」第7讲直播开讲,由香港中文大学MMLab在读博士沈宇军为大家深度讲解《生成对抗网络的可解释性研究及其应用》。沈博士将从隐空间的角度出发,深入分析对抗生成网络的可解释性,并介绍如何对生成网络自发学到的知识进行再利用,使得一个预训练好的模型可以被应用到各种各样的任务中去。沈宇军,香港中文大学MMLab在读博士,师从汤晓鸥教授和周博磊教授,香港博士研究生奖学金计划(HKPFS)获得者。沈博士本科毕业于清华大学电子工程系。课程内容主题:生成对抗网络的可解释性研究及其应用提纲:1、生成对抗网络的可解释性2、基于隐空间可解释性的深度解析3、如何对生成网络自发学到的知识进行再利用讲师介绍沈宇军,香港中文大学MMLab在读博士,师从汤晓鸥教授和周博磊教授,香港博士研究生奖学金计划(HKPFS)获得者;本科毕业于清华大学电子工程系。直播信息直播时间:6月5日20点直播地点:智东西公开课小程序答疑地址:GAN交流群加入交流群本次课程的讲解分为主讲和答疑两部分,主讲以视频直播形式,答疑将在「GAN交流群」进行。加入交流群,除了可以免费收看直播之外,还能认识讲师,与更多同行和同学一起学习,并进行深度讨论。扫码添加小助手糖糖(ID:hitang20)即可申请,备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~

幻化

外媒:一项新研究解释细胞的两种衰老途径

据外媒报道, 研究人员近日发现,细胞往往遵循两种衰老途径中的一种。每个个体细胞的衰老方式在早期就已经确定,科学家可以根据早期的观察结果预测细胞的衰老方式。 科学家们希望,他们的工作能够带来可能延缓人类衰老的疗法。来自加利福尼亚大学圣迭戈分校的研究人员发现了他们所说的细胞在衰老时可以采取的两种不同路径。这项发表在《科学》杂志上的研究,让我们离或许有一天遏制甚至停止细胞衰老过程又近了一点。我们身体衰老的速度取决于我们的细胞。随着时间的推移,细胞的DNA会分解,引起各种问题,最终以这样或那样的方式结束我们的生命。这项新的研究将酵母作为人类皮肤或干细胞的模拟,并试图确定细胞衰老是否有任何回旋余地。结果研究人员发现,细胞倾向于遵循两条路径中的一条,而且无论外部刺激或环境条件如何,它们似乎都会遵循这些路径。在研究酵母细胞的过程中,研究小组发现,任何特定细胞的两个区域中的一个区域都会最先出现恶化的迹象。“使用微流体学,计算机建模和其他技术,他们发现大约一半的细胞通过核醇的稳定性逐渐下降而老化,核醇是核DNA的一个区域,生产蛋白质的‘工厂 ’的关键成分在这里合成,”研究人员在一份新闻稿中解释说。“与此相反,另一半则由于其线粒体(细胞的能量生产单位)的功能障碍而老化。”特别有趣的是,细胞似乎几乎从它们的创建开始就沿着这两种衰老路径中的一种进展。即使在细胞出现剧烈恶化之前,它们的命运似乎就已经注定了,不管环境因素如何。“为了了解细胞是如何做出这些决定的,我们确定了每条衰老路线的分子过程以及它们之间的联系,揭示了控制细胞衰老的分子‘电路’,类似于控制家用电器的电路,”该研究的资深作者Nan Hao在一份声明中说。研究人员希望他们的工作能够带来可能延缓衰老过程的基因疗法,通过在细胞水平上延缓衰老,从而使人类的寿命大幅增加。【来源:cnBeta.COM】