香农硕士论文

选自TowardsDataScience作者：Tirthajyoti Sarkar机器之心编译参与：高璇、刘晓坤牛顿说：「解释自然界的一切，应该追求使用最少的原理。」介绍我们很少听到一个三词短语，能将统计学习、信息论和自然哲学的一些核心概念融合到一起。它对于任何有探索兴趣的人来说，都有精确且易于理解的含义，而且对 ML 和数据科学的研究人员，它应该是个有实用性的词。我说的就是「最小描述长度」（Minimum Description Length）。你可能在想这到底是什么……让我们拨开层层迷雾，看看它有多有用。贝叶斯和他的定理我们从托马斯·贝叶斯牧师开始说起（不按年代），他从未发表过关于统计推理的想法，但他的同名定理却经久不衰。在 18 世纪下半叶，还未曾出现名为「概率论」的数学科学分支。人们知道它，是因为 Abraham de Moievre 写的一本名为《机会学说》的书。1763 年，由贝叶斯撰写的一篇名为《机会问题的解法》的文章，经过 Richard Price 编辑后寄给了英国皇家学会，并发表到《伦敦皇家学会哲学学报》上。在这篇文章中，贝叶斯用一种频率论的方式描述了一个关于联合概率的简单定理，得到了逆概率的计算公式，即贝叶斯定理。自此统计学科的两个敌对学派——贝叶斯学派和频率学派展开了多次「战争」。但为了本文的目的，让我们暂时忽略历史，把重点放在贝叶斯理论的简单解释上。本文只关注方程。该方程本质是：在看到数据/证据（似然度）后更新先验概率，并将更新后的信念程度赋给后验概率。你可以从一个信念开始，但是每个数据点会加强或削弱这个信念，所以会一直更新假设。（假定 A 是某个过程的可能的前提，则 P(A) 是人们事先对前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果 B，那么贝叶斯公式提供了我们根据 B 的出现而对前提条件做出新评估的方法。P(A∣B) 即是对以 B 为前提下 A 的出现概率的重新认识，称 P(A∣B) 为后验概率。）听起来是不是简单明了？不过这段话里有个小陷阱，你发现了吗？我漏掉了一个词「假设」。在统计推理的世界中，假设就是信念。这是关于过程本质的信念（我们无法观察到），它产生于随机变量（有噪声但可观察）。在统计学中，假设被定义为一种概率分布。但在机器学习背景下，它被看做可以产生示例或训练数据的一套规则（或逻辑或过程），我们再从这个神秘过程中学到隐藏的性质。所以让我们用数据科学的符号来重新定义贝叶斯定理。我们用 D 表示数据，h 表示假设。即应用贝叶斯的公式来确定：在给定数据下，数据由什么假设得到。我们把公式重写为：一般来说，我们有一个巨大（通常为无限）的假设空间，可提供很多个假设。贝叶斯推理的本质是，我们检验数据，从而将最可能产生观测数据的假设的概率最大化。我们主要是想确定 P(h|D) 的 argmax 函数，即怎样的 h 使得观测的 D 的概率最大。为了实现这个目的，我们去掉分母 P(D) 的项，因为它不依赖于假设。这个方法被称为最大后验（MAP）。现在我们应用下面的数学技巧：最大化原函数和最大化取对数的原函数的过程是相似的，即取对数不影响求最大值问题。乘积的对数等于对数的和。正量的最大化等同于负量的最小化。底数为 2 的负对数项看起来是不是很熟悉？这都来自「信息论」，下面是香农篇。香农香农的麻省理工硕士论文在电气工程领域被称为 20 世纪最重要 MS 论文：22 岁的香农在论文中展示了如何利用带继电器和开关的电子电路实现 19 世纪数学家 George Boole 的逻辑代数（布尔代数）。数字计算机设计的最基本的特征是通过开关的打开闭合来表示「真」和「假」、「0」和「1」，并使用电子逻辑门来决定和执行计算——这都可以追溯到香农的论文中。但这还不是他最伟大的成就。1941 年，香农前往贝尔实验室从事战争方向的研究，包括密码学。他还在进行信息和通信领域的原创理论研究。在 1948 年，贝尔实验室就此项研究成果发表了一篇著名的论文。香农定义了源信息量，即通过类似物理中定义热力学熵的公式定义消息中的信息量。用基础术语来说，香农信息熵就是编码信息所需的二进制数，对于概率为 P 的消息或事件，该消息最高效（紧凑）的编码需要-log2(p) 位。这恰恰是出现在贝叶斯定理中的最大后验表示中的术语的本质。因此，在贝叶斯推理中，最可能的假设依赖于决定编码长度的两个项，并偏好最小长度。但长度是什么概念呢？Length (h)：奥卡姆剃刀William Ockham（1287–1347）是一位英语方济会修士和神学家，也是一位非常有影响力的中世纪哲学家。作为一位伟大的逻辑学家，他的名气主要来自于他的格言，也就是众所众知的奥卡姆剃刀。剃刀一词指的是通过「剔除」不必要的假设或消除两个相似的结论来区分两个假设。他的意思是：若无必要, 勿增实体。用统计学的话说，就是我们必须努力用最简单的假设来解释所有数据。其他名人也说过类似的原则。牛顿说：「解释自然界的一切，应该追求使用最少的原理。」罗素说：「只要可能，就应该用由已知实体组成的构造来代替推导出未知实体的推论。」人们总喜欢较短的假设。下图 A 和 B 中，哪个决策树的长度更短？即使没有一个假设「长度」的准确定义，我相信你会认为左边（A）的树看起来更短。因此，一个更短的假设是说，它有更少的自由参数或者复杂度更低的决策边界（对于分类问题而言），或者是能够表示简洁性的属性的组合。那 Length(D|h) 又是什么？它是给定假设的数据长度。什么意思呢？直观上看，它与假设的正确性或表示能力有关。在给定假设的条件下，它决定了假设「推断」数据的能力。如果假设生成的数据非常理想，我们可以无误的预测出数据，那我们根本不需要数据。回忆一下牛顿的运动定律。它们首次以「原理」的形式出现时，背后没有任何的严格数学证明。它们不是定理，而更像基于对自然物体运动的观察而做出的假设。但是它们对数据的描述非常完美。所以它们最终变成了物理定律。所以当力作用在物体上时，你不需要时刻记住每一刻的加速度数据。你只需要遵循假设的定律 F=ma，并相信根据这个公式，所有你需要的数据都能计算出来。这说明 Length(D|h) 非常小。但是如果数据经常偏离严格假设，那你就要对这些偏差有一个「长」的描述，以解释这些偏差。因此，Length(D|h) 简洁地描述了「数据与给定假设的吻合程度」的概念。它本质上是错误分类或错误率的概念。对于完美的假设，它是短的，在极限情况下为零。对于一个不完全符合数据的假设，它往往比较长。这是一种权衡。如果你用奥卡姆的剃刀剔除掉你的假设，你可能会得到一个简单的模型，但该模型不会拟合所有数据。因此，你必须提供更多的数据。另一方面，如果你创建一个复杂且长的假设，训练数据可能会拟合得很好，但这个假设可能（对于其它数据）不正确，因为它违背了具有最小熵假设的最大后验准则。很像偏差与方差的权衡吗？确实就是 ：-）三者结合因此，贝叶斯告诉我们，最佳假设是假设长度和错误率之和的最小值。这个意义重大的句子，几乎囊括了所有（全监督）机器学习。从这句话延伸开来，可以看到：线性模型的模型复杂度——选择什么多项式，如何减少平方和的残差。神经网络的架构选择——如何防止过拟合，达到良好的验证准确率，同时减少分类误差。支持向量机的正则化和核选择——非线性地权衡准确率和决策边界。结论从最小描述长度（MDL）的分析中，我们能得出什么结论呢？这能直接证明短假设是最好的吗？好像不行。MDL 表明的是，如果选择假设的表示使假设 h 的大小为—log2 P(h)，并且如果选择异常（异常）的表示，则给定 h 的 D 的编码长度是等于—log2 P(D|h)，则 MDL 原则产生 MAP 假设。然而，为了证明我们有这样的表示，我们必须知道所有先验概率 P(h)，以及 P(D|h)。相对于假设的任意编码和错误/误分类，没有理由优先考虑 MDL 假设。在实际的机器学习中，对设计者来说，有时获得假设的相对概率表示比完全得到每个假设的绝对概率要容易得多。在这一点上，领域的专业知识变得极为重要。它缩短了（通常）无限大的假设空间。通过它我们能获得一组可能性更高的假设，我们可以对这些假设优化编码，并找到其中一组最大后验假设。总结和思考如此简单的数学推导就能在概率论的基本特征上，深刻而简洁地描述监督机器学习的基本限制和目标。为简明扼要地阐述这些问题，读者可以参考论文《为什么机器学习有效》（http://www.cs.cmu.e/~gmontane/ montanez_. pdf）。这些定理是如何和没有免费午餐定理联系到一起的，同样值得思考。原文链接：https://towardsdatascience.com/when-bayes-ockham-and-shannon-come-together-to-define-machine-learning-96422729a1ad本文为机器之心编译，转载请联系本公众号获得授权。

信息技术高速发展的今天，程序员已然成为了一个独特的群体，有自己独特文化和认同，自然少不了属于他们的节日。2009年，俄罗斯官方公布了新的节日安排，将每年的第256天定为“程序员节”，也称“溢位节”。因为256正好超出8位二进制数所能表示的最大数255，造成溢出。中国因为特色的氛围似乎更加偏好1024，即将每年的10月24日视为程序员的节日。1024的寓意与256类似，源自2^10≈10^3，常用于计算机中数据单位的换算，也就成了程序员最常接触的量，乃至成为了一种象征。过中国特色的程序员节，当然少不了中国特色的形式——拜祖师爷。如果说莱布尼茨赋予了二进制生命，那么这位博士则可以说是将二进制玩出了花。他不仅仅定义了现代计算机技术中最小的信息量单位比特(Bit)，也提出了伟大的信息论。早在60年前他就探讨了让计算机下国际象棋的问题，甚至发明了能自我学习走迷宫的机器老鼠。他改变了电路设计工作，参透了电路中真正的奥义，让曾经需要“反复进行冗长检验和试错”的工作通过“0”和“1”就能完成。连人工智能之父图灵都对他称赞有加，其研究结果遍地开花，获得的奖项不胜枚举。美国科学院院士、美国工程院院士、富兰克林奖章、美国全国科学研究合作奖、莱博曼纪念奖、美国电机和电子工程协会荣誉奖章…他开创了一代信息学的领域，发明了用二进制储存信息，在现代计算机领域的地位丝毫不亚于物理学的牛顿与爱因斯坦。然而逆天的是，他英俊的容貌里看不出任何程序员特色，被称作20世纪最帅的科学家之一。这就是信息学之父、20世纪国民男神——克劳德·艾尔伍德·香农（Claude Elwood Shannon）。____________香农在1916年的4月30日出生，生于美国的密歇根州。他8岁的时候就展现出了卓越的智商和对科学的热爱。一般而言，应该是已经读大学的姐姐给他辅导功课。但那时他却总是一把拿过姐姐的高数作业，一口气就解决了姐姐半天也没算出来的题目。姐姐看着他写得工整严谨的作业目瞪口呆。后来姐姐也当上了数学系的教授，并不是姐姐能力不行，只是香农实在太厉害。也许继承了远房亲戚爱迪生的基因，香农特别喜欢做手工。他对同龄人爱玩的那些纸飞机丝毫没有兴趣，反而是电报机、电动船，还有机械动物这些能让他精神抖擞。1936年，香农从密歇根大学数学系毕业，年仅20岁。毕业后，他在美国最好的理工类学校麻省理工学院继续深造并担任数学助教。硕士毕业的那年，他的硕士论文把布尔代数完美的融入了电子电路的开关和继电器之中。能够构建并解决任何逻辑和数值关系，用“0”和“1”完美的解决了电路设计的问题。如今随处可见的计算机，便是以此为基本设计思路，香农提出的概念成为了数字电路设计的理论基石。这篇论文被评为“20世纪最重要、最著名的一篇硕士论文”，它直接开创了一种全新的思路。电子工程界的大人物们还搞了个盛大的颁奖仪式，给香农颁发了“美国电气工程师学会奖”。正当大家擦亮了眼睛，等看香农带领电子工程界飞跃式发展的时候，香农却悄悄淡出，跑去研究生物学的问题了。和图灵痴迷于用数学去研究自然界的图案一样，香农也用数学的研究方法去研究了遗传学，还写出了《理论遗传学的代数学》的博士论文。这篇论文依旧像是2年前那样，在业界激起了千层浪。接着，香农又再次抛弃了自己的博士论文选题领域，摇身一变研究起了机械模拟计算机。还在1941年发表了一篇论文——《微分分析器的数学理论》，用分析仪器（电子计算机）来解决微分方程。微分分析器痴迷于密码学的香农在二战期间加入了贝尔实验室工作。香农还小的时候，他就热衷于安装无线电收音机，对莫尔斯电报码有着狂热的爱。当他破译了推理小说《金甲虫》的神秘地图时，密码的种子就在他心中生根发芽。香农参加了“研发数字加密系统”工作，甚至还给丘吉尔和罗斯福的越洋电话会议进行过加密。很快，他就脱颖而出，成为了著名的密码破译权威。还在“追踪和预警德国飞机、火箭对英国的闪电战”方面，立下过汗马功劳。敌方的飞机就因为他变得像无头苍蝇一样满天飞。然而，香农打心底里认为只做一件事情是对他的侮辱。在研究密码学的同时，他也掺和到了人工智能的研究中，还吸引到了人工智能之父阿兰·图灵的注意。1943年，图灵亲自来访贝尔实验室，与香农共进晚餐。在当时，人工智能还是个很初级很神秘的领域。他们边吃饭边说着自己对人工智能的设想，颇有青梅煮酒的情调。香农嚼着牛排对图灵说道，“我不仅仅满足于向这台‘大脑’里输入程序，还希望把文化的东西灌输进去”。喝着饮料的图灵听到这话，当场就愣住了，惊呼道，“你想给它来点音乐？”战争结束后，一直钟情于密码研究的香农一头扎进了密码学的研究。他完成了现代密码学的奠基性论著——《保密系统的通信理论》。在此之前，“保密通信”就是个依赖着“技术与工匠技巧”的东西。可香农的这篇论文，硬生生的打破了这个局面，将数学的灵魂注入了这门学科中。他严格证明了目前已知的、唯一的、保密性最强的密码——也就是现在我们登录网站用的“一次性密钥”。当把密码学研究到渣到不剩以后，香农又重新打起了信息的脑筋。从1837年起，摩尔斯就发明了用有线电报来“传递信息”，“信息”这个词的出现已经不知道多少年，可“信息”到底是个什么东西，却没有人能给出精准的定义。上百年的时间，科学家们从未放弃过要寻找“信息”的真身，可即便他们使尽浑身解数，也仍然一无所获。当科学家们快要坚持不下去了的时候，香农来了，他写出了《通信中的数学理论》，成为了1948年比肩晶体管发明另一个伟大事件。提出了“信息容量极限”等一大批定理，将热力学里面的“熵”引入了信息学，还确定了信息的基本单位——比特（bit）。从此，信息变得可度量了，无差错传输信息的极限被探查出来了。信源、信道、编码、解码、传输、接收、滤波…一系列原本抽象的概念都有了严格的数学描述和定量度量。信息论，作为一门真正的通信学科，由粗糙的定性描述阶段进入了精密的定量分析阶段。在现在看来，香农的工作无疑给信息学奠定了极为坚实的基础。可在当时，这明显超前了时代的论文却遭受了非议。这样的情况，一直持续了20多年，一直到20世纪70年代初期，大规模集成电路开始发展，香农的理论才终于成为了现实。若干年后，当人们重新回顾时，有些科学发现似乎是那个时代必然会发生的事情，但香农的发现显然不属于此类。香农似乎成了“上帝”一般的人物，人们极力的吹捧、敬仰着他。可这时候的香农，神秘的消失在了人们的视野里。连一些重要的学术会议上也见不到他的身影。有些年轻的科学家甚至以为“传说中的香农”已经不在这个世上了。可实际上，香农是去做自己真正喜欢的事情去了。什么数学、信息论都只是他的业余爱好，他真正付出了毕生的心血、一直在努力的事业只有——杂耍。香农将他曾经获得的所有证书统统扔到了房间的阴暗角落。家里最显眼的地方，只放着一张证书——杂耍学博士。他将自己的家，改造成了一个“儿童乐园”。有三个小丑同玩十一个环的杂耍机器、钟表驱动的七个球和五个棍子。用三个指头就能抓起棋子的手臂、有一百个刀片的折叠刀、装了发动机的弹簧高跷杖。智力阅读机和读心机、带多个座位的能让孩子们到湖边玩耍的升降机。而这些玩具，清一色都是他亲手制作的。若不是上帝急着让他到天堂做好玩的东西来解闷，恐怕下一个里程碑的成果将会在杂耍界出现。据说，仙逝之前，香农已经开始撰写《统一的杂耍场理论》。甚至他创作的诗歌代表作，也叫《魔方的礼仪》，其大意是像20世纪70年代后期非常流行的“鲁比克魔方”致敬。他制造的“能在六角棋游戏中，打败任何人”的机器，让哈佛大学的数学系教授也束手无策。他发明的“猜心机器”（回答n个问题后猜出你在想什么），打败了贝尔实验室的所有人，让大名鼎鼎的科学家们都“无颜见江东父老”。香农对于杂耍的爱溢于言表，当他晚年参加国际的学术会议致完开幕词当场掏出了3个圆圈玩起了杂耍，会场里的科学家们瞬间目瞪口呆。2001年，香农传奇的人生落下了帷幕，84岁的他最后因为阿尔兹海默症去世。或许，是因为他本就是上帝派来藐视众生的，上帝不想让他透露太多未来的信息给我们，以免数据溢出。*参考资料崔光耀. 信息论的丰碑 密码学的鼻祖——写在克劳德·E·香农博士去世两周年之际[J]. 信息安全与通信保密,2003,(02):77-78.孙静. 克劳德·香农信息论及其现实意义[J]. 青年记者,2012,(03):42-43.Jimmy Soni. 10,000 Hours With Claude Shannon: How A Genius Thinks, Works, and Lives. Medium.

历史的变迁，时代的更替，目前我们所处的信息时代为我们生活带来了极大的便利，这个功劳要归功于谁？他用“1 和 0”解决了人类两大难题，他是信息论之父，却渴望做“杂耍博士” 说到计算机鼻祖，我们总是在争论，到底是图灵还是冯·诺伊曼？但还有一个人很少被我们提及，他就是帅到令人发指，成就与牛顿、爱因斯坦比肩，他是信息论之父——克劳德·香农。为什么想到了他？起因是我最近认真读了《信息简史》。虽然我仍然对熵的概念表示迷惑，但是完全不影响我对香农的崇拜。他真是太牛了！专注自己本职不说，还是一位跨界高手。简直让我等渣渣汗颜。让人留下了有技术含量的泪水听说天才的人生都是开挂的，无一例外。8 岁时，他帮姐姐写过高数作业。在他的辅导下，最后她姐姐成为了数学系教授……而且在没上大学之前，他就自己动手制作电报机还有电动船。听说发明大王爱迪生还是他的远方亲戚。这就让我又一次相信了基因的重要性后来他去了麻省理工学院，就在硕士毕业那年，他写了一篇被称为“ 20 世纪最重要的硕士论文”。如果说牛顿的力学把我们带入工业时代，爱因斯坦的相对论把我们带入宇宙时代，那这一次香农用信息论把我们带入了信息时代。他注意到了电话交换电路与布尔代数之间的相似，可以用布尔代数中的“真”与“假”，对应电路系统里的“开”与“关”，并用了“1”和“0”表示，这样就可以用电路模拟人的逻辑判断和思考过程。香农虽然不是计算机的发明者，但是这篇论文让计算机从简单的运算工具，变成了无所不能的电脑。在这篇震惊世界的论文发表后，香农开启了人生中的第一次跨界。有人建议他将类似的数学方法应用到遗传学领域，于是，香农爽快地答应了，一篇论文就此诞生—《理论遗传学的代数学》。完美跨界不是你想玩，想玩就能玩的！突然发现自己就是在废物和精英之间来回挣扎（感叹一声）有了第一次成功跨界，自然就会有第二次、第三次。博士毕业的时候，他刚好赶上二战。于是，他加入了贝尔实验室，研究起了密码学。随后他发表了一篇论文，这篇论文把密码学从玄学变成了科学。据说丘吉尔和罗斯福的越洋电话就是香农加密的，后来香农成为密码破译的权威。）第二次世界大战如火如荼之时，阿兰·图灵搭乘“伊丽莎白女王号”，辗转躲过德军的 U 型潜艇来到美国，两位志趣相投的思想家在这里相遇。图灵是香农为数不多的朋友之一，虽然当时他们对彼此正在做的工作都守口如瓶，但他们经常在贝尔实验室的食堂一起吃午餐，还讨论着当时还是很神秘的话题“人工智能”。关于理想的计算机的极限是什么的问题，图灵认为理想的计算机应该是，纯粹逻辑演绎的设备，而香农的考虑会更广泛，他认为计算机将是一种社会性的工具，甚至能处理音乐等非逻辑的东西。图灵听后笑着说：“香农想给它加点音乐。”也就在贝尔实验室工作期间香农认识了他的妻子，当时做数值分析员的 Betty ，要说信息这个词出现很多年，可它究竟是个什么东西，没人精准定义过。直到第二次世界大战结束后，香农发表了一篇《通信中的数学理论》，他将热力学里的“熵”引入到信息学，还确定了信息的标准单位——比特（bit）。世界上几乎任何事物都可以用信息的方式量化，即“万物皆比特”。所以熵到底是个什么东西呢？不过时至今日，香农如果看到人类被阿法狗打败，不知他会作何感想？想必他会很开心，因为最早提出“计算机能够和人下棋”的就是他，当年他还亲自设计了一款人类下棋的程序。如此多的成就，至少对于渣渣一般的我来说，可能一辈子都无法完成。可对于香农来说，这些都是随便玩玩的。什么美国国家科学奖、日本京都奖、IEEE 荣誉奖章啊，他都不 care！可他最珍藏的却是一张“杂耍博士”的证书。你没听错！信息学、密码学那些都是爱好，杂耍才是他最喜欢做的事情。谁叫他有资格这么任性呢！据说在晚年的一次学术会议上，因为现场气氛沉闷，于是香农在致辞之后，掏出三个圈就这么扔了起来了……没想到他玩得还挺好，台下各种欢呼声，还有粉丝来跟他要签名。天才总是能将一件事做到极致。除了杂耍外，香农还一直延续着对小发明的热爱。他发明过读心机、有一百个刀片的折叠刀、飞碟等。他还做过一个人工老鼠，让它在迷宫里找奶酪，通过 75 个继电开关，这只老鼠把一次次的道路选择记下来，直到找到正确的道路为止。一旦老鼠记住了正确的道路，下次它就会直接去走正确的道路，不用再一次次尝试，这也启发了后来的人工智能研究。香农晚年得了阿尔茨海默病，于 2001 年去世。加州大学荣誉教授John R. Pierce 曾说过：“香农的信息论的伟大程度可以和爱因斯坦的 E=mc 相提并论。”随着时间的流逝，未来当人们回头看的时候，可能会忘记很多东西，会不记得那些摇滚明星的名字，但是学校里依旧会教授信息论，而香农也将永远被我们铭记。今天是他诞辰 104 周年，让我们一起重温《信息简史》，细数那些信息史上的伟大时刻，思考大数据时代下，我们又要扮演怎样的角色呢？

不知不觉2020年的进度条已经加载了三分之一对于毕业生来说即使没有如期回归校园仍需面对来自内心深处的灵魂拷问：四月底了，毕业论文写完了吗？进行答辩了吗？在毕业论文里“致谢”大概是最特殊的存在——它不受格式所拘，充满真情实感它见证了作者的成长代表着一路走来的心迹也蕴藏着一段难忘的人生经历那些在困厄中给予支持的人我感谢你的方式是把你写进我的论文里文采飞扬派“工学者，巧心，劳力，造器物。”——某工科毕业生的论文致谢词图源/微博网友：@Catherine-1777“愿良辰美景，有友携行，荡尽不平，理想长鸣。”——中国传媒大学某硕士毕业生论文致谢词图自/豆瓣网友：长橙子“回首往昔，悲喜交加，凭栏望月，遂寄情于此文。吾虽不能日自省，然当事省，晓吾已过花信年华，不慧，吾三尺微命，一介书生，幸得师友亲朋之力相助，方能文成事毕。”——华中师范大学硕士毕业生章玥论文致谢词截图自/楚天都市报“为此浅陋之文，以资博士之谋，诚不胜惶恐也。”——西北工业大学博士毕业生郑友平论文致谢词图自/知乎用户：二十五铌“何德何能，所遇之人皆不偏不倚，传道授业，亦师亦友。”——东华大学某毕业生论文致谢词图自/察言观数表白走心派“这本书整整写了两年。两年里忧世伤生，屡想中止。由于杨绛女士不断的督促，替我挡了许多事，省出时间来，得以锱铢积累地写完。”——钱钟书在《围城》序言中感谢妻子杨绛图源/网络“谨以此篇文章作为苏斌先生和王雯衷女士的新婚纪念礼物。”——中国科学院苏斌博士的论文致谢词截图自/ Advanced Materials“你愿意嫁给我吗？”——华中科技大学的龙瑞在论文致谢部分，公然向女友求婚。网友笑称：你的意中人是个科研大牛，有一天他会带着一篇附有求婚致谢的SCI来娶你截图自/web of science“在无垠的宇宙和无限的时间中，我很高兴可以和安妮在其中一个星球共度年年岁岁。”——作者卡尔·萨根在《宇宙》一书中的致谢词图自/网络“感谢梵·高。这位我始终深爱的艺术家……我想他正在，并且一直在以某种方式带领我、启示我：勇敢地，脱开所有的绑缚。笃定一个目标，就这样孤独地走下去。”——浙江大学硕士毕业生杨舒蕙论文致谢词图自/豆瓣网友：项平幽默打趣派“赵士林是我的学生，这本书是他完全瞒着我写的。因为他知道，我将不会同意他在准备博士学位论文的时候弄这些东西。他写完后告诉我，我当然没办法了，总不能叫他去烧掉。”——哲学家李泽厚给学生出的书写的序图源/网络“献给我的妻子玛格妮特和我的孩子艾拉·罗斯和丹尼尔·亚当，如果不是他们的话，这本书两年前就已经写完了。”——作者约瑟·J·罗特曼在《研究生数学：代数拓扑概论》一书中的致谢词图自/ 网络“致科林·费斯：你人真的很好，但我已经结婚了。所以我们应该只做朋友就好。”（注：科林·费斯是奥斯卡影帝，主演了《国王的演讲》等影片）——作者香农·海尔在《奥斯汀庄园》一书中的致谢词图自/网络“最后，要感谢我的女朋友，在我22年的生命中始终没有出现过，让我得以专心于学术，顺利完成本科论文。”——某网友的毕业论文致谢词截图自/知乎网友：迷鹿菲“一般我在序言中会将此书献给凯瑟琳、杰克和茱莉亚。但这次我要改一下。谨以此书献给茱莉亚、杰克和凯瑟琳。因为茱莉亚的名字每次都被排在最后一个，不能因为她最年轻就这样对她。”——某外文书扉页的致谢词图自/网络温柔暴击派“你知道的，你拿起一本书，翻到致谢那一页，再次发现，作者又写了一本没有献给你的书。“但这次不是那样了。“因为，我们或许还没见过面/或只匆匆擦身而过/或深深地爱上彼此/或还没怎么熟络/或在某方面有所关联/或即将遇见彼此，但是，我知道我们每次想起彼此都会带着喜爱之情。“这本书是献给你的。“希望你知道这一点，并且也知道原因。”——作者尼尔·盖曼在《蜘蛛男孩》一书中的致谢词图源/网络每个人的生命中都有一段暗暗努力的时光为梦想拼过、熬过、奋战过这样，在回首往事时我们才敢说：我不因虚度年华而悔恨也不因碌碌无为而羞耻感谢自己的坚持也感谢亲友恩师的支持和陪伴如果这是一段隧道里的旅程如果自己是那辆要穿山的车那他们就是沿途的灯火一路护送，直到光亮那方为此，致谢！来 源 | 央视新闻图文编辑 | 吴宸敏 责任编辑 | 袁小敏执行主编 | 罗 莎 审 稿 | 徐 伟编 审 | 项 蕾 （总第1801期）为此，致谢！↓↓

图片来源@视觉中国文丨学术头条从 1956 年人工智能概念在达特茅斯会议上首次被提出至今 ，60 余载，人工智能发展已经历了三次发展浪潮。起起落落的同时，人工智能理论和技术也取得了飞速发展， 在语音识别、文本识别、视频识别等感知领域取得了突破，毫无疑问的成为引领新一轮科技革命和产业变革的战略性技术。人工智能三次浪潮技术发展背后永远是人类的创新在推动，这期间有许多的先贤名字让我们耳熟能详，例如 1950 年提出计算机博弈的克劳德·香农（ Claude Shannon）；1954 年提出图灵测试的阿兰·图灵（ Alan Turing）；首个提出专家系统的爱德华·费根鲍姆 (Edward Feigenbaum)；提出深度学习的弗里·辛顿（ Geoffrey Hinton）等人。那么，在过去十年，到底有多少人正在为 AI 的发展贡献力量呢？答案是155408 位。这些优秀学者、研究员、企业家覆盖 120 多个国家，主要集中在北美洲、欧洲、东亚地区。高层次学者有多少呢？1833位。这是根据 AI 2000 人工智能全球最具影响力学者榜单，结合学者 H-指数、论文数和影响因子，经过去重处理后得出来的数字。人工智能领域高层次学者数量 TOP10 国家在 1833 名学者中，覆盖了全球 37 个国家。按照国籍划分，其中美国有 1244 人，占比 62.2%，超过总人数的一半以上，中国排在美国之后，位列第二，有 196 人。德国位列第三，是欧洲学者数量最多的国家；其余国家的学者数量均在 100 人次以下。于是，我们对 196 名中国学者，以及部分非中国籍华人学者进行了全景多维度分析，包括所在机构，研究领域，论文数，被引数，跨国合作情况，毕业院校（本、硕、博）等。所在机构和研究领域一览从所在机构来看，据不完全统计，清华大学 20 位、微软 20 位、香港中文大学 11 位、加利福尼亚大学 10 位、浙江大学 10 位、谷歌 8 位、香港科技大学 7 位、伊利诺伊大学 6 位、北京大学 5 位、复旦大学 5 位、南洋理工大学 5 位、中科院 5 位、阿里巴巴和 Facebook 各 4 位，其他研究者分布在腾讯、上交大、字节跳动、IBM 等近百机构。图：部分研究者主要所在机构从研究领域来看，大多数研究者们都不局限在单一领域，例如香侬科技的李纪为，其研究领域包括：自然语言处理，多媒体，机器学习，计算机网络，信息检索与推荐；复旦大学黄萱菁，其研究领域可以归纳为：自然语言处理，信息检索与推荐，机器学习，数据挖掘。当然，也有一些学者专研于单一领域，复旦大学的邱锡鹏专注于自然语言处理，清华大学谷源涛专注于语音识别，大连理工大学卢湖川专注于计算机视觉等。从研究热度来看，词频出现最多的研究领域是信息检索与推荐，占比 14%，排名第二的是计算机视觉，占比 12.56%，排名第三的是数据挖掘，占比 12.26%，而机器学习、自然语言处理、语音识别也有不少占比。图：研究领域词频分析在这些研究者的努力下，近年来中国的 AI 实力有目共睹。例如在自然语言处理领域，百度的能力被认为超过谷歌。中国目前在计算机视觉领域的领先企业以商汤科技、旷视、依图科技和海康威视等为代表，技术优势主要体现在人脸识别， 在 2017 年中国在这一领域获得的专利数量大约是美国公司的 6 倍。此外，在语音识别领域，特别是在中文识别和处理上，中国研究机构也有着独特的优势。科大讯飞、依图科技、百度、腾讯、阿里巴巴等企业依靠中文用户，能远超美国获得庞大的中文语音数据库，这也为其语音识别 AI 提供了更好的学习条件。论文发表：14 位学者论文被引 6 万 +中国 AI 科研实力的另一个直接表现，是发表的论文数。从科研论文数量分布来看，人工智能领域论文发表量居于前十的国家依次是美国、中国、德国、英国、日本、加拿大、法国、韩国、意大利和澳大利亚。从上图可见，中国学者发表的论文数量紧随美国之后，且遥遥领先于其他国家。在华人学者中，每一位学者的论文发表数量呈现 “正态分布”。有接近 25% 的学者发表了 100-200 篇论文，20% 的学者发表了 300-500 篇论文，19.72% 的学者发表了 500-700 篇论文。而在发表 700 篇以上论文的学者中，黄煦涛老先生以 1477 篇居首位，美国伊利诺伊大学香槟分校计算机系教授韩家炜以 1308 篇排名第二。另外一些熟悉的名字，例如罗切斯特大学的罗杰波有 743 篇；新加坡国立大学终身教授颜水成有 740 篇；哈尔滨工业大学的刘挺有 723 篇；微众银行的杨强有 704 篇；南京大学周志华 700 篇。具体到论文被引数，引用数在 5000-10000 的学者数量最多，一共有 97 位。随着引用数的增大，其人数也越来越少。论文被引数在 6 万及以上的学者，有 14 位。按照引用次数排名分别是：韩家炜、吴恩达、孙剑、何恺明、李飞飞、黄煦涛、任少卿、俞士纶、贾扬清、张磊、张祥雨、汤晓鸥和宋晓东。另外一个有趣的现象是，有些学者并没有发表太多论文，但已经取得了 6 万以上的引用数量，比如何恺明只发表了 95 篇，任少卿只发表了 20 篇，贾扬清只发表了 61 篇，张祥雨只发表了 49 篇。高引论文发表年份分布不均，但一个共同的趋势是：大多高引论文发表在 2009-2017 年，其中 2015 年最多；2009 年和 2010 年紧接其后。高引论文井喷的近十年，其实也正对应着各研究领域的热度。以深度学习为例，2012 年之后，随着计算能力的进步和海量训练样本的支持，深度学习技术走向前台并急速发展，较好地解决了人工智能领域的一些重点问题如图像分析和语音识别等，并带动了产业界的广泛应用。2015 年，为纪念人工智能概念提出 60 周年，学者 Yann LeCun、 Bengio 和 Hinton 推出了深度学习的联合综述。这一年同时是中国学者发表高引论文数最多的一年。再比如，计算机视觉方面，2012 年 6 月谷歌研究人员 Jeff Dean 和华人学者吴恩达从 YouTube 视频中提取了 1000 万个未标记的图像，训练一个由 16000 个电脑处理器组成的庞大神经网络。在没有给出任何识别信息的情况下，人工智能通过深度学习算法准确地从中识别出了猫科动物的照片。此外，中国 AI 领域学者积极展开跨国科研论文合作。与中国领域学者合作最多 10 个国家分别是美国、新加坡、澳大利亚、英国、加拿大、日本、法国、德国、新西兰和韩国。其中，美国是中国 AI 领域学者跨国合作最多的国家，两国领域学者合作论文量在中外论文合作中占比过半。而在各个 AI 子领域，中国学者的跨国合作论文产出数量差别较大。相对而言，在计算机视觉、经典 AI、语音识别、信息检索与挖掘、机器人、自然语言处理、机器学习和多媒体领域，中外合作论文较多，而在芯片技术、人机交互、知识工程、数据挖掘等领域的中外合作论文数量较少。学者培养：清华大学培养了最多的高层次人才通过对上述高层次华人学者的毕业院校进行分析，我们发现无论本硕博，清华大学都遥遥领先。其中，本科毕业于清华大学的有 41 位，中国科技大学 21 位，北大和浙大分别为 19 位和 14 位，复旦、哈工大、上交大和西安交大都是 9 位。其他学校，例如天津大学、西安电子科技大学、香港科技大学也都培养了多位高层次人才。图：部分学者本科毕业院校统计硕士毕业情况仍然是清华第一，但是情况稍有不同的是，麻省理工和伊利诺伊大学进入前十。图：部分学者硕士毕业院校统计而在博士毕业院校的排名上，“格局”又有所不同：排名前十的院校中，国外高校整体数量大幅增加，达到了一半。出现以上现象的原因可能是，美国本科比较强调基础性学科，而 AI 这种混合性质专业在本科阶段是没有的。进一步分类，AI 属于计算机科学的领域，卡内基梅隆、加州伯克利、斯坦福大学、佐治亚理工、加州理工在计算机专业都比较强，也是华人学 AI 留学的首选之地。图：部分学者博士毕业院校统计以上是 AI 2000 高层次人才中，196 位华人学者的基本情况。在这些人才的加持下，相信不久的将来会有更多的人工智能关键技术实现突破，我国人工智能的发展也将更加耀眼，培养更多的人才投入到人工智能领域的发展建设中去。持续关注 AMiner，为你带来更多华人学者报告。

“做科研的时候，最佳的状态是求实求真，而且不断要向权威挑战。我们一定要有非常包容的环境，这个环境是提供讨论、辩论，激发思想、寻求真理的乐园。”在1月14日下午的未来论坛2017年会上，俄亥俄州立大学Robert M. Critchfield讲席教授、计算机科学与工程系主任张晓东就基础研究生态环境等话题发表了演讲。张晓东教授详细阐述了基础研究的目的，以及一流的基础研究环境应该具备的重要特质。张晓东教授在演讲中还针对中国文化、现行科研体制对科研创新造成的影响，提出了自己的疑问和建议。以下为演讲全文：谢谢组委会给我这个机会，我演讲的重点在创新的生态环境上。基础研究有三个非常明确的目标。第一是科学规律的新发现，比如牛顿的微积分、麦克斯韦的电磁场理论、冯•诺伊曼和纳什的博弈论、香农的信息论，等等。当他们做这些基础研究的时候，很少人懂他们的工作，他们也许也不知道他们的研究结果会给未来的世界带来巨大的影响。他们给我们留下的遗产已成为今天社会发展不可缺少的奠基石。第二个目的就是要提高人类健康水准和生活质量。这里有很多例子，比如抗生素、试管婴儿、放射性元素、X射线、核磁共振，还有中国的青蒿素，等等。其实这些最基础的研究都是从大学开始的。第三个目的，是由应用型的基础研究来直接带动经济增长，成为高科技产品的原始推动力。这一目的在计算机领域里可能是最有代表性。因为这是我工作的领域，我想通过例子说明在计算机科学领域里，基础研究如何被转化为改变世界的生产力。1995年，美国科学院在游说国会拨巨款给美国国家基金会来全面支持信息技术研究 (Information Technology Research) 时， 出了一份强有力报告。 这份由Brooks Sutherland 撰写的报告用大量的事实说明，很多我们今天所用的计算机技术都来源于大学的基础研究，由于这些发表的论文没有专利保护，使它们得以迅速和广泛地应用起来。例如：1937年香农（Claude Shannon）在麻省理工学院的硕士论文中完整地定义了布尔逻辑理论及其操作（Boolean Logic），从而奠定了计算机硬软件设计和通讯技术的一个重要理论基础。“分包通信”（Packet Communication）的设计是加州大学洛杉矶分校年轻的助理教授伦恩·克莱罗克（Len Kleinrock）在1964年发表的。这一论文定义了网络传输的一个有效的基本操作，成为网络通信的基本标准。1969年艾伦·凯（Alan Kay）在犹他大学的博士论文中开发了Smalltalk语言，这大概是最原创的面向对象（Object-Oriented）的程序设计框架。1973年鲍勃·麦特卡夫（Bob Metcalfe）在哈佛大学研发的以太网（Ethernet）已成为今天计算机系统中数据传输的基本联接方式。1977年比尔·乔伊（Bill Joy）在加州大学伯克利分校开发的BSD Unix和1991年托瓦兹（Linus Torvalds）在芬兰赫尔辛基大学开发的Linux系统都是今天主流的通用操作系统。特别值得一提的是1989年伯纳德·李（Bernard Lee）在欧洲原子能研究中心（CERN）开发的万维网（WWW）为互联网在世界范围内的普及起了决定性的作用。如果万维网当时有了专利保护，今天的互联网就不可能发展如此之快，使用如此之方便。2009年3月，《纽约时报》邀请宾西法尼亚大学沃顿商学院的教授、专家，评比出在过去30年里最有商业价值的高端技术，在选出的20个技术中，有17项是计算机技术及其应用。他们是：（1）互联网和宽带网；（2）个人笔记本电脑；（3）手机；（4）电子邮件；（5）基因排序；（6）核磁共振成像；（7）微处理器；（8）光纤网；（9）微软商业软件；（10）机器人手术；（11）开源软件；（12）发光二极管；（13）液晶显示；（14）全球导航定位系统；（15）电子商务；（16）数据压缩；（20）社会互联网。其中三项非计算机发明创造是：（17）小额贷款；（18）太阳能和（19）巨型风力发动机。从上面两组数据中，我们可以看到基础研究如何创造新的生产力并推动社会进步的一个过程。一流的基础研究环境要有哪些重要的特质呢？我认为有下面三个：第一，我们一定要明确基础研究的目的，那就是发现新的科学规律，产生推动社会进步的新技术和新市场。发表论文不是目的，那只是为自己的工作做个广告。发表论文数量也不重要，论文的影响力是最重要的。目前我们的体制内使用“记工分”式的考核与基础研究的目标不相符。评价我们研究的应当是我们的同行和科学共同体，包括未来论坛。第二，我们一定要有非常包容的环境，这个环境是提供讨论、辩论，激发思想、寻求真理的乐园。一个科学家要有独立精神和批判性思维。在我们现有的体制内，做到这一点是难能可贵的，应当加以保护，给予尊重。另外要有团队的氛围，在一个一流的科研机构里，每个人并不去证明自己多么优秀，而是到一个非常优秀的团体里成就大业。最后一点是科研人员要得到有尊严和有保证的生活。另外科研基金要非常地充裕。最后科研活动应该是独立的，不应有其它的干预。中国文化对我们做出世界级的科技贡献有哪些负面的影响呢？我下面的言论是带有批评性的，但是客观的。第一，中国社会是个身份社会，公众有一个比较一致的共识：每个人都要一个一个台阶走上去，追求一个更高的身份。因为身份是成功、资源和权利的象征。但做科研的时候，最佳的状态是求实求真，而且不断要向权威挑战。第二，中国是一个人情社会，人和人之间的交情和关系往往高于制度的规定，这样就会在选拔和评估的过程中有不确定、不严格和不公平因素。最后，中国社会长期受儒家耻感文化（shame）的影响，判断一个人行为对错是依据所处环境中他人的认可、评价和态度。在这样文化熏陶下，人们成功的渴望更多地出于外在的压力，比如家庭和社会，但缺少内心的追求。相比之下，西方社会中罪感文化(guilt) 是主流。他们的行为约束多来自固有的准则，比如法律和宗教。人们可以不太在乎别人议论和态度，只要没有违规的罪感就可以了。在这样的文化里，个人随心所欲的自由发展空间更加宽广。现行的体制对我们做出世界一流的研究有哪些束缚呢？第一，各种各样的奖励制度和人才计划补充并强化了“身份”社会。有了这些荣誉才能成为一个顶级的学者或者高官。第二，在人情社会里，我们的科研管理制度要面对很多挑战。比如，如何在评审中通过制度将“人情”社会分离？如何让大学科研环境多一些安宁和自主，少一些不必要的行政干预? 如何摆脱肤浅甚至误导的量化排名评估？第三，今天强大的体制和服从体制群体使我们的价值观和行为高度的一律化。回想改革开放初期的八十年代，在全国范围关于真理标准大讨论推动下，学术自由和批判性思维的精神蔚然成风。今天当我们走完了所有的人才和奖励的阶梯后，就一定成为了一流科学家了吗？在大学做基础研究我们有三个使命：第一，培养出引领世界的科学家和工程师。第二，贡献出改变世界的科技发现和新的技术。第三，推动经济发展，提高生活质量和健康水平。作为科研人员，如果能够部分达到目标，我们退休时就可以安然和欣慰了。最后我想说我们对现行体制和文化，应该有独立和批评性的思考，并勇于改革和创新。谢谢。未来论坛 / 文：张晓东喜欢这类内容？也愿意再阅读其内容…？那么敬请关注【博科园】今后我们会努力为你呈现更多科学知识。

根据 AMiner 学术搜索平台人工智能全球最具影响力学者榜单，对其中的华人学者进行分析发现，清华大学培养了最多的高层次 AI 人才，其中包括本科生 41 名，硕士生 23 名，博士生 23 名；在论文发表方面，黄煦涛老先生以 1477 篇居首位，美国伊利诺伊大学香槟分校计算机系教授韩家炜已 1308 篇排名第二；论文被引用数统计中，韩家炜、吴恩达、孙剑、何恺明等排名前列，分别都有 6 万以上的被引数.......从 1956 年人工智能概念在达特茅斯会议上首次被提出至今 ，60 余载，人工智能发展已经历了三次发展浪潮。起起落落的同时，人工智能理论和技术也取得了飞速发展， 在语音识别、文本识别、视频识别等感知领域取得了突破，毫无疑问的成为引领新一轮科技革命和产业变革的战略性技术。人工智能三次浪潮技术发展背后永远是人类的创新在推动，这期间有许多的先贤名字让我们耳熟能详，例如 1950 年提出计算机博弈的克劳德香农（ Claude Shannon）；1954 年提出图灵测试的阿兰图灵（ Alan Turing）；首个提出专家系统的爱德华费根鲍姆 (Edward Feigenbaum)；提出深度学习的弗里辛顿（ Geoffrey Hinton）等人。那么，在过去十年，到底有多少人正在为 AI 的发展贡献力量呢？答案是 155408 位。这些优秀学者、研究员、企业家覆盖 120 多个国家，主要集中在北美洲、欧洲、东亚地区。高层次学者有多少呢？1833 位。这是根据 AI 2000 人工智能全球最具影响力学者榜单，结合学者 H-指数、论文数和影响因子，经过去重处理后得出来的数字。人工智能领域高层次学者数量 TOP10 国家在 1833 名学者中，覆盖了全球 37 个国家。按照国籍划分，其中美国有 1244 人，占比 62.2%，超过总人数的一半以上，中国排在美国之后，位列第二，有 196 人。德国位列第三，是欧洲学者数量最多的国家；其余国家的学者数量均在 100 人次以下。于是，我们对 196 名中国学者，以及部分非中国籍华人学者进行了全景多维度分析，包括所在机构，研究领域，论文数，被引数，跨国合作情况，毕业院校（本、硕、博）等。1所在机构和研究领域一览从所在机构来看，据不完全统计，清华大学 20 位、微软 20 位、香港中文大学 11 位、加利福尼亚大学 10 位、浙江大学 10 位、谷歌 8 位、香港科技大学 7 位、伊利诺伊大学 6 位、北京大学 5 位、复旦大学 5 位、南洋理工大学 5 位、中科院 5 位、阿里巴巴和 Facebook 各 4 位，其他研究者分布在腾讯、上交大、字节跳动、IBM 等近百机构。图：部分研究者主要所在机构从研究领域来看，大多数研究者们都不局限在单一领域，例如香侬科技的李纪为，其研究领域包括：自然语言处理，多媒体，机器学习，计算机网络，信息检索与推荐；复旦大学黄萱菁，其研究领域可以归纳为：自然语言处理，信息检索与推荐，机器学习，数据挖掘。当然，也有一些学者专研于单一领域，复旦大学的邱锡鹏专注于自然语言处理，清华大学谷源涛专注于语音识别，大连理工大学卢湖川专注于计算机视觉等。从研究热度来看，词频出现最多的研究领域是信息检索与推荐，占比 14%，排名第二的是计算机视觉，占比 12.56%，排名第三的是数据挖掘，占比 12.26%，而机器学习、自然语言处理、语音识别也有不少占比。图：研究领域词频分析在这些研究者的努力下，近年来中国的 AI 实力有目共睹。例如在自然语言处理领域，百度的能力被认为超过谷歌。中国目前在计算机视觉领域的领先企业以商汤科技、旷视、依图科技和海康威视等为代表，技术优势主要体现在人脸识别， 在 2017 年中国在这一领域获得的专利数量大约是美国公司的 6 倍。此外，在语音识别领域，特别是在中文识别和处理上，中国研究机构也有着独特的优势。科大讯飞、依图科技、百度、腾讯、阿里巴巴等企业依靠中文用户，能远超美国获得庞大的中文语音数据库，这也为其语音识别 AI 提供了更好的学习条件。2论文发表：14位学者论文被引6万+中国 AI 科研实力的另一个直接表现，是发表的论文数。从科研论文数量分布来看，人工智能领域论文发表量居于前十的国家依次是美国、中国、德国、英国、日本、加拿大、法国、韩国、意大利和澳大利亚。从上图可见，中国学者发表的论文数量紧随美国之后，且遥遥领先于其他国家。在华人学者中，每一位学者的论文发表数量呈现 “正态分布”。有接近 25% 的学者发表了 100-200 篇论文，20% 的学者发表了 300-500 篇论文，19.72% 的学者发表了 500-700 篇论文。而在发表 700 篇以上论文的学者中，黄煦涛老先生以 1477 篇居首位，美国伊利诺伊大学香槟分校计算机系教授韩家炜以 1308 篇排名第二。另外一些熟悉的名字，例如罗切斯特大学的罗杰波有 743 篇；新加坡国立大学终身教授颜水成有 740 篇；哈尔滨工业大学的刘挺有 723 篇；微众银行的杨强有 704 篇；南京大学周志华 700 篇。具体到论文被引数，引用数在 5000-10000 的学者数量最多，一共有 97 位。随着引用数的增大，其人数也越来越少。论文被引数在 6 万及以上的学者，有 14 位。按照引用次数排名分别是：韩家炜、吴恩达、孙剑、何恺明、李飞飞、黄煦涛、任少卿、俞士纶、贾扬清、张磊、张祥雨、汤晓鸥和宋晓东。另外一个有趣的现象是，有些学者并没有发表太多论文，但已经取得了 6 万以上的引用数量，比如何恺明只发表了 95 篇，任少卿只发表了 20 篇，贾扬清只发表了 61 篇，张祥雨只发表了 49 篇。高引论文发表年份分布不均，但一个共同的趋势是：大多高引论文发表在 2009-2017 年，其中 2015 年最多；2009 年和 2010 年紧接其后。高引论文井喷的近十年，其实也正对应着各研究领域的热度。以深度学习为例，2012 年之后，随着计算能力的进步和海量训练样本的支持，深度学习技术走向前台并急速发展，较好地解决了人工智能领域的一些重点问题如图像分析和语音识别等，并带动了产业界的广泛应用。2015 年，为纪念人工智能概念提出 60 周年，学者 Yann LeCun、 Bengio 和 Hinton 推出了深度学习的联合综述。这一年同时是中国学者发表高引论文数最多的一年。再比如，计算机视觉方面，2012 年 6 月谷歌研究人员 Jeff Dean 和华人学者吴恩达从 YouTube 视频中提取了 1000 万个未标记的图像，训练一个由 16000 个电脑处理器组成的庞大神经网络。在没有给出任何识别信息的情况下，人工智能通过深度学习算法准确地从中识别出了猫科动物的照片。此外，中国 AI 领域学者积极展开跨国科研论文合作。与中国领域学者合作最多 10 个国家分别是美国、新加坡、澳大利亚、英国、加拿大、日本、法国、德国、新西兰和韩国。其中，美国是中国 AI 领域学者跨国合作最多的国家，两国领域学者合作论文量在中外论文合作中占比过半。而在各个 AI 子领域，中国学者的跨国合作论文产出数量差别较大。相对而言，在计算机视觉、经典 AI、语音识别、信息检索与挖掘、机器人、自然语言处理、机器学习和多媒体领域，中外合作论文较多，而在芯片技术、人机交互、知识工程、数据挖掘等领域的中外合作论文数量较少。3学者培养：清华大学培养了最多的高层次人才通过对上述高层次华人学者的毕业院校进行分析，我们发现无论本硕博，清华大学都遥遥领先。其中，本科毕业于清华大学的有 41 位，中国科技大学 21 位，北大和浙大分别为 19 位和 14 位，复旦、哈工大、上交大和西安交大都是 9 位。其他学校，例如天津大学、西安电子科技大学、香港科技大学也都培养了多位高层次人才。图：部分学者本科毕业院校统计硕士毕业情况仍然是清华第一，但是情况稍有不同的是，麻省理工和伊利诺伊大学进入前十。图：部分学者硕士毕业院校统计而在博士毕业院校的排名上，“格局”又有所不同：排名前十的院校中，国外高校整体数量大幅增加，达到了一半。出现以上现象的原因可能是，美国本科比较强调基础性学科，而 AI 这种混合性质专业在本科阶段是没有的。进一步分类，AI 属于计算机科学的领域，卡内基梅隆、加州伯克利、斯坦福大学、佐治亚理工、加州理工在计算机专业都比较强，也是华人学 AI 留学的首选之地。图：部分学者博士毕业院校统计以上是 AI 2000 高层次人才中，196 位华人学者的基本情况。在这些人才的加持下，相信不久的将来会有更多的人工智能关键技术实现突破，我国人工智能的发展也将更加耀眼，培养更多的人才投入到人工智能领域的发展建设中去。[赠书福利]AI科技评论本次联合【博文视点】为大家带来12本《深度学习500问：AI工程师面试宝典》正版新书。在2月18日文章《《深度学习500问》正式出版！GitHub星标数超4.2万的火爆之作 | 赠书〉留言区留言，欢迎大家畅所欲言，谈一谈你对本书的看法和期待或者在学习深度学习时遇到的困难。AI 科技评论将会在留言区选出 12名读者，每人送出《深度学习500问：AI工程师面试宝典》一本。活动规则：1. 在本文留言区留言，在综合留言质量（留言是敷衍还是走心）和留言点赞最高的读者中选出12位读者获得赠书。获得赠书的读者请联系 AI 科技评论客服（aitechreview）。2. 留言内容会有筛选，例如“选我上去”、“这书写的很棒（仅仅几个字）”等内容将不会被筛选，亦不会中奖。3. 本活动时间为2021年2月18日 - 2020年2月25日（23:00），活动推送时间内仅允许赠书福利中奖一次。由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道， 请将“AI科技评论”设为星标账号，以及常点文末右下角的“在看”。

撰文 | 丁玖（南密西西比大学数学教授）纪念"信息论之父"香农的最好方式，莫过于重温一下他怎样定义信息熵的数学思想，去理解现代信息论这个基本概念——仅用初等代数即可推导，令人赏心悦目，流连忘返！确定性过程在数学里是司空见惯的现象。众所周知，一个函数的迭代过程是确定性的，因为下一个迭代点完全由当前已知的迭代点唯一地确定。譬如混沌学中著名的逻辑斯蒂模型 f(x) = 4x(1-x) ，当x等于0.1时的函数值必为0.36，而不会等于0.35或0.37。同样，一个微分方程初值问题的解也是确定性的：解在任一时刻的值是唯一确定的一个数。然而，和确定性现象一样, 随机现象在自然界也是到处可见的。小孩子们喜欢猜硬币正反面的游戏：将一枚五分钱的平整硬币在桌上旋转，然后猛地用手把它拍倒按住，猜猜是钱的正面朝上还是反面朝上。即便旋转过一百次都是正面朝上，第一百零一次旋转后，硬币正面朝上的或然率还是同一个概率值：1/2。这就是典型的随机性，它意味着试验结果是不可确定的。如果历史上英国铸币局（牛顿（1643-1727）曾在这里当了几十年的局长）把钱币故意制成一个圆锥体陀螺形状，那么无论怎样旋转，待它最终停转时总是站在那里，也就是说正面总是朝上，这就是一个确定性的例子——旋转结果是可以预测的。人们认识到随机性的历史也许比数学史本身还要长，甚至可能就等于人类自己的历史——毕竟，孕妇肚子里怀的是儿子还是女儿，本身就是一个不可预测的随机事件问题。不确定性作为自然的基本属性，应该怎样用数学的语言去刻画呢？“熵”就是关于不确定性的一个极好的数学描述。历史上的熵概念起源于热力学。凡是学过热力学、统计物理或物理化学的人对“熵”这一术语都不陌生，但是这一概念发展的初始阶段却跟混沌思想并无任何历史瓜葛。实际上，当熵的名词诞生之时，混沌之祖庞加莱（Henri Poincare, 1854-1912）还只是一个乳臭未干的少年。当熵的触角从宏观的热力学伸展到微观的统计力学之后，才逐渐拉近它和混沌概念的距离。二十世纪中叶的一场信息论革命，无意中在古典熵的旧作坊内又酿造出醇香的新酒。十九世纪是物理学家大显身手的世纪。如果说十七世纪是宏观力学的乐园，十九世纪则是微观力学的会所。热力学和统计力学把眼光由外向里地从机械能转向到内能，熵概念的缓慢演化覆盖了那个世纪后半叶的前三十年。1865年，热力学奠基人之一、德国物理学家和数学家鲁道夫 克劳修斯（Rudolf Julius Emanuel Clausius, 1822-1888）第一次使用了“熵（entropy） ” （从意指“变换容度”的希腊词τροπ派生而来）作为热力学的专用名词，并赋予其数学形式。他用 “Sadi” 的第一个大写字母 S 作为熵的记号，大概是为了纪念熵理论先驱者之一、法国工程师萨迪 卡诺（Nicholas Leonard Sadi Carnot, 1796-1832）。他写道：“按照希腊词τροπ (trope) 的意思，我将 S 这个量称为系统的熵。我特别取熵这个词是为了让它与能量这个词尽可能相像：这两个词所表达的两个量在物理上如此密切相关，把它们的名字写得类似完全是合情合理的。” 他的一句名言 “宇宙之熵趋于无穷” 是热力学第二定律在孤立系统中无能量消耗情形下的推论；他的另一句断言 “宇宙总能量不变” 则是能量守恒定律的通俗说法。第二年，24岁的玻尔兹曼（Ludwig Boltzmann, 1844-1906）在他关于气体动力学的奠基性论文中，给出了熵的另一形式。十一年后的1877年，他在统计热力学中把熵简单地定义为著名的“玻尔兹曼常数”乘上与宏观状态相容的微观状态的个数之对数。与早先把熵和热量传递捆绑在一起的做法不尽相同，玻尔兹曼把熵看成是无序分子运动紊乱程度的一种度量。这种新观点，被杨振宁先生（1922-）十分推崇的美国物理学家、化学家和数学家威拉德 吉布斯（Josiah Willard Gibbs, 1839-1903）精雕细琢，成为统计力学理论发展史上的里程碑之一。1995年夏，在中国厦门大学召开的第十九届国际统计物理大会（东道主学者郝柏林（1934-2018）时任会议主席）上，笔者曾听到与会讲话的杨振宁先生建议大家读读二十世纪初吉布斯那本启迪灵感的名著《统计力学的基本原理》（Elementary Principles in Statistical Physics, 1902）。吉布斯于1863年在耶鲁大学获得美国历史上第一个工程博士学位，并在这所老牌大学度过了他的整个学术生涯。他令蒸蒸日上的美国扬名天下，可惜墙内开花墙外香，在科学整体尚欠发达的祖国，吉布斯活着的时候声名未曾显赫，却在去世前两年被大西洋彼岸最强盛时期的英国授予了伦敦皇家学会的考普利奖（Copley Medal of the Royal Society of London）——诺贝尔奖之前全世界科学界名气最大的奖项。1. 信息熵对需要交流的人类而言，通讯犹如吃饭睡觉一样重要。就像人类不断探索水稻增产一样，不断改进通讯质量与速度的科学研究一直是全世界方兴未艾的事业。1948年，博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德 香农（Claude Shannon, 1916-2001）在《贝尔系统技术杂志》（Bell System Technology Journal）上分两期发表了他一生中也许是最有名的一篇论文：《通讯的数学理论》（A mathematical theory of communications,1948），引入了一条全新的思路，震撼了整个科学技术界，开启了现代信息论研究的先河。在这一伟大的贡献中，他引进的“信息熵”之一般概念举足轻重：它在数学上量化了通讯过程中“信息漏失”的统计本质，具有划时代的意义。克劳德 香农（Claude Shannon, 1916-2001）香农生于美国密歇根州，本科毕业于“美国大学之母”密歇根大学。他儿时崇拜的英雄人物是大名鼎鼎的、造福全人类的美国大发明家托马斯 爱迪生（Thomas Alva Edison, 1847-1931），后来他发现这位英雄是他家的一个远亲。二十岁本科毕业时，他拿回了电子工程和数学两张学士文凭。而他在密西根大学修课时接触到英国数学家和哲学家乔治 布尔（George Boole, 1815-1864）最有名的工作“布尔代数”，成就了他二十一岁在麻省理工学院完成的题为《中继及开关电路的符号分析》（Symbolic analysis of relay and switching circuits，1937）的硕士学位论文。有人说这是二十世纪甚至人类历史上最有价值的硕士论文，因为它用布尔代数的理论首次表明对付真假李逵的“符号逻辑”与对付电路开关的“0-1数字”具有一致性，从而论证了数字计算机和数字线路的逻辑设计之可能性。香农最初并没有借用“熵”这个词汇来表达他关于信息传输中的“不确定性”的度量化。他甚至都不太知晓他所考虑的量与古典热力学熵之间的类似性。他想把它称为“information（信息）”，但又认为这个名词太过大众化，已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty（不确定性）”，但它却更像抽象名词，缺乏量化的余地，确实难于定夺。终于有一天，他遇见了天才的数学家冯 诺依曼（John von Neumann, 1903-1957）。真是找对了人！冯·诺依曼马上告诉他：就叫它熵吧，这有两个好理由。一是你的不确定性函数已在统计物理中用到过，在那里它就叫熵。第二个理由更重要：没人真正理解熵为何物，这就让你在任何时候都可能进能退，立于不败之地。香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。譬如说，如果天气预报说“今天中午下雨的可能性是百分之九十”，我们就会不约而同想到出门带伞；如果预报说“有百分之五十的可能性下雨”，我们就会犹豫是否带伞，因为雨伞无用时确是累赘之物。显然，第一则天气预报中，下雨这件事的不确定性程度较小，而第二则关于下雨的不确定度就大多了。对于一般的不确定事件，我们怎样数学地刻画它的不确定程度呢？设想有n个“基本事件”，各自出现的概率分别为则它们构成一个样本空间，可以简记为所谓的“概率数组”样本空间最简单的例子是我们上面提到的抛硬币游戏，它只有两个基本事件：抛硬币结果是“正面朝上”或“反面朝上”，其中每个事件的概率均为 1/2，其对应的样本空间为 (1/2, 1/2)。如果铸币厂别出心裁地将硬币做成两面不对称，使得抛硬币时正面朝上的概率增加到7/10，而反面朝上的概率减少到3/10，则对应的样本空间就是 (7/10, 3/10)。如果我们用符号 H(1/2, 1/2) 来表示第一个样本空间的不确定度，用数 H(7/10, 3/10) 代表第二个样本空间的不确定度，那么直觉马上告诉我们：数 H(1/2, 1/2) 大于数 H(7/10, 3/10)，也就是前者比后者更加不确定。更一般地，若用记样本空间所对应的不确定度，运用同样的直觉分析，我们相信当所有的基本事件机会均等，即都有同样的概率1/n时，其不确定度最大。因而，不确定度函数H应该满足如下的基本不等式：对所有的加起来等于1的非负“概率数”如果我们不抛硬币，而像澳门赌场的常客那样掷骰子，每掷一次，小立方骰子的每一个面朝上的概率均为1/6。想一想就知道，某个指定面朝上的不确定度应大于玩硬币时正面或反面朝上的不确定度。将这个直观发现一般化，我们就有不确定度函数H 应该满足的单调性要求：假设物理系赵教授、数学系钱教授和孙教授竞争理学院的一笔科研基金，他们每人申请成功的概率分别为1/2、1/3、1/6。院长为求公平，让每个系得此奖励的机会均等。若物理系拿到资助，就到了赵教授的名下。如数学系得到了它，钱教授有2/3的概率拿到，孙教授则有1/3的机会到手。通过分析“条件概率”，我们能得出不确定度 H(1/2, 1/3, 1/6) 的数值：这三个教授获得基金的不确定度，等于物理系或数学系拿到这笔基金的不确定度，加上数学系赢得该基金的概率与在数学系拿到基金的条件之下，钱教授或孙教授得到它的不确定度之乘积。换言之，H(1/2, 1/3, 1/6) = H(1/2, 1/2) + H(2/3, 1/3)。推而广之，可以得出不确定度与条件概率有关的“加权和”性质：既然我们想用一个漂亮的数学公式来表达不确定度这一样本空间概率值函数，我们自然希望这个函数表达式和几乎所有的物理公式一样连续依赖于公式中的所有变元。这样，第四个条件就自然而然地加在了不确定度函数的头上：香农无需什么高深的数学，甚至连微积分都可不要，就证明了：任何在所有样本空间上都有定义的函数H，只要它满足以上的“三项基本原则 (2)(3)(4)”，就非如下的表达式莫属：其中符号 ln 代表以 e 为底的自然对数函数，C 可以是任意一个常数。并可证明，条件(1)自动满足（有兴趣的读者可用初等微积分证之）。当然，熵公式的证明需要的是一种创造的头脑思维、一手精湛的代数技巧、一个巧妙的极限思想。如果C取成玻尔兹曼常数，它就能和当年吉布斯在统计热力学中得到的“吉布斯熵”一模一样。香农取 C = 1，如此得到了非负函数：按照冯 诺依曼的建议，该函数被定义为样本空间 (p1, p2, …, pn) 所对应的信息熵。现在，这个数被广称为“香农熵”，以纪念它的创造者、信息论之父——香农。现在，为了满足读者追根求源的好奇心，我们在此给出一个高中生也能看懂的简单证明。这是活学活用初等代数的好机会，我们分三步来证明：如上证明是我在1989年从我的博士导师李天岩教授于密歇根州立大学所作的公众报告中听到的。细看一下香农熵的公式，除了负号，它是基本函数 x ln x 的有限个函数值之和。这个函数的图像就像大厨师手中侧面看过去的长勺子。向上弯曲的曲线有几何性质：连接上面任意两点的直线段都在这两点之间的曲线段之上。运用初等微分学，读者可以证明，对任意两个正数a和b，有a – a ln a ≤ b – a ln b。这就是现在冠以吉布斯大名的初等不等式，在一切与熵有关的数学问题中均有上乘表现，比如说我们在下面的第3节就要用到它。当所有的概率值pi都取为1/n时，吉布斯熵就还原成玻尔兹曼熵，它可看成是最大可能的吉布斯熵。同理，这时的信息熵取值最大，等于 ln n。2. 柯尔莫果洛夫熵不到十年，香农熵就在离散动力系统的练武场上大展身手。这主要归功于三十年代就建立了公理化概率论的俄罗斯数学巨人柯尔莫果洛夫（Andrey N. Kolmogorov, 1903-1987）和他在遍历理论领域的最佳弟子西奈依（Yakov G. Sinai）。五十年代中期，柯尔莫果洛夫在考虑遍历理论的“共轭不变量”这一基本问题时开创了“度量熵”的理论，而他的门徒西奈依的工作则使得它日臻完美。度量熵揭示了一般非线性函数迭代最终走向的动态性质，从而和稍迟一点发展的混沌理论融合了起来。柯尔莫果洛夫（Andrey N. Kolmogorov, 1903-1987）柯尔莫果洛夫堪称俄罗斯民族二十世纪的庞加莱，在国际数学界备受尊崇。他的父亲于沙皇时期投身革命，被圣彼得堡当局驱逐，最后消失在内战之中。因母亲在生产过程中不幸去世，他随姨妈在富有的贵族外祖父的庄园中长大，并受到很好的早期教育。比冯 诺依曼大八个月的柯尔莫果洛夫一样是一个历史爱好者。十七岁进入莫斯科大学后，他参加了俄罗斯著名历史教授的讨论班，并写出了他一生中的第一篇论文，研究内容不是数学，而是四个世纪前的俄国一个城市的发展史。他颇为得意地问教授，该文可否发表？出乎他意料的回答是：“肯定不行！你的论据只有一个，对历史学而言太少了，起码得有五个论据才行。”这位严谨的教授应该成为国内某些发表论文心切的人文科学工作者的大楷模。但也正是这位打击学生信心的历史教授在无意之中把柯尔莫果洛夫推向了另一个五六岁时就萌芽的至爱，并令他矢志不渝——因为在数学中定理只需一个证明就够了！几乎在精心研究俄国历史的同时，年纪轻轻的柯尔莫果洛夫证明了集合论以及三角级数的几个结果。尤其是在1922年，他构造出一个几乎处处不收敛的三角级数，一下子成了令人瞩目的国际数学新星。在那一时刻，他立马决定“把一切献给数学”，他的决心就像兵工英雄吴运铎《把一切献给党》一样坚定。在半个世纪的数学生涯中，柯尔莫果洛夫大大推进了现代数学的许多分支领域的发展，如函数论、概率论、直觉主义数理逻辑、泛函分析、拓扑学、随机过程、经典力学、紊流、遍历理论、计算复杂性等等，被公认为二十世纪全人类最伟大的数学家之一。如果美国数学史家贝尔（ Eric Temple Bell, 1883-1960）晚生五十年，也许他那本大作《数学大师：丛芝诺到庞加莱》（Men of Mathematics, 1937）会以柯尔莫果洛夫作为压轴戏，将他称为“最后的全能数学家”，而庞加莱则变成历史上“倒数第二个全能数学家”。西方物理学界有伟大的导师费米带出了一大批杰出的学生，甚至有好几个得了诺贝尔奖，可是西方没有哪个数学家会像柯尔莫果洛夫那样培养或影响一个接一个的天才学生。上世纪六十年代初曾让美国数学新星、1966年菲尔兹奖获得者斯梅尔（Stephen Smale, 1930-）惊羡的“动力系统四大才子”中的阿诺德（Vladimir I. Arnold, 1937-2010）和西奈依便是他的弟子。除此之外，柯尔莫果洛夫成果最辉煌、名声最响亮的学生是没有上过高中和大学就直接成为其博士生的犹太人伊斯雷 盖尔芳德（Israil Moiseevic Gelfand, 1913-2008）。在与其名Israil只有一个字母之差的犹太国度Israel（以色列) ，盖尔芳德和“物理女王”吴健雄（1912-1997）一同站在了第一届沃尔夫奖的领奖台上，甚至比他的老师还早了两年获此殊荣。按照华东师范大学数学系教授张奠宙 (1933-2019) 在其著作《二十世纪数学经纬》（2002）中所统计的，柯尔莫果洛夫直接指导过的学生有六十七人之多，可媲美孔子“贤弟子七十二”的记录，其中有十四人被选为苏联科学院院士或通讯院士（具体名册可见书本第368页），堪称中国孔圣人的强劲对手。东方数学界里，在培养学生方面或许能和柯尔莫果洛夫有“最佳逼近”距离的是中国最伟大的数学家华罗庚（1910-1985）。他门下的数论学家陈景润（1933-1996）证明了离哥德巴赫猜想最近的“1+2”情形，这一传世工作让二十世纪六七十年代的世界数学界再次对中国刮目相看。华罗庚的其他杰出弟子，如解析数论的王元（1930-）、多复变函数论的陆启铿（1927-2015）和龚升（1930-2010）、抽象代数学的万哲先（1927-）等，都是在国际上颇有影响的纯粹数学家。让我们再回到玩硬币的游戏，来经历一次柯尔莫果洛夫开发度量熵的思想之旅。但是，这一次我们不只注意抛一次硬币正面朝上或反面朝上的结果，而是一口气抛上好几次看看有多少种可能性发生。比如连续上抛两次，就有四种可能结果出现：正正、正反、反正、反反。因为第一次抛硬币结果对第二次结果毫无影响，它们是相互独立的，因而四种结果的每一次可能性均为四分之一。国外硬币的正面通常是本国名人头像，如美国放的就是历史上最伟大的几个总统。一分硬币（左）上面是亚伯拉罕 林肯（Abraham Lincoln, 1809-1865），五分硬币（下）上面马斯 杰弗逊（Thomas Jefferson, 1743-1826），一角硬币（上）上面是弗兰克 罗斯福（Franklin Delano Roosevelt, 1882-1945），一元硬币（右）上面乔治 华盛顿（George Washington, 1732-1799）。为简化书写，我们用英文字母H（Head，头）代表正面朝上，T（Tail，尾）代表反面朝上，这样两次抛硬币的所有可能性可以简记成：HH, HT, TH, TT。更一般地，若连续地抛上n次硬币，则有2n个可能结果，每一个结果的概率均为每一个结果都是一个基本事件，我们就有了一个包含2n个基本事件的样本空间其香农熵的值为 n ln 2。我们的直觉是，无论抛了多少次，对下一次的结果我们仍然心中无数。作为一个极端例子，假如抛了一百万次都是头像朝上，第一百万零一次呢？头像朝上还是尾巴朝上？阁下打赌的胜率如何？柯尔莫果洛夫对下面的问题大感兴趣：倘若已知连续抛了n次硬币的结果，接下来抛第n+1次的结果的不确定度到底是什么？让我们再来一点数学思维吧。数学家爱数字胜于爱符号。正如美国物理学家费恩曼（Richard Feynman, 1918-1988）生前所经常回忆到的，他那善于培养孩子好奇心的父亲很早就告诉他：知道事物的名称并不重要，重要的是知道其内容。熵在英文里叫entropy，在德文或法文里都是entropie，在俄文里是eнтропия。即便认得一百种语言的名词“熵”，却对它的意义知之甚少或一无所知，甚至不以为然，这只有孔乙己才可能做得到，或培养出孔乙己的私塾先生喜欢这样做。可是目前我们学校的一些教育方式本质上就是在这么做。我们用数字0代替H，数字1代替T。然后连续n次抛硬币的结果可用小数来代表，其中小数点后面的每个数字非0即1。而这个数实际上可看成是0和1之间的一个数x的“二进制表示”。我们的双手有十个指头，日常生活中，我们最喜欢十进制了，它是如此的方便，不懂算术者也可扳扳指头计算。但是，如果一位学过计算机原理的人告诉我们11可以表示“周期三意味着混沌”中的那个数3，我们可能以为他是瞎说。不，他是对的，因为他用的是计算机中央处理器内运算所用的二进制！二进制最早在莱布尼兹（Gottfried Wilhelm Leibniz, 1646-1716）的著作中出现，他可称为人类历史上首位计算机科学家！十进制中，我们“逢十进一”，而在二进制中，就要“逢二进一”了。这样，在二进制中，自然数从小到大排列的前几个数是 1,10,11,100,101，它们分别是我们习以为常的十进制数 1,2,3,4,5。我们从小学的算术熟知，在十进制中小数0.31416可以被展开成“有限项级数”形式：以此类推，在二进制中小数0.10011有展开式 1/2 + 0/2^2 + 0/2^3 + 1/2^4 + 1/2^5这样，每一个二进制小数 x = 0.a1a2…an 都可以写成x = 0.现在我们把区间 [0,1] 一分为二：左边的半个区间 [0,1/2) 和右边的半个区间 [1/2,1]。注意，为了叙述严格起见，这两个子区间前一个是“左闭右开”的，后一个是“双边都闭”的，它们的交集为空集，亦即没有共同的元素。显而易见，若则x属于 [0,1/2)，若是1，则x位于 [1/2, 1] 之中。想想看怎样确定x的位置？我们可以借用把 [0,1] 区间映到自身上的一个逐段线性的“加倍函数”来解释连续抛硬币的数学游戏。这个函数的定义是：当x大于或等于0并且小于1/2时函数值为2乘上x，而当x大于或等于1/2并且小于或等于1时函数值为2乘上x再减去1。更简单地说，这个函数就是将自变量加倍，再丢掉结果的整数部分。它的简洁表达式就是 f(x) = 2x (mod 1)，其函数图像是两条斜率是2、彼此平行的斜线段。它是保持长度的，意思是任何子区间和它在 f 下的逆像都有相等的长度。一个区间在函数下的逆像是函数定义域中所有那些数的全体，这些数的函数值都落在该区间内，它可以通过函数图像画水平、垂直线得到。这个加倍函数不是处处连续的，在区间的中点1/2处有个跃度为1的跳跃性间断，这从图像上一眼就知。用更专业的术语讲，它是一个“勒贝格可测函数”。加倍函数和逻辑斯蒂模型一样，都是混沌学家教书时宠爱的混沌例子。f(x) = 2x (mod 1)，x∈[0,1]动力系统寻找的是过程的终极行为。当自然数n走向无穷大时，上述不确定度的极限值就被称为函数 f 关于划分 P 的熵。这个熵值依赖于函数定义域区间 [0,1] 的划分。该定义域可以被划分为任意有限多个彼此互不相交的子集之并，而不同的划分一般给出不同的熵值。定义域的所有划分所对应的熵的“最大值”（更严格地说，是对应于所有的有限划分的熵值之“最小上界”，因为无穷个数放在一起可能找不到最大数，比如所有比3小的正数没有最大值，但其最小上界为3）就叫做 f 的柯尔莫果洛夫熵，又称为测度熵或度量熵，因为它用的是勒贝格所开创的一般测度论工具来度量保测函数迭代最终性态的混乱程度。我们用来描绘硬币游戏的这个加倍函数的度量熵等于2的自然对数：ln 2 。请注意，这是一个正数。如今动力学家们都已知道，具有正熵的确是混沌动力系统的一个典型性质。同法可知，将自变量增加六倍后再丢掉结果整数部分的“六倍函数”（数学上这个函数可写成 6x(mod 1)的形式，图像是六根斜率为6的平行斜线，其不连续点为 1/6, 1/3, 1/2, 2/3, 5/6），它的测度熵则为 ln 6。六倍函数可以看成是掷六面骰子（有六种均等机会出现）结果之不确定度。“十倍函数” 10x(mod 1) 的熵是 ln 10，而“百倍函数” 100x(mod 1) 的熵则跳到 ln 100了，依次类推。倍数越提高，熵值越变大，不确定度就越可观，这就是为何在无线通讯中，工程师们常用高度混沌的“高倍函数”参与信号的传输。二倍函数f(x) = 2x(mod 1)（左）与十倍函数f(x) = 10x(mod 1)（右）的图像对比。柯尔莫果洛夫熵是遍历理论中的一个极其有用的共轭不变量，即彼此共轭的保测函数共享同一熵值。事实上，早在1943年，人们就已经知道以概率论先驱雅各布 伯努利（Jacob Bernoulli, 1654-1705）名字命名的、定义在0、1两个符号构成的双向序列符号空间上的“(1/2,1/2)-双边移位”和定义在0、1、2三个符号构成的双向序列符号空间上的“(1/3,1/3,1/3)-双边移位”都具有数目和自然数一样多的“勒贝格谱点”，因而它们两兄弟是谱同构的。但数学家们一直弄不清楚它们是否也共轭，即：这两个符号空间之间是否存在一个保测同构，使得一个位移与它的复合运算和它与另一个位移的复合运算结果完全是一码事？1958年，正当遍历理论家们为这个基本的未决问题绞尽脑汁之时，柯尔莫果洛夫刚刚产下了的“熵”马上派上了大用场：他经过计算发现这两个伯努利双边移位具有不同的熵值，前一个为 ln 2，后一个则为 ln 3，故它们不可能是共轭等价的。大数学家的手一旦扭转乾坤，共轭难题的一旦解决，熵马上成了动力系统行家们争相一抱的宠儿。很快，基于紧拓扑空间有限开覆盖概念、用于探索连续函数迭代渐近性态的“拓扑熵”在柯尔莫果洛夫熵的思想指引下由西方数学铺子的三大“铁匠” R. Adler, A. Konhein 和 M. McAndrew 锻造出炉，并和柯尔莫果洛夫基于测度概念的“度量熵”密切相关，成为研究拓扑动力系统混沌性质的好工具。只要把紧拓扑空间的有限开覆盖中的每个开子集看成所谓的波雷尔可测集，拓扑熵和柯尔莫果洛夫测度熵的数学推导过程颇为类似；文末参考文献[1]给出了一个初等的推导。举一个简单的例子，著名的混沌映射之一“帽子函数”有拓扑熵 ln 2，它也等于其柯尔莫果洛夫熵。Hat function3. 玻尔兹曼熵1957年，美国物理学家埃德温 杰恩斯（Edwin T. Jaynes, 1922-1998）在他分两次发表、至今已被引用了将近12000次的论文《信息论与统计物理》[2] 中首次提出了“最大熵原则”。这个原则大致是说，当一个未知的概率密度函数的某些“可试验信息”（例如有限多个的矩量或期望值）已知但却不能唯一地确定该密度函数时，合理采用的未知密度函数最佳逼近应是具有最大玻尔兹曼熵的那个密度函数，因它最不带有“偏见” (least biased)。根据最大熵定理，这个具有最大熵的密度函数不光是存在的，而且它可以通过矩量函数的某个线性组合与指数函数的复合函数，再标准化成一个密度函数来得到，只要这个特殊形式的密度函数具有和未知密度函数一模一样的那些已知矩量值。这样一来，杰恩斯的最大熵原则成就了数值重获未知密度函数的一个叫做“最大熵方法”的计算程式。事实上，六十年来，这是数学物理学家和工程师经常采用的一种“密度计算法”。杰恩斯终生在美国圣路易市华盛顿大学任教，1984年，物理系浓厚的最大熵氛围熏陶出一位名叫劳伦斯 米德（Lawrence R. Mead, 1948-）的博士。退休前他和笔者在同一所大学执教并合写过文章，是个很会教书、获得过两次校级教学奖的物理教授。米德一生中最有名的研究工作大概就是获得博士学位那年在《数学物理杂志》上发表的一篇合作论文[3]，至今为止每年都有不少人引用。在这篇题为《矩量问题中的最大熵》的文章里，作者证明了最大熵方法的弱收敛性，而这种收敛性对于物理学家考虑的许多问题来说已经是绰绰有余了。数学家则感到不够劲，于是就有两位加拿大的数学家乔纳森 博旺（Jonathan M. Borwein, 1951-）和艾德里安 刘易斯（Adrian S. Lewis, 1962-）在九十年代初严格证明了最大熵方法的强收敛。在最大熵方法中，传统的做法基本上是用单项式 1, x, x^2, …, x^n来计算密度函数的对应矩量，但在计算数学家的眼里，这是代价极大的数值处理，因为算法极不稳定，用数值代数学家的行话说就是“条件数太大了”。难怪物理学家们能用到十来个矩量就感觉不得了了。对孜孜以求数值收敛性的计算数学家们来说，这怎么能过瘾呢。于是，一个新的想法[4]应运而生：把有限元的逐段多项式思想与最大熵原则相结合。这个算法借用了有限元空间基底函数“一的分解”的好性质，第一次用到与混沌有关的“不变密度函数”的数值计算上，条件数出奇地小，并且用到一百个甚至一千个矩量值也不在话下。如今，五花八门的熵：信息熵、度量熵、拓扑熵、玻尔兹曼熵，加上定量刻画“对初始条件敏感性”的李亚普洛夫（Alexandre Mikhailovich Liapunov, 1857-1918, 俄国数学家，以微分方程稳定性理论著称于世）指数，再加上遍历性、混合性、可递性等用统计观点看混沌的基本概念，一起组成了混沌、分形领域里克敌制胜的十八般兵器。参考文献[1] “Entropy - an introction,” Jiu Ding and Tien-Yien Li, NankaiSeries in Pure and Applied Mathematics and Theoretical Physics, Volume 4, WorldScientific, 26-53, 1993.[2] Information theory and statistical physics, Physics Review 106(4), 620-630, 1957; Information theory and statistical physics, Physics Review 108(2), 171-190, 1957[3] L.R. Mead and N. Papanicolaou, Maximum entropy in the problem of moments, J. Math. Phys. 25, 2404–2417, 1984.[4] J. Ding, C. Jin, N. Rhee, and A. Zhou, ``A maximum entropy method based on piecewise linear functions for the recovery of a stationary density of interval mappings,’’ J. Stat. Phys. 145, 1620-1639, 2011.版权声明：本文由《返朴》原创，欢迎个人转发，严禁任何形式的媒体未经授权转载和摘编。《返朴》，致力好科普。国际著名物理学家文小刚与生物学家颜宁联袂担任总编，与几十位学者组成的编委会一起，与你共同求索。关注《返朴》（微信号：fanpu2019）参与更多讨论。二次转载或合作请联系fanpu2019@outlook.com。特别提示：「返朴」正在求贤，有意者请戳“求贤”联系我们，等你来哦！

本世纪最著名硕士论文是哪篇？谁提出了人工智能概念？第一台移动电脑是谁发明的？提高赌博胜算的计算机是谁发明的？破译密码的原理谁发现的？魔方复原机你知道吗？谁奠定了数字电路理论基础？让我们带着疑问走近大牛的世界，寻找答案！人工智能领域大牛：1、马文·李·明斯基马文·李·明斯基（英语：Marvin Lee Minsky，1927年8月9日－2016年1月24日），生于美国纽约州纽约市，美国科学家，专长于认知科学与人工智能领域，麻省理工学院人工智能实验室的创始人之一。成就：他是美国工程院和美国科学院院士，于1969年获得图灵奖，1990年获得日本国际奖，1991年获得IJCAI Award for Research Excellence，2001年获得富兰克林奖章（Benjamin Franklin Medal）。生平：生于犹太人家庭中，高中就读菲利普斯学院。高中毕业后，在1944年至1945年间，服役于美国海军，参与第二次世界大战。1950年于哈佛大学获得数学学士学位，1954年于普林斯顿大学获得数学博士学位。自1958年起在麻省理工学院任教，担任东芝媒体艺术与科学教授（Toshiba Professor of Media Arts and Sciences）、麻省理工学院电子工程与计算机科学教授，直到他过世为止。他有数项发明，如1957年发表的共聚焦显微镜，1963年发表的头戴式显示器。他与西摩尔·派普特共同发展了第一个以Logo语言建构的机器人，命名为海龟（Turtle）。1951年，他设计并建构了第一部能自我学习的人工神经网络机器，SNARC。1952年，他发明会自行关闭电源的无用机器(Useless Machine)。1956年，他与约翰·麦卡锡组织了达特茅斯会议，在这场会议中，人工智能的概念被提出，在之后形成了一个新的学门。在麻省理工学院，他与约翰·麦卡锡共同创立了人工智能研究室（MIT计算机科学与人工智能实验室的前身）。闵斯基奠定了人工神经网络的研究基础。2016年1月24日，闵斯基因脑内出血病逝，享寿88岁。2、约翰·麦卡锡约翰·麦卡锡（英语：John McCarthy，1927年9月4日－2011年10月24日），生于美国马萨诸塞州波士顿，计算机科学家。他因在人工智能领域的贡献而在1971年获得图灵奖。实际上，正是他在1956年的达特矛斯会议上提出了“人工智能”这个概念。成就麦卡锡发明了LISP并于1960年将其设计发表在《ACM通讯》上。他帮助推动了麻省理工学院的MAC项目（Project MAC）。然而，他在1962年了离开麻省理工学院，前往斯坦福大学并在那里协助建立了斯坦福人工智能实验室（Stanford Artificial Intelligence Laboratory），成为MAC项目多年来的一个友好的竞争对手。奖项荣誉1971年，麦卡锡获得了计算机界的最高奖项图灵奖。1988年，麦卡锡获得了京都奖。1990年，麦卡锡获得了美国国家科学奖章。1999年，麦卡锡成为了计算机历史博物馆研究员。2003年，由于麦卡锡在计算机和认知科学方面的成就，获得了富兰克林奖章。2012年，麦卡锡获得了斯坦福大学工程英雄称号。生平1927年9月4日，约翰·麦卡锡出生于美国马萨诸塞州波士顿。他的父亲(John Patrick)是爱尔兰裔美国人，母亲(Ida Glatt McCarthy)是立陶宛的犹太人。他于1948年获得加州理工学院数学学士学位，1951年获得普林斯顿大学数学博士学位。分别短暂地为普林斯顿大学、斯坦福大学、达特茅斯学院和麻省理工学院供职后，麦卡锡于1962年-2000年底在斯坦福担任教授，退休后成为名誉教授。哲学倾向约翰麦卡锡出生在一个共产主义家庭。约翰麦卡锡是一个读书狂，乐观主义者，他是言论自由的坚定支持者。约翰麦卡锡经常在USENET论坛上发表对国际事务的看法。麦卡锡看到了数学和数学教育的重要性，他在自己的宝马车上有一条标语“不符合数学的，都是胡言乱语”。麦卡锡预言互联网文化和社交网络在今后10年将扮演重要角色。如今成真了！3、罗纳德·李维斯特罗纳德·林·李维斯特 （英语：Ronald Linn Rivest，1947年－），美国密码学家。他是麻省理工学院电子工程和计算机科学部门 (EECS)计算机科学的教授和麻省理工学院之计算机科学和人工智能实验室 (CSAIL)的成员。他与阿迪·萨莫尔和伦纳德·阿德曼共同发明了RSA加密算法；以及在密码学和计算机科学等领域做出许多杰出贡献而知名。RSA被广泛使用在计算机安全应用上，包括https。2002年，他与阿迪·萨莫尔和伦纳德·阿德曼一起因在公钥密码学RSA加密算法取得的杰出贡献而获得图灵奖。4、克劳德·香农克劳德·艾尔伍德·香农（英语：Claude Elwood Shannon，1916年4月30日－2001年2月26日），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。香农是密歇根大学学士，麻省理工学院博士。1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年，21岁的香农是麻省理工学院的硕士研究生，他在其硕士论文中提出，将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来最具水平的硕士论文之一。二战期间，香农为军事领域的密码分析——密码破译和保密通信——做出了很大贡献。本世纪最著名论文香农在1938年发行的Transactions of the American Institute of Electrical Engineers上发表了著名论文“A Symbolic Analysis of Relay and Switching Circuits”。由于这篇论文，香农于1940年被授予美国Alfred Noble协会美国工程师奖。哈佛大学的哈沃德·加德纳称香农的硕士论文“可能是本世纪最重要、最著名的硕士学位论文”。成就：美国科学院院士、伦敦皇家科学院院士、利奥波第那科学院院士（德国）美国Alfred Noble协会美国工程师奖1940年Morris Liebmann 无线电工程师协会Memorial奖章1949年耶鲁大学（首席科学家）1954年Stuart Ballantine弗兰克林协会奖章1955年研究合作奖1956年密歇根大学荣誉博士1961年莱斯大学荣誉奖章1962年普林斯顿大学荣誉博士1962年Marvin J. Kelly Award 1962年爱丁堡大学荣誉博士1964年匹兹堡大学荣誉博士1964年IEEE荣誉奖章1966年美国国家科学奖章1966年，由前总统林登约翰逊颁发Golden Plate Award 1967年美国西北大学荣誉博士1970年Harvey Prize, 以色列理工学院1972年牛津大学荣誉博士1978年Joseph Jacquard奖1978年Harold Pender奖1978年东英吉利亚大学荣誉博士1982年卡内基梅隆大学荣誉博士1984年美国声频技术协会金奖1985年京都奖1985年塔夫斯大学荣誉博士1987年宾西法尼亚大学荣誉博士1991年Eard Rhein Prize 1991年生平香农出生于密歇根州的Petoskey。父亲克劳德（1862–1934）是新泽西州早期移民的后裔，曾自主创业经商，也担任过审核遗嘱的法官。母亲玛贝尔·沃夫·香农（1890–1945）是德国移民的女儿，职业是语言学教师，曾长期担任密歇根州Gaylord高中的校长。香农人生的前16年都是在Gaylord度过的，他在那儿接受了公立学校教育，并于1932年从Gaylord高中毕业。香农对机械和电气电子表现出了极大爱好。他最优秀的学科就是科学和数学，并在家中制作了模型飞机、无线电控制的模型船和一个可与半英里内的朋友家联系的无线电报系统。香农孩提时期仰慕的英雄是托马斯·爱迪生。二战期间，香农加入贝尔实验室，研究火力控制系统和密码学。在贝尔实验室，香农证明了一次性密钥（cryptographic one-time pad）是无法被破译的。香农同时证明了一个无法被破译的密码系统的密钥必须有以下特征：完全随机；不能重复使用；保密；和明文一样长。爱好和发明除了学术研究，香农爱好杂耍、骑独轮脚踏车和下棋。香农发明了很多用于科学展览的设备，比如火箭动力飞行光盘、一个电动弹簧高跷和一个喷射小号。香农还发明了一个能够复原魔方的设备。香农还被认为和爱德华索普一起发明了第一个佩戴式计算机，这个佩戴式计算机用于提高轮盘赌的获胜几率。更多科技、科研资讯可关注公众号掌桥科研，免费领取20篇中文文献下载权限哦~