斯坦福大学范博士

2019年高考历历在目，现在高考状元杨晨煜，才女武亦姝，围棋冠军柯洁的身影孩子啊脑中回旋，但是2020年高考的脚步已经悄悄走来。高考是我们每一名学子成功最方便的途径，而清华大学是每位学子最理想的目标。或许很多人都在纳闷，清华大学作为我国最厉害的大学，那么它培养出来那么多的学子是不是都应该建设祖国呢？答案是否定的，先不说每年清华大学的学生有多少出国留学的，就是一部分在外学成不愿意回国的学生就有不少。甚至从清华大学毕业的学生在多年后都不愿意提起清华大学，也不愿意承认自己是清华大学毕业的。今天，励志学生就和大家一起分享一位清华学子，她本来就是一名高考的学霸，而且还读了斯坦福大学的博士，但却令自己的母校蒙羞，令父亲免职。高杏欣，很多人并不是很熟悉，但是当提起天文学的时候，一些人或许就想起了这个名字。高杏欣家是哈尔滨，从小的生活条件比较优越，父亲是官员而母亲是一名高级知识分子，出生在这样的家庭，再加上父亲对她的教育非常的重视，所以高杏欣从小就学习非常好，学习成绩也一直名列前茅，在1997年的时候，她参加了黑龙江省的高考，毫无意外她的成绩非常优秀被清华大学录取，也有很多人羡慕她的天赋。在清华大学，她成绩依旧突出，本科毕业后，她又以非常好的成绩留在清华大学读电子工程系的硕士。因为她的能力突出，并且对科研非常热爱，所以她在读研期间曾经参与了北斗的研究。高杏欣从清华大学硕士毕业以后，就开始进入斯坦福大学攻读博士学位，并且在2008年的时候完成学业。按说这样学霸型人物，在清华大学读本科加硕士，又在斯坦福大学读博士，肯定会被国家所器重，再加上又有北斗研究的经历，肯定未来的前途也是非常光明的。但是，清华大学却从来不愿意再次提起高杏欣这个名字。原因还得从高杏欣参与北斗研究说起。高杏欣参与过北斗的研究，而且她自己也是学的相关专业，因此她对北斗二代信编码规则是十分熟悉的，在斯坦福大学读博期间，她自己破解了北斗一代地球中轨道卫星所使用的编码规则，并将破解成果送给了美国，获得了美国航空无线电委员会的表彰。我们知道国家的教育资源是有倾斜的，从小国家花费大量资源培养的一名学生，又在清华读本科、读硕士，最后这样的人才不仅流到了国外，而且还做了一些对国家不利的事情，实在是让人失望。后来，高杏欣被限制入国，并且高杏欣的父亲也被免职了，本来是一个非常好的局面，却让她自己毁掉了。大家觉得对高杏欣的处罚是不是过低了呢？

博士，在最近这一两个月俨然成为了众人热议的高频词，从学历造假的“假博士”翟天临，到前不久在失联了15天后，被发现跳河自杀的中科大博士刘春杨。关于“博士”的讨论已然成了教育领域热搜的关键词。而近日，另一则关于博士的消息更是让人沉痛不已：据相关外媒2月11日报道，来自斯坦福大学26岁中国博士自杀身亡。消息一出，舆论一片哗然！据资料显示，这名中国博士生是斯坦福材料科学与工程系在读，主攻可变电阻式记忆体和计算机存储器的研究。2014年，他在中国获得了物理学学士学位，本科毕业于中科大。此新闻很容易让人联想到同样都是顶尖高校的两位博士，为何最终都不约而同地选择了这种极端的方式结束自己的生命？并且不知道是巧合还是其他原因，这两位博士都曾在中科大就读！博士生是我国高等教育金字塔中顶尖的人物，一直是被众人羡慕的对象。然而，随着越来越多类似信息的曝光，博士头衔背后的辛酸慢慢被越来越多的人知晓。有人把读博之路比作是一段荒野之旅，这条路的前进方向，很多时候只能靠自己去摸索。其背负的压力很多时候超乎我们的想象，他们面临的一方面可能是几年的研究成果打了水漂，延迟毕业，多年的求学经历付之东流。相关数据显示，近年来，博士生的未正常毕业率相对稳定。2002年至2009年，中国博士未正常毕业率在60%左右徘徊，而2010-2017年之间则基本上都在60%以上。尤其是博士扩招后，在版面有限的指定刊物发表学术论文的竞争压力更大、难度更大。另一方面，一般的博士目前基本上都是30-40岁这样一个群体，而他们的同龄人要么已经成为了社会和企业的中坚，要不已经有车有房，成家立业了。而他们从世俗的眼光来看，可能除了一顶博士头衔之外，其他一无所有。这让人联想到，之前清华的一位研究生在网上吐槽：最后悔考上了“这个垃圾研究生”！不考研的都几套房了！虽然他的言论本身有待商榷，但是其说出的也许是众多顶尖院校硕士、博士的心声。而留学博士除了面对以上这些问题外，还有文化差异，在国外人生地不熟，融入圈子更难，与父母沟通也不知从何说起，出国在外各种心酸和压力也不是总能被排解掉，得不到父母和他人的认同。据调查，留学生博士已成抑郁症高危人群！ 理想与现实的巨大落差，加之外界对这个群体的众多误读，时间长了导致他们内心的压力无处释放。日积月累，重压之下，难免有人会想着用极端方式结束这一切。因此，改革博士生的学历制度设计以及加强心理健康均刻不容缓！就如同此次事件发生之后，斯坦福大学的工程学院院长Jennifer Widom就此事件，给学生教师发送了一封电子邮件。信末，他说“任何一个优秀的学生选择这样的方式离去，我们都感到遗憾和惋惜，请大家照顾好身边的人。！“

2019年高考杨晨熠以数学、英语双满分、理综290分和语文140分的优异成绩成为广西省的高考状元，也打破了广西地区高考的最高分，直接被清华大学录取。其实，每年高考都有数不清人才进入清华大学学习，清华大学办学历史悠久，其教师资团队也位列前茅，在中外都享有盛誉，为全是世界输送着各种顶尖人才。所以，很多学生都以考上清华大学为荣。但不是每一个考入清华大学的学生都能成为国之栋梁，甚至有些学生连清华大学都不愿意提起。高杏欣，对于这个名字可能很多人都比较陌生，但是喜欢天文学的人相信都很熟悉。高杏欣出生于哈尔滨，从小家庭条件优越，父亲是中国官员，母亲是高级知识分子，她从小就非常聪慧，加上父母对教育比较重视，高杏欣表现出超强的学习天赋。1997年参加黑龙江省的普通高校招生考试，并以优异的成绩被清华大学精仪系录取，在大学期间，各个学科的成绩也保持优异，算得上是真正的学霸。本科毕业后，高杏欣又以优异的成绩继续留在清华大学的电子工程系股东硕士，因为其表现出的优异研究能力，曾在读研期间参与北斗研究。当她研究生毕业后，直接进入斯坦福大学电子工程系攻读博士学位，并在2008年完成博士学业，真正成为饱学之士。按理说，这样的人才应该是国家所器重，而是也是母校的骄傲。但是为什么清华大学不愿意再提起“高杏欣”这个名字，甚至国人还痛骂她为“卖国贼”呢？事情还是要从她参与研究北斗的时候说起，或许是因为参与过北斗项目，又是攻读的相关专业，所以对于北斗二代信道编码规则也比较熟悉。在斯坦福大学留学期间，高杏欣做了一件让国人十分不理解的事情，她破解中国北斗一代地球中轨道卫星所使用的编码规则，并将破解成果送给美国，获得美国航空无线电委员会的表彰。虽然这次事件仅仅涉及国内民事，但是细思极恐。一位拥有如此高学历，还是国内花众多精力培养出的高等技术人才，不仅是流到国外，而是开始做一些于国不利的事情，实在有些让人失望。值得庆幸的是，高杏欣的做法其实并没有给我国带来较大的危害。其所为的破译也不过是是第二代，并不会危及国防。知晓此事后，国内民众悬着的心也终于放了下来。不过，竟然高杏欣做了这样的事情，既然她不愿选择成为国之栋梁，作为泱泱大国又岂会缺少这一个人才？因此，高杏欣被限制入国，高杏欣的父亲也随之被免职了。而据了解，高杏欣计划回国发展，那么不知国人是否会欢迎她呢？对此，你们是怎么认为的呢？

美国新闻截图26岁斯坦福大学博士自杀就在中科大失联博士刘春杨被发现在水库自杀不久，又有一名中科大的学子选择自杀，而这位优秀的中科大学霸在美国斯坦福大学攻读博士学位，根据美国当地媒体资料显示，这名中国博士生是斯坦福材料科学与工程系在读，主攻可变电阻式记忆体和计算机存储器的研究。2014年毕业于中国科学技术大学，然而在2019年用轻生的方式结束了自己的生命，年仅26岁，发生这样的事件也让美国斯坦福大学师生表示震惊，美国斯坦福大学院长官网发出哀悼信末尾结语：“The death of a student is always hard to understand and accept. Please take care of yourselves and those around you.”中文翻译“一名如此年轻、如此优秀学子的离世总是让人难以接受的，请大家一定照顾好自己和身边的人。”用小编称评论过的一句话：“珍惜你身边的每一位博士生，因为他们真得很不容易。“当然也存在翟天临式的注水博士，而大部分从事科研的博士压力都很大！宽进严出的博士培养制中国的两种不同研究生机制随着中国高等教育大跃进式的发展，中国的本科生和硕士研究生数量增长速度非常宽，但是还是属于严进宽出，然而在博士研究生阶段，中国的博士却突然加大了难度，属于宽进严出，通过教育部历年的数据对比显示，中国从2002年~2017年未正常毕业的博士比率从58.4%上升到66%，而且这里还有大量翟天临式的注水博士，那些真正泡实验室的科研博士生很多都难毕业，这也是为何翟天临高调晒出北大博士后职位后，引发众人审查的重要原因，尤其是那些失去休息时间做科研还没有博士毕业的研究生，翟天临的博士学拿得太轻松，靠着40%的论文抄袭毕业，让无数无法正常毕业的博士生觉得很不公平！中科大的焦虑感中科大学霸们的焦虑感小编在一篇文章中提过中科大中存在的学霸金字塔，第一层属于天才学霸，这类人具有天生强大的学习能力，由于成绩优秀提前被海外名校预定，第二层属于努力的学霸，这类人通过努力，得到提前中科大保研的名额，而第三层就属于中科大的底层学霸，从小天之骄子的他们，进入中科大后不论如何努力都是吊车尾，残酷的现实深深让他们产生一种焦虑感，让他们懂得天才和普通人的区别，同样是100分，天才考100分，只是因为满分100，而普通人则是非常的努力才获得100分的成绩，当试题难度加大，天才还是100分，努力的人却发现自己不论多努力也只能考98分，不要小看2分的差距，那就是无法填埋的鸿沟！其实中科大学霸金字塔顶端的学霸也有焦虑感，中科大失联的刘春杨博士和斯坦福大学自杀的26岁中科大校友，他们其实属于学霸金字塔顶端的人群，但是从事科研后，一名优秀的学霸不一定是好的科研人员，科研不仅需要努力，其实更需要天赋和运气，这些在本科阶段属于金字塔顶端的人群，走进研究生阶段，他们迷失在科研的海洋中，成为科研金字塔底层人群，没有科研成果，很难毕业，一直以来的优越感和自信心一下子荡然无存，巨大的心理反差，时间久了，总会出现问题！其实海外名校就连本科都很难毕业，德国高等教育每年仅有50%的人按时毕业，2018年美国纽约大学出现多名中国留学生自杀的新闻！望子成龙没有错，但是请关爱自己孩子的心理健康，有时候他们走的所谓成功之路并不符合自己的天赋

“有一年在成都双流机场准备回美上班，换登机牌的时候遇到一个面露难色的老大爷，穿着很朴素，年纪看起来比我爸妈年纪稍大，我看他一个人很着急，就问了下有没有什么需要帮忙的，他告诉我，他儿子在斯坦福大学读博士，出了车祸在医院成了植物人，他这次去美国是去看他儿子的，但是换登机牌的工作人员需要他在美国的地址，他的机票都是他儿子同学资助的，他一时着急也不知道在美国的具体地址。我赶忙从手机上搜了一下斯坦福大学国际学生办公室的地址给了他，另外知道了有人会在落地地点接机，又留给他一个我的电话才放心。每个在美长期学习工作的人都是抱着一份美好愿景来的，但是每次出现这种枪杀、暴行抗议以及上周国会山的暴乱，还是感觉个人在政治事件里太渺小了，真的应该保护好自己。今天一早家人看到新闻告诉我的时候，悲愤之余，我第一反应是问：凶手怎么样了？家人回答说：被击毙了。我说：很好，起码不能打心理疾病的借口了。”1月9日，中国在美留学生范轶然在所住公寓停车场内被一名非裔男子持枪射杀，当被其女友发现时已无生命特征。范轶然本科就读于北大光华管理学院，专业是金融，本科期间他还修了哲学专业，后留学英国，在剑桥大学取得了金融工程硕士学位，接着又去了美国芝加哥大学攻读金融经济方向博士学位，如果顺利的话，他可以在2021年拿到学位证，然而，这一切被一颗突如其来的子弹打得稀碎……范轶然与该非裔男子并不认识，也没发生任何矛盾，纯粹就是好端端地被剥夺了生命，该男子在射杀范轶然后，又陆续去了药店、超市等场所射击了七名无辜百姓（四死三伤），有老人也有小孩，最后在与警察对峙中被击毙。事发前一周，该男子曾在网上发布了数十个视频，称自己正在寻找什么人，其中一个视频，他就指向车内的一名一男子说，可能是这个家伙。事后这名非裔男子的姐姐在网上发帖称，弟弟一直饱受精神困扰。向嘉炜：【本人北大读的本科，芝加哥大学硕士在读。因为疫情的原因我目前在国内，昨天知道这个消息时，还不知道受害者的身份，只知道是在我所租住的公寓停车场有人被枪杀，直到今天学校发来了邮件以及看到了校友群里的消息，惊愕于天妒英才。在我进入校友群里的短短一年多里，范师兄未曾发过言，直至今日，才了解了他的学术进取和他的艺术才华。这是一次恶劣的无差别滥杀无辜，46岁的楼管阿姨、20岁的男性、15岁的小女孩、77岁的老妇人……还有许多精神受到创伤的路人。然而就是在这样的悲剧不断上演的同时，芝加哥正在被政客一步步变为现实的哥谭。凶手在社交媒体上提前发布了可能要滥杀无辜的言论，还能够长时间作案，潜心学术的留学生都要上交社交账号，再看着自己正在践踏自己的“世界第一大国”，一时语塞。我去芝加哥留学，一方面是因为我喜欢的球星——德维恩·韦德，另一方面是我本科期间读过的一本书——《城中城》，作者是芝大社会学系的一名博士，为了调查在芝加哥帮派潜伏数年，历经艰难困苦完成了对帮派组织的草根调研，让我非常敬佩。去年在美的时候，我告诉父母，校园里每个街角都站着校警保障我们的安全，今天有很多挂念着我的人给我发来范师兄被害的噩耗，我只能在痛惜斯人已逝的同时，苦笑地安慰自己，我好歹回国了，现在学校回不去，还有六个月就要毕业……另一方面，芝加哥南区正在成为“医疗荒地”，看病非常不方便，远离疫苗接种点的贫穷黑人甚至很难去接种疫苗，更何况政府一反常态的“黑人先接种”颇有些讽刺意味。崩塌，可能就是一瞬间的。】网友“温柔的不锈钢”：【愿死者安息。这位中国留学生真的很让人心疼，非常优秀的背景，北大修了两个专业、英国剑桥修金融、即将从芝加哥大学博士毕业。凶手是一位32岁的非裔黑人。他事先在Facebook上传了视频说要毁掉社区，但是没人举报。结果就出事了，要是在中国很快会有网警介入。他从南城一直到北边，随机开枪。范同学当时坐在自己车内，被凶手近距离击中头部。芝加哥在美国其实一直口碑不好，主要是因为治安问题，尤其芝加哥南城是治安很差的黑人区。芝加哥大学地处南城黑人区边界位置，不过那儿已经算是南城最安全的街区之一了，犯罪率算是比较低了。唉，这么优秀的同胞就这样走了，让人真心感到难受。】范同学一路走来都是肉眼可见的优秀，从本科到硕士再到博士，不知付出了多少努力，他的父母以及家庭应该是多么的自豪。眼见成材之际，突遇横祸，父母估计心如刀割……但这样的事情，在美国每年因枪击死亡的数万人里，不过就是其中一起，又显得稀松平常，也许这就是人生，不知意外和朝阳哪个先来。范同学什么都没做错，只因为在一个错误的时间、一个错误的地点和一个错误的人擦肩而过，被一颗子弹结束了年轻的生命。命运的随机性和多舛，在那一刻体现得淋漓尽致。

Pi Network 背景一、开发者团队公司公司SocialChain CEO: Chengdiao Fan注册时间:2018年9月11日注册地址:Delaware美国特拉华州办公地点:加州硅谷 555 Bryant St#408,Palo Alto, CA 94301, USA二、 核心创始人Dr. Nicolas Kokkalis（右 @nicolas 斯坦福博士———技术负责人Dr. Chengdiao Fan（中)@cfan 中央民族大学本科+斯坦福博士——产品负责人Vincent McPhilli(左)@vince耶鲁大学本科+斯坦福MBA——社区负责人Nicolas Kokkalis尼古拉斯·科卡利斯是斯坦福大学计算机科学的博士后学者,他在那里从事社会计算研究,目前正在教授有关设计区块链去中心化应用程序的课程。他在博士期间创建了一个框架,简化了在容错分布式系统上的编程。这项工作也适用于当今的区块链。|Kokkalis博士在设计病毒式社交应用程序方面具有专业知识,该应用程序吸引了超过2000万用户,并具有出色的参与度和保留率,并于2009年获得了Facebook基金奖。他是StartX(非营利企业家社区和他是斯坦福联盟会员的加速器,他在2010年至2018年期间担| 任首席技术官。他拥有博士学位。拥有斯坦福大学计算机工程学士学位和管理科学与工程硕士学位。范成雕Chengdiao Fan拥有斯坦福大学人类学博士学位,人类行为和人类群体研究。研究集中在人机交互和社交计算上,尤其是我们如何使用技术对人类行为和社会产生积极影响。以前的研究项目和已发表的论文包括设计软件系统,以提高生产力,扩大社会沟通范围并为人们开发未开发的社会资本。还创建了一家初创公司,该公司构建了一个电子邮件生产力平台,该平台可以通过众包扩展对话。"区块链技术让我兴奋的是去中心化与经济手段的融合。这种技术奇迹可以动员全世界的人们参与其中并为他们的贡献而获得回报。正如互联网通过信息交流使世界变得更加紧密相连一样,区块链和加密货币也使价值交换能够实现更紧密,更频繁的协作。我认为,它们的潜力远远超出了金融|领域,将创造出在个人,社会和全球层面上无法创造或获得的价值。我对Pi的希望是建立一个包容性经济,让全球公民释放并捕捉自己的价值,从而为社会和世界创造价值。我说英语和中文。我是一名科学家,一名工程师,一名妻子和一名3岁的母亲。Vincent McPhillip文森特·麦克飞利浦他毕业于耶鲁大学,获得政治学学士学位。后来,他拒绝了在华尔街的投资银行工作,创办了WellWyn。他在职业生涯的早期就创建了自己的服装在线商店。后来在一家名为Bridgespan的非 营利性/非政府组织咨询公司工作。该公司在美国各地的社区中投入了数亿美元用于教育和劳动力发展。他创立了斯坦福大学区块链集体,其中包括来自斯坦福大学和硅谷的许多有影响力的领导人,商|人,工程师和律师。他精通英语,西班牙语和葡萄牙语。他是特立尼达和多巴哥的本地人。他喜欢跳舞,并在业余时间练习冥想,瑜伽和太极拳。

成功考进清华大学，对于一个学生来说可能都是人生的高光时刻。能够凭借自己的真才实学进入清华大学，从此就有了天之骄子的光环。多少人从小立志考进清华大学，但是成功考进去的学霸凤毛麟角。在他人的眼光中，成为清华大学的一名学生，应当是一件光耀门楣的好事，但是对于这位学霸来说，成为清华大学的学生却多了一层愧疚，因为毕业之后发生的事情让自己羞愧难当。她叫高杏欣，外国人称她为Grace，在2001年从清华大学精密仪器系毕业，由于本科时期成绩优异，有继续读研深造的打算，于是接着在清华大学电子工程系读硕士研究生。三年之后，成功进入斯坦福大学，继续攻读博士学位。高杏欣的研究一直专注于新型全球导航系统所使用的信号和接收机，客观来讲，她的创新研究成果在全球卫星导航领域有值得肯定的贡献。她是第一个成功破解北斗一代地球中轨道卫星和伽利略试验卫星所使用的编码规则的人，也因为这一项成就给我国的北斗导航系统带来严重损失，也让她的母校清华大学丢脸了。当时的高杏欣正在美国斯坦福大学读博士，欧洲发射了伽利略导航系统的首颗实验卫星，该卫星的信号在第二年一月份被成功激活。在信号激活的几个小时之内，高杏欣和团队的成员就捕捉到了三个波段上的新民用信号。在接下来的一段实践，高杏欣开始独立研究，最终成功破解了伽利略导航系统生成编码的底层算法，并实现了解码。随后不久，高杏欣把自己的研究成果公开发表，从此伽利略导航系统信号的编码规则广为人知。于是，全世界的接收机厂商都使用她破译的编码规则来制造原型接收机，从而跟踪获取伽利略导航系统卫星的信号。在一年之后，中国成功发生了北斗导航系统第一颗地球中轨道卫星。高杏欣和团队在之前破译伽利略导航系统信号编码的基础上，同样获得了这颗卫星信号的三个频率，采用类似方法，她成功破解了北斗系统第一颗卫星的信号编码，并发表了相关论文。留学于斯坦福大学时期，以及后来的研究阶段，高杏欣成功发表了卫星导航系统研究的16篇高质量论文，并且获得了国际导航技术协会的资助与支持。在损害中国卫星高航系统的利益之后，高杏欣却获得了美国航空无线电委员会的嘉奖。一时之间，高杏欣在国内声名狼藉，招来一片骂声，甚至有人声称高杏欣在清华大学求学期间，参与过北斗卫星导航系统的研究工作。而高杏欣的父亲，原来的黑龙江省公安厅常务副厅长因为女儿的略迹而遭到免职。因为自己利欲熏心，一心追求科研成果，不惜损害公共利益，招致家人因此而被免职，确实令人难以理解。对于高杏在清华大学求学期间，是否参与过北斗导航系统的研究，现在依然存在不同的说法。当时作为清华大学的一个本科生和硕士研究生，高杏欣参与如此重要的项目研究，可能性不大。更何况她在斯坦福大学求学期间破译编码的论文成果，已经公开发表，而不是被美国进行保密处理，说明没有上升到足以掌控机密的程度。当然，在高杏欣破译北斗导航系统信号编码规则之后，我国的北斗卫星导航系统也进行了严格防范。同时，高杏欣公开的论文成果，也令北斗系统在一些波段上覆盖了GPS和伽利略系统，避免了波段上的冲突。无论怎么说，高杏欣都损害了公共利益，也令自己的母校清华大学脸红。

选自GitHub机器之心编译自然语言处理（NLP）是人工智能领域下的一个庞大分支，其中面临很多机遇与挑战。斯坦福大学李纪为博士在他的毕业论文《Teaching Machines to Converse》中对 NLP 领域近期的发展进行了解读。这篇博士论文从多个方面尝试解决如今对话系统面临的诸多问题：(1) 如何产生具体、贴切、有意思的答复；(2) 如何赋予机器人格情感，从而产生具有一致性的回复；(3) 最早提出使用对抗性学习方法来生成与人类水平相同的回复语句——让生成器与鉴别器不断进行类似「图灵测试」的训练；(4) 最后提出了赋予机器人通过与人的交流自我更新的自学习模型。李纪为是第一位在斯坦福大学仅用三年毕业的计算机科学博士。在由剑桥大学研究员 Marek Rei 发布的一项统计中，李纪为博士在最近三年在世界所有人工智能研究者中，以第一作者发表的顶级会议文章数量高居第一位。李纪为博士期间实习于 facebook 人工智能实验室以及微软研究院。截止本报道，李纪为博士 google scholar 论文引用量超过 1,200. H-index 高达 20.（参见： 《如何生物转 CS，并在斯坦福大学三年拿到 PhD：独家专访李纪为博士》 ）。论文链接：https://github.com/jiweil/Jiwei-Thesis李纪为博士个人主页：https://web.stanford.e/~jiweil/摘要机器与人类沟通的能力长期以来一直与人工智能发展水平的标杆。这个想法可以追溯到上世纪 50 年代初，阿兰·图灵提出的图灵测试来检测人工智能的水平。图灵提到，如果一个机器可以让与他对话的人误以为它（机器）是人而不是机器，那就说明人工智能已经发展到了非常高的高度。在过去几十年里，对话学习领域取得了长足的进展。不过常见的对话系统仍然面临着诸如鲁棒性、可扩展性和域适应性等挑战：很多系统是从很小的手写标记/范本数据集中学习规则，这样既昂贵又难以扩展到其他领域中。另一方面，对话系统正在变得越来越复杂：它们通常包括很多互相分开的复杂模块，这意味着它们无法适应我们收集到的越来越多的数据。最近，随着神经网络模型的出现，早期系统无法处理的很多问题变得可以解决了：端到端神经网络提供了可扩展和语言独立的框架，在语义理解上为自动回复的产生提供了可能性。与此同时，神经网络模型也带来了很多新的挑战，比如它们倾向于无趣泛泛的回答，如：「我不知道你在说什么。」；再有，它们经常缺乏像人类一样的人格特性，导致产生的回复经常是不一致的；他们大多数情况仅仅是被动地回答问题，而没有能力去主导对话。本论文试图解决这些挑战。这篇论文主要涉及两个方面，第一个方面是四在开放域对话生成系统中的几个问题：：（a）使用互信息避免无趣泛化的回答；（b）赋予机器人格，解决用户一致性问题；（c）用强化学习手段，增加长期对话成功率；（d）使用对抗学习方法推动机器生成与人类水平相同的回复。第二个方面，我们尝试开发交互问答系统：（a）让机器具有提出问题的能力。通过问问题，扩大自己的知识库而完善自己（b）提出交互式的模型，在线与人类进行交流，并通过与人类交流得到的反馈中，提高自己的水平。第一章 介绍利用语言进行对话一直是人类智慧的标签之一，也几乎是人类儿童学会的第一种技能——在生命中永远不会停止使用。沟通/对话的意义超过了个人：通过对话，人们可以互相传递大量信息——其中的内容不仅包括周围环境（提醒同伴小心森林里的老虎），也包括我们自己（发出指令，谈论个人需求等等）。这种能力是组织有效社会合作的必要条件。在人工智能领域，企图模仿人类语言交流能力的构想可以追溯到阿兰·图灵在 20 世纪 50 年代的构想（图灵测试）。能够通过图灵测试的计算机被认为具有接近人类智慧水平。自图灵测试被提出以来，一代代研究者提出了各种方法试图通过测试，但我们目前距离完成任务还有很长一段路要走。在本论文中，我们受限简要回顾一下过去几十年里人们提出的各种系统。具体来说，这其中包括三种对话系统：开放领域聊天系统、目标导向的框架系统以及问答交互（QA）对话系统。我们会讨论它们的成功应用、优缺点以及为什么它们仍然无法通过图灵测试。本论文将着重讨论如何改进聊天系统和交互式问答（QA）系统。图 1.1 使用 IBM 模型消息与回复之间的字对齐。图片来自 Michel Galley。第二章 背景2.1 序列到序列生成SEQ2SEQ 模型可以被视为一个用输入内容生成目标句的基础框架，适用于多种自然语言生成任务，例如利用给定的英文句子生成法语句子的机器翻译；通过生成响应功能在接收到源信息时生成响应；在问答任务中针对问题做出回答；或是对一段文档生成总结性短句等等。本段将介绍语言模型基础，循环神经网络和长短期记忆网络（LSTM），它们被视为 SEQ2SEQ 模型的基础。随后，我们将详细解读 SEQ2SEQ 模型的基础。最后，我们将讨论不同 SEQ2SEQ 模型的算法，如注意力 (attention) 机制。2.2 记忆网络记忆网络（Weston et al., 2015；Sukhbaatar et al., 2015）是一类神经网络模型，可以通过操作内存中的内容（存储、取回、过滤和重用）来进行自然语言推理。记忆网络中的存储器部分可以嵌入长期记忆（例如，关于真实世界的常识）和短期上下文（例如，最近的几段对话）。记忆网络已被成功地应用于很多自然语言任务中了，例如问答系统（Bordes et al., 2014；Weston et al., 2016），语言建模（Sukhbaatar et al., 2015；Hill et al., 2016）以及对话（Doge et al., 2016；Bordes & Weston, 2017）。2.3 策略梯度方法策略梯度法（Aleksandrov et al., 1968；Williams, 1992）是一类强化学习模型，通过使用梯度下降预测奖励的参数化策略来学习参数。与其他强化学习模型（如 Q 学习模型）比较而言，策略梯度方法不会受到如缺乏价值函数等方面的问题（因为它不需要明确估算价值函数），或由于高维空间连续状态或动作导致难以控制。第三章 用交互信息避免泛化回复当我们将 SEQ2SEQ 模型应用与生成回复的时候，一个严重的问题脱颖而出：神经对话模型总是会倾向于生成无意义的回复，例如「I don't know」、「I don't know what you are talking about」（Serban et al., 2015；Vinyals & Le, 2015）。从表 3.1 中我们可以看出，很多排名靠前的回复是泛化的。那些看起来更加有意义、更有针对性的回复可以在非最佳列表中找到，但是排名非常靠后。这种现象是因为通用性回复如 I don't know 在对话数据集中相对较高的频率。MLE（最大似然估计）目标函数对源到目标的单向依赖性进行了建模，由于无意义回复没有意义，有意义回复多种多样，系统总会倾向于生成这些无意义的回复。直观上，似乎不仅要考虑回复与信息的相关性，也需要考虑传递的信息是否具有意义：如果回答是「I don't know」，我们就难以猜测对话者开始询问的是什么。我们建议通过最大互信息（Maximum Mutual Information，MMI），作为测量输入和输出之间的相互依赖性的优化目标来捕获这种直觉，作为传统 MLE 目标函数中源到目标单向依赖性的反向。我们提出了使用 MMI 作为目标函数神经生成模型的实际训练和解码策略。我们证明了使用 MMI 可以显著减少泛化回复产生的几率，在 BLEU 和人类评测的结果中得出了显著提升性能的结果。表 3.1 从 OpenSubtitles 数据集 2000 万对话配对中训练的 4 层 SEQ2SEQ 神经模型生成的回复。解码实现的 Beam size 被设为 200。最大概率的回复选项为 N-best 列表中平均可能性对数似然的最高概率。更低的概率回复是手动选择的。表 3.4：在 Open-Subtitles 数据集上 SEQ2SEQ 基线和 MMI-antiLM 模型的对比。第四章 解决说话者一致性问题目前聊天系统的一个严重的问题是缺少说话者一致性。这是由于训练集中包含了不同的人的谈话，而且一个解码模型总是选择最大似然的应答，从而使输出变得非常的混乱且不一致。在这一章中，我们讨论了应对不一致问题的方法以及如何为数据驱动的系统赋予合乎逻辑的「人格角色」（persona）以模仿类人的行为，无论是个人助理，个性化的「阿凡达」智能体，亦或是游戏角色。为了这个目的，我们将把 persona 定义为一个人工智能体在对话交流中所扮演或表现出来的一种特征。persona 可以看成身份要素（背景事实或用户外形）、语言行为和交互方式的混合物。persona 是有适应性的，由于智能体在面对不同的人类谈话者的时候需要按交互的需求表现不同的侧面。表 4.1：由 4 层 SEQ2SEQ 模型经过 2500 万个推特对话片段训练而生成的不一致应答。m 表示输入的信息，r 表示生成的应答。我们在 SEQ2SEQ 框架中探索了两个 persona 模型，一个是单一说话者的「说话者模型」（SPEAKER MODEL），另一个是两人对话的「说话者-受话者模型」（SPEAKER-ADDRESSEE MODEL）。SPEAKER MODEL 将说话者级别（speaker-level）的向量表示整合到 SEQ2SEQ 模型的目标部分中。类似地，SPEAKER-ADDRESSEE MODEL 通过谈话者各自的嵌入构建一个交流的表示编码两个谈话者的交流模式，再合并到 SEQ2SEQ 模型中。这些 persona 向量利用人和人对话数据训练，并在测试时用于生成个性化的应答。我们在由电视剧脚本组成的推特对话数据集的开域语料库上的实验结果表明使用 persona 向量可以提升相关性能，如 BLEU 分数提高最多 20%，困惑度 (perplexity)12%，而相应的，由人类标注员评判的一致性也有同样的提高。第五章 让对话更持久在前两节中，我们讨论了聊天系统如何避免一般性的应答并对不同的问题生成满足一致性的应答。目前为止，我们谈论的只是单轮（single-turn）应答的性质，但这只是对人类对话的过于简化的近似。人类对话通常包含了数十到数百轮的交互。这些多轮对话通常是有结构的，比如以开场白启动对话、设置语境、抓住对话重点等等，而且人类很擅长掌控一场对话中的信息流动，从而成功的进行长期的对话（包括总体一致性、意义性等等）。目前的模型通过在给定的对话语境中使用最大似然度估计（maximum-likelihood estimation，MLE）目标函数预测下一个对话轮。由于无法成功的应对长期对话而经常陷入很多种困境：首先，SEQ2SEQ 模型倾向生成非常一般化的应答，正如第三章中所讨论的：诸如「我不知道」这样的应答；其次，如表 5.1 左侧的两个对话样本所示，系统陷入了重复应答的无限循环中。这是由于基于 MLE 的 SEQ2SEQ 模型无法测量重复次数。在左下方的例子中，经过三轮后对话进入了死循环，两个智能体都一直在生成枯燥、一般性的话语如「我不知道你在说什么」、「你不知道你在说什么」。表 5.1：左列：使用 SEQ2SEQ 模型和 OpenSubtitles 数据集训练的两个智能体之间的对话模拟。第一轮（指标 1）是由作者输入的，然后两个智能体轮流应答，一个智能体的输入将作为另一个的在前生成轮。右列：使用我们提出的强化学习模型的对话模拟。新的模型拥有更具前瞻性的言辞（诸如「你为什么要问这个问题」、「我和你一起去」），在掉入对话黑洞之前能进行更持久的对话。为了应对这些挑战，我们需要一个拥有以下能力的对话框架：（1）更好的奖励函数；（2）对生成的某一句话的长期影响进行建模。为了达到这些目的，我们利用了强化学习，其在 MDP 和 POMDP 对话系统中早已被广泛应用。我们提出了神经网络强化学习生成方法，可以优化长期的奖励。我们的模型使用了编码器-解码器架构作为主干，让两个机器人模拟对话。这样的话，通过优化奖励函数，探索可能行为的空间。我们认为针对对话好的奖励函数应该有如下特点：好的谈话是具备前瞻性或交互性（一轮带动下一轮对话）、提供有用以及合乎逻辑的信息。我们可以通过这些方面定义奖励函数，从而通过奖励函数来优化编码器-解码器模型。在训练过程中，我们使用随机梯度下降的更新策略，借用了 Yoshua Bengio 在 09 年提出的课程学习（Curriculum learning）的策略，逐渐增加对话模拟的轮数。这样训练的复杂度逐渐增加。实验结果（表 5.1 中右侧的样本结果）表明我们的方法产生了更持久的对话，并且相比使用 MLE 目标训练的标准 SEQ2SEQ 模型，能生成更具交互性的应答。两个对话机器人之间的对话模拟模拟两个机器人轮流对话的过程是这样的，在一开始，从训练集中随意找到一句话作为输入给第一个机器人，这个代理通过编码器网络把这个输入编码成一个隐层向量，然后解码器来生成回答。之后，第二个机器人把之前那个机器人输出的响应和对话历史结合起来，重新通过编码器网络编码得到一个隐层向量（相当于更新了对话的状态），然后通过解码器网络生成一个新的回复，并传给第一个机器人。这个过程不断被重复下去：图 5.1 描述了两个对话机器人之间的对话模拟。更具体地，我们把之前利用互信息训练过的模型作为初始模型，然后利用策略梯度方法来更新参数，以达到一个比较大的期待奖励值的。对于一系列的响应，其奖励函数为：之后用强化学习对梯度进行更新。在最终模型的训练当中，课程学习的策略又一次被使用了。模型起初只局限于两轮，后来慢慢增加到多轮。因为每一轮的候选集合数目固定，所以每增加一轮，整个路径空间就成倍变大，呈现一个指数级别的增长状态，所以最终模型最多限定为五轮对话。第六章 通过对抗学习生成对话在上一章（第五章）中，我们人工定义了一些理想对话的特性，即回复的舒适性、信息性和条理性，然后用这些作为强化学习回复的奖励。然而，众所周知，人为定义的奖励函数无法覆盖所有重要的方面，这个会导致最后得到的结果是次优的。解决这个涉及到两个重要的问题：什么是一个好的对话应该有的特征，以及如何定量地计算这些特征？一个好的的对话模型应该能生成和人类对话没有区别的话语，所以我们可以找一个类似图灵测试的训练目标。我们借用了计算机视觉中的对抗学习的想法：我们同时训练两个模型，一个是生成器（以神经 SEQ2SEQ 模型的形式），其定义了生成一个对话序列的概率，另一个是判别器，生成模型产生的对话进行标注，来判断是人类生成还是机器生成。这个判别器和图灵测试中的评估器非常类似。我们将这个任务作为一个强化学习问题处理，其中机器生成的话语的品质由其是否能够欺骗判别器误以为是人类生成的来测量。判别器的输出作为对生成器的奖励，促进其生成更加拟人化的话语。图灵测试的想法（利用一个判别器从人类生成的文本中辨别出机器生成的）不仅可以用于训练，还可以用于测试，因而可将其命名为对抗评估（Adversarial evaluation）。对抗评估由 Bowman 等人于 2016 年首次提出用于评估语句生成的品质，并在 Kannan 和 Vinyals（2016 年）的「对话生成的语境」的工作中被初步研究。实验结果表明我们的方法，相比使用 MLE 目标函数训练的标准的 SEQ2SEQ 模型，能生成更加交互性、趣味性和非重复的应答。表 6.5：不同模型输出的应答样本第七章 给机器人提问的能力在这一章中我们讨论了如何训练机器学会提问。考虑一下以下的场景：当一个学生被老师提问的时候，由于对自己的答案不够自信，学生可能会要求一些提示。一个好的对话智能体应该要具备这样的和对话对象交互的能力。然而，最近的研究几乎都集中于用训练集中的固定回答学习，而不是通过交互。在这种情况下，当遇到令人迷惑的的情况比如一个未知的表面句子形式（词组或结构）、一个语义复杂的句子或一个未知的词，智能体要么进行猜测（通常很糟糕），要么将用户重导向到其它的资源（例如，搜索引擎，正如我们在 Siri 上遇到的）。而人类相反，可以通过提问应对不同的情况。更重要的是，通过提问来获取更多的知识。第八章 利用人机回圈（Human-in-the-Loop）的对话学习在这一章中，我们将探索的方向是让机器人跟人进行对话，得到反馈，然后机器人可以通过人的反馈来增强自己。该任务在的强化学习框架下，让教师跟机器对话，从而让机器自学习。对话将在问答任务的语境中进行，而机器必须在给定一个短故事或一系列事实的前提下，回答教师提出的一系列问题。我们考虑了两种类型的反馈：传统强化学习中的明确的数值奖励，以及在人类对话中更为自然的文本反馈。我们考虑了两种在线训练方案：（i）使用易于分析和重复实验的对话模拟器；（ii）对话对象是真人，使用 Amazon Mechanical Turk 和机器对话。我们探索了在线学习中的关键问题，比如机器如何使用最少的教师反馈进行最高效的训练，机器如何处理不同类型的反馈信号，如何通过平衡数据和探索避免隐藏的风险（比如在线学习中不同类型的反馈的数量经常差别非常大）。我们的发现表明可以建立这样一个系统，使模型从固定的数据开始训练，与人交互，随后更新自己的模型，新的模型再与人交互，继续得到反馈，然后再一次更新模型。这个过程反复持续下去。图 8.1：我们的模拟器实现的 10 个任务，其中评估了不同类型的应答和互反的反馈。每一个案例中给定 WikiMovies 中的例子，其中左侧学生（机器）全部回答正确，而右侧学生全部回答错误。学生的应答用红色文本表示，学生用 S 表示，教师的反馈用蓝色文本表示，而教师用 T 表示。为了模仿学习过程，教师需要提供学生（以 S 表示）在任务 1 和 8 中做出的应答。（+）表示一次正面奖励。第九章 结论和未来工作我们以讨论聊天系统目前面临的挑战的形式结束这篇论文，并为未来研究提供一些有益的启发。对于本论文中的较大语境 (context)，我们使用带有 attention 机制的分级 LSTM 模型捕捉语境，其中字词级 LSTM 用于获取每一个语境语句的表征，并且另一级的 LSTM 把语句级表征纳入一个语境向量从而表征整个对话历史。(1) 但是该语境向量能捕捉到多少语境信息、以及该分级注意力模型能分离出多少有效信息并不好说。原因有两个：当前神经网络模型能力的欠缺，其中单一的语境信息没有足够能力编码所有语境信息。或者 (2) 模型无法弄明白那句之前说过话相比其他更重要。解决这些问题对于实际应用极其重要，比如用于客服聊天机器人开发。考虑一下包裹邮寄跟踪的问题，其中聊天机器人需要在整个对话中记住一些重要信息，比如一个跟踪号码。信息提取方法（或者从对话历史中提取重要实体的时隙填充策略）与基于表征的神经模型的结合将有潜力解决这一问题。直观讲，对话历史中只有非常少的关键词在聊天机器人要讲什么上有非常大的指导意义。基于关键词的信息提取模型首先提取这些关键词，接着将其整合进语境神经模型之中，从而为较大历史语境中的信息利用提供更多灵活性。逻辑学与语用学考虑以下两个正在进行的对话语境：A：你要去参加聚会吗？B：我明天有考试。从这一语境中，我们知道说话者 B 由于要准备即将到来的考试而无法参加聚会，由此后面的对话才顺理成章。这需要一系列的推理步骤，即，明天有一个考试 ->不得不准备这一考试->时间被占用->无法参加这次聚会。对人来讲这直截了当，但是对当前的机器学习来讲却异常困难，尤其是在开放域中：手动标注所有的推理链是不切实际的。因此我们需要一个逻辑演绎模型，从大量训练数据中自动学习这些隐含的推理链，并整合进对话生成之中。背景与先验知识人类对话通常发生在特定语境或背景之中。它可以小到对话发生的具体位置（比如一个咖啡厅或者一个剧院）或者大到发生在战争或和平时期。背景对会话的展开有巨大影响。语境同样也包括用户信息、个人特征，甚或说话人对对方的整体感觉。例如对方是否负责任或诚实。处理背景问题的挑战来自两个方面：(1) 在训练数据上，收集对话发生于其中的背景的综合信息比较困难。正如在先前章节所讨论的，最大规模的可用数据集来自社交媒体推特、在线论坛 reddit 或者电影剧本等，以上通常缺乏关于背景的详细描述，比如搜集推特中参与讨论的说话者的个人角色信息就是不可能的。你也许会想到第 4 章节的个人角色模型，它基于先前生成的对话构建说话者信息／人物简介。但是只使用数百或数千的对话表明，仅仅通过用户发表在推特上的内容还不足以了解他们。(2) 一个特定语境对其中对话的暗示需要大量的先验常识。当人类对话时，这些常识很少被提及或描述，因为对话参与者认为这是理所当然。这意味着即使我们有了关于对话的具体语境信息，也无法清楚知道为什么该对话会发生在该语境中，因为说话者忽略掉了大量常识信息。这对基于模仿的机器学习系统（比如 SEQ2SEQ 模型）带来了巨大挑战，因为这样的模型只是通过训练集一味模仿而不知其原因并不是理解人类交流的最优路径。我希望该论文在对话理解与生成的研究上有所贡献，推动解决上述问题的研究进展。点击「阅读原文」，参与 NIPS 2017 线上分享第二期。

成功进入清华大学可能是每个学生的终极目标，凭借真正的才华和学习能力进入清华大学，就获得了学霸的光环，有多少人决心进入清华大学，但是很少有人能成功入学。在许多人的眼中，成为清华大学的学生应该是一件光彩的事，但是对于这名学霸来说，由于毕业后发生的事情，成为清华大学的学生会感到内疚，让自己感到羞耻。她的名字叫高杏欣，于2001年毕业于清华大学精密仪器系，由于其优异的本科成绩，她打算继续深造，因此她继续在清华大学电子工程系攻读硕士学位，三年后，他成功进入斯坦福大学并获得博士学位。高杏欣的研究始终集中在新的全球导航系统中，客观地说，她的创新研究成果确实做出了重要贡献。她是第一个成功破解北斗中型地球轨道卫星和伽利略测试卫星使用的编码规则的人。这一成就给我国的北斗导航系统造成了严重损失，也使她的母校清华大学丢脸。当时，高杏欣在斯坦福大学读博士学位时，伽利略导航系统的第一颗实验卫星已经在欧洲发射了，并于次年1月成功激活了该卫星的信号，在信号激活的几个小时内，高杏欣及其团队成员在三个频段上捕获了新的民用信号，后来高杏欣自己进行研究，最终成功破解了伽利略导航系统的基础算法并生成代码，也了解了代码的大部分功能。此后不久，高兴欣就公开发表了他的研究成果。从那时起，伽利略导航系统信号的编码规则大多数人都知道了。之后，全世界的接收器制造商都使用她解密后的编码规则能够跟踪并从伽利略导航系统卫星中获取信号。一年后，中国成功研制出北斗导航系统的第一颗中地球轨道卫星。在解密伽利略导航系统代码的基础上，高杏欣及其团队还获得了该卫星信号的三个频率，她使用类似的方法成功解密了北斗系统第一颗卫星的信号代码，并发表了相关论文。 在斯坦福大学学习期间和研究后期，高杏欣成功发表了16篇有关卫星导航系统研究的高质量论文，国际导航技术协会也对她进行了相应的资助和支持。在损害了中国卫星航空系统的利益之后，高杏欣还获得了美国航空和无线电委员会的表扬，有一阵子，高杏欣在中国的恶名引起了很多指责，甚至有人声称高杏欣在清华大学学习期间曾参与北斗卫星导航系统的研究。高杏欣的父亲曾是黑龙江省公安厅副厅长，因其女儿的所作所为而被免职，因为自身利益追求科学研究成果而以牺牲公共利益为代价导致家人被解雇，这实在令人难以理解。关于高杏欣在清华大学学习期间是否参与了北斗导航系统的研究，仍存在不同意见。作为清华大学的本科生和硕士研究生，高杏欣不太可能参加这样一个重要的项目。而且，她在斯坦福大学学习期间解密密码的论文结果已经公开发表，而不是被美国保密，这表明还没有达到保密控制的标准。当然，在高杏欣破译了北斗导航系统信号编码规则后，我国的北斗卫星导航系统也采取了严格的防范措施。 同时，高杏欣发表的论文还使北斗系统能够在某些频带上覆盖GPS和伽利略系统，避免了频带冲突。 无论如何，高杏欣损害了公众利益，并使母校清华大学丢脸。