考研经验分享ppt

稿叔有一大学同学，19年考研成功上岸某211，他初试时分数并不高，在复试名单里位列倒数第二，当时特别慌，甚至心里已经做好可能要被刷掉的准备，但没有退路的他，只能背水一战。从前辈那听说准备一份好的复试简历可以为自己加分，于是他也着手准备复试简历，结果发现自己是如此的平平无奇：本科期间没有参加过啥竞赛，也没有科研经验，更没有什么奖学金、奖项......认真反思了很久，发现其实上述的这些内容，并非是复试简历的必备要素，毕竟，大部分同学在本科都是“普通人”。他认真的请教了考研上岸的前辈以及本科老师，总结了自己的优势，还让俺们这些同学出谋划策，最终做出了还算满意的复试简历，刚好导师对他的简历非常感兴趣，基本都围绕简历来提问，最终他也以复试第二成功逆袭！所以今天稿叔就把俺同学准备复试简历的全攻略分享给大家，没有亮点，那我们就努力去创造“亮点”！一、了解导师，他的研究方向是什么稿叔同学在写复试简历的时候，首先就去学校官网，他所报专业导师的主页上了解了他的研究方向是什么，从事的项目是什么，发表了哪些文章这点是非常重要的，你只有在了解这个导师的研究方向之后，才能在写复试简历的时候有的放失，这就跟我们找工作一样，写简历时首先要了解公司和岗位的招聘要求，是一个道理。所以稿叔同学在面试时首先就通过表达对导师研究课程的兴趣、阅读导师xx文章的感触......给导师留下了良好的印象，这点非常加分！二、总结本科经历，充分挖掘素材像稿叔同学那样，本科经历平平无奇的，千万不要觉得没有什么可写其实仔细想想本科生科研经历，并不是所有考研的同学都有参与科研的经历，如果有，项目成果又足够优秀，那人家大概率被保研了来参加考研复试的同学，相信大部分都没有这部分经历，那其实相关的一些活动也可以算到里面去，所以稿叔的同学就把自己参加过的一些课程培训、论坛活动（网络上的也算啊，但前提是你真正有参与），或者你平时做的实践报告、调查报告、专业实验报告等都可以加上，主要体现自己的写作或实验能力，导师招学生的主要目的其实就是要学生能帮他搞科研，而导师本身是没有太多时间去写研究报告或者论文的。通过具体的事件-结果来反映你的能力，善于“包装”自己，也可以显得你“高大上”。稿叔小贴士：当然，不能凭空捏造，必须确实有相关的一些经历才行如果你还是想不出来有什么相关经历，也没有关系，继续看下一条三、列出自己选修过的专业课，特别是成绩还不错的课程本科的同学，谁还没有几门专业课是吧，所以，实在没有别的东西可以写，可以将自己所学专业，与报考专业的有关的课程列出来（与专业无关的课程就不要写啦）如果刚好有相关专业课的绩点不错，也可以把绩点分数展现出来，这其实是很多复试简历里没有的，较高的绩点，可以向导师表明你出色的学习能力，同时又和导师的研究方向相契合的话，也是一个小小的加分项稿叔小贴士：最后，可以总结一下通过这门课程，自己掌握了哪些专业课知识以及专业技能等。四、临时抱佛脚，学习一两门专业技能这个方法，其实是稿叔给俺同学出的主意，嘿嘿，关于这点，稿叔觉得只要大家愿意花时间去做，肯定都能做到。但有个前提是：你对自己报考的专业足够熟悉，因为你最起码要了解你所报专业可能需要用到哪些专业技能或者软件。不是一定要学的很深入，会基本的操作也可以，就比如稿叔同学就利用初试到复试的时间上慕课网考了一些相关的证书，听了一些与专业相关的自己又不足的课程，比如Python、计算机入门等等（真的不难，只要努力相信你也能做到），然后在简历中可以写上去，这也属于一个加分项。五、到实验室的时间，充分表达自己的意愿俺同学在简历中写到了一点，稿叔觉得实在是妙，他在个人信息里写上了自己到实验室的时间：立即到岗为什么说妙呢？因为一般导师手头上都是有多个项目的，导师都希望自己的学生能尽快的到实验室里面，投入到项目中去，这时候表示自己能立即到岗，在没什么东西可以写的情况下，也算的上是一个小小的加分项。六、找一份整洁明了、可修改排版的简历模板优秀的考研复试简历不仅仅是内容丰富，写得好，简历的模板也要看起来舒服才行，大部分导师都是搞学术研究的，大多比较严谨，所以谨慎使用花里胡哨的简历模板。稿叔同学研究生时期帮导师制作PPT，第一次做当然想好好表现自己，于是偷偷学了各种炫酷的PPT技巧，怎么炫怎么来，结果导师一看就让他改，一开始不明白哪里做的不好，直到后面改成简单清爽的颜色和格式，他导师才满意。所以找一份简单大方，一目了然的简历模板非常有必要，而且简历一般需要反复的润色，所以要找一份容易修改排版的模板，内容尽量在浓缩在一页里。下图简历出自稿定设计，稿叔同学就是用他们的简历模板（稿叔手里头刚好有一些不错的免费简历模板，有需要的同学可找我哦~）最后，希望以上这些攻略，能够帮助到“一片空白”的你，让你的复试“逆袭”之路更加顺利！！！

编辑导读：2020年的最后一个月已经悄悄来临了，想想马上就要过年了还有点小激动呢。别着急，先把剩下的工作做完再说。来看看12月有哪些值得营销的热点呢？本文作者以教育行业为例，列举了一些12月份可以营销的热点，与你分享。还剩最后一个月就到 2021 年，魔幻的 2020 年就要进入一个月的倒计时了，不知道你还记得年初立下的 flag吗？如果差点儿，没关系，赶紧来抓住12月的营销热点，抓住最后寒假招生的节奏，我们打工人一起迎接2021年，突破招生淡季。最近，微信又又又更新了，只需在聊天页面输入#内容，自动生成内容的超链接，点击直达内容聚合页。不仅如此，还为公众号、视频号、小程序增加了新的内容格式。从今年微信的更新趋势可以发现，视频号完成了数次重要的更新迭代，每一版本的更新都在为视频号蓄力，从公众号、小程序、直播、商店、话题、朋友圈、搜一搜、看一看，社群，曝光工具，在短暂的时间里，微信迅速为视频号集齐了一个十件套。贯穿了各大流量入口的视频号成为了今年大家争相抢入的流量池新地，带有「社交关系链+热门推荐」的流量分发机制的视频号不仅可以众多品牌方提供了新的曝光机会，还提供了不少变现路径，包括品牌或企业广告植入，各类课程或付费文章、付费社群等知识变现，以及直播间和小商店带货。那我们教育机构该怎么借势蹭量，抓住这波视频号的新流量窗口呢？我们又怎么借力视频号，把公域的流量挖到到属于自己的私域流量池？可儿总结了下主要有这 5个引流方法，帮助我们最大化地布局私域流量池。1. 个人资料区此区域是用户最直观了解账号定位的引流地，可以通过资料、福利包、方案定制服务等，引导用户添加个人微信号好友。建议不要在视频号放上微信号，否则非常容易被举报。如果是个人 IP 号，可以着重链接大咖等引流。2. 文案区引流视频下方的文案区描述，可以插入引流的信息，加上「领取福利+微信号」会更容易引流，而个人 IP号，用「个人经历+微信号」，更能赢得用户初次信任，从而好奇关注。默认文案只展示两行，视频简介内容尽可能简洁，微信隐藏在折叠处。3. 链接处引流因为可以直接跳转至公众号文章，所以这算是发挥空间最大的重点区域。公众号文章可以采用资料包、干货集等内容，新用户感知到价值，便会从路人粉转为公众号粉。通过视频号引导用户对资料包感兴趣，点击资料包文章，包含了IP 号的个人经历，个人价值，从而让用户想要和号主交流的欲望，引导添加至个人微信。通过文章，引流到个人号，再沉淀到社群，一般这种群以交流群为主。位置引流。发布视频时带上位置+个人微信，比较适合线下零售店的引流，通过这样的方式，能获取到精准的本地用户。评论区引流。到热门视频的评论处，竞争对手视频底下评论，都能得到很好的曝光位置，并且带来不少粉丝。虽说视频号开放了很多新的流量引流的入口，我们教育机构的IP号想要做得好，基本离不开 3 个因素：1）颜值帅哥美女会更优，画面的质感（画面的清晰度，素材的衔接，场景的唯美感），个人说话的面部表情管理等。2）口才咬字清晰、视频中恰到好处的的配乐（需注重每一细节的声音处理）、用词须用大白话接地气3）优质内容深耕某领域的认识，思维，见解等知道了怎么用视频号引流外，我们教育机构该用什么内容来打动新用户，从而让用户关注呢？这里推荐我们教育老师根据自己定位，策划选题，推荐的选题：美食——美食的受众很多，是很容易上热门推荐和出爆款的主题教育——分享些与生活相关的有趣小知识点，可以作为一个很好地切入，引流到体验课，吸引学生关注实用技巧——老师结合自身行业经历和知识点，蹭热点+提供解决问题的方法，比如说【如何用手机拍出大片】【怎么用 excel 做出美观数据图】科普冷知识——例如怎么避免熬夜，哪些是垃圾食品等生活类的问题做科普，会让用户容易理解并且逐渐信任你无论是什么选题，都可以用热点+专业领域，娱乐化+专业领域相互结合，打造出属于个人 IP 的差异化内容，这样能最大化利用泛娱乐化的受众属性，破圈挖取更多流量，引流到自己的公众号+微信号。比如我们职业教育，可以蹭打工人梗，「连 PPT 都做不好，做一辈子打工人！」「听说打工人双十一依萍如洗，该如何自救？」我们看看最后一个月，12 月有哪些热点可以蹭？方便提前策划活动，迎接新一轮的寒假招生旺季。接下来，将通过节日的借势角度、活动玩法、视频案例来一一跟大家分享。12月日历：12月关键节点及借势小建议热门营销节点：双十二、跨年日常营销节点：大雪、冬至、平安夜、圣诞节月度借势词：寒冷、剁手、圣诞、年度总结、明年计划、四六级、研究生考试01 12月12日：双十二双十二借势角度：双十二相当于今年最后一个月，这次促销活动，建议以「无套路，真优惠」，减少一些繁琐的活动流程，助力新的一年招生。活动玩法：线上游戏用助力、砸金蛋、摇钱树或者点灯笼、分享抽现金的机会，包括优惠券，做这些活动更多的是让家长通过线上游戏跟我们互动，加深机构和家长的联系。通过助力活动触达给更多朋友，从而收集用户的线索等资料，后期用销售团队逐一对此进行筛选，利用起来成为潜在的客户池。优惠攻略我们机构可以站在家长角度，制作一个优惠攻略，帮助他们通过参加线上游戏，帮家长获得更多优惠，更多的积分，让学生能获得更多的周边礼品。相当于游戏中的游戏攻略，能激发家长更大的参与度。双十二参考视频案例做家庭教育的机构，可以蹭双十二热点送书，真人出镜分享书的内容，用真诚打动潜在用户。主题明显的封面能让用户能1秒内读懂视频内容，即使视频内容和双十二的关系不大，但也能借势一波，以送书送礼名义，得到了更多曝光量。双十二其他视频营销案例：02 12月12日：英语四六级考试英语四六级考试是教育部主管的一项全国性的英语考试，其目的是对大学生的实际英语能力进行客观、准确的测量，为大学英语教学提供测评服务。英语四六级考试一年举行两次，一般在6月和12月中旬开展。2020年12月的大学生英语四六级考试为12月12日。营销活动关键词：英语作文、准考证、复习资料活动选题每年的四六级前后，作文题、翻译题考试前各大四六级考试号的作文预测、套用句式句型、备考资料都是作为教育机构裂变营销的热门选题。营销活动建议坚持 14 天考前打卡背单词，邀请好友组队领单词书；教育机构号可做拼团邀请好友助力领取作文模板，句型资料。四六级考试视频营销案例英语教育的机构的IP号可以参考视频案例，在四六级考试前，分享四六级听说读写的答题技巧，1~2分钟内容。分享方法论的同时，植入卖真题的软广，引导考生背单词不要靠单词书，而是真题中的单词，这样不仅让视频蹭到热点，还能让用户更加信任以「师兄」身份的IP的干货，从而产生购买真题行为。四六级视频营销案例：03 12月21日：全国研究生考试关键词：研究生、预测、备考、冲刺借势角度：全国研究生考试一年一次，是众多备考学子的紧张时间，我们可以借此机会为学子加油打气，考前冲刺活动。营销活动建议：考研经验分享活动。可以邀请往期考研的学长学姐、有考研指导经验的老师、同学分享考研经验，学习方法、干货等内容，参与者将获得不同等级的奖励，以及瓜分奖金池红包。坚持学习打卡活动。邀请学生用押金报名活动，参与坚持英语背单词打卡、自习室打卡、政治题刷题打卡等活动，坚持21 天即可参与押金返还，还能获取奖金池红包，根据排行榜，还能领取机构的独家周边、奖品。研究生考试视频营销案例考研教育机构可以参考视频案例，抓住潜在学生用户考前有临时抱佛脚的心态。让一个有考研经验的学姐分享考前备考逆袭的故事，更能增加学生对学姐的崇拜，信赖，从而更能引导学生到新东方app找名师，考前辅导。研究生考试热点的视频营销案例：04 12月24日：平安夜、 圣诞节圣诞节是西方世界以及其他很多地区的公共假日，火鸡、圣诞树是圣诞节的象征，近些年，平安夜吃平安果，送祝福已经成了一项“习俗”。关键词：愿望、平安果、Merry Christmas圣诞节借势角度：圣诞节近年已然成了家人、朋友、恋人互送祝福的一个节日，苹果已经成了节日的象征，像情人节卖花一样，街头巷口处处都可见。这一隐形的“祝福”，在美好的节日档口，既能引起人们的感情诉求，也是连接人与人关系的一种外力手段。营销活动建议线下机构可做圣诞主题狂欢节免费分享抽奖活动，结合排行榜和多级奖品助力领取；儿童亲子教育行业可在圣诞前，做给妈妈送祝福集赞的活动。圣诞节视频营销案例语文教育机构可以以圣诞节的历史来由知识点，加强老师IP号对学生的影响，让学生过圣诞节的时候，也能在幽默搞怪的讲解下，学到新知识，有利于引发学生分享给朋友一起学。圣诞节热点的视频营销案例：05 12月31日：跨年跨年夜在每年的最后一天，送去旧年，迎来新年，和元旦衔接。跨年也是线下机构最好的营销契机，许多用户都会借着这个跨年立新年flag，期待来年学习更好。我们可以回顾过去，展望未来。在这样一个辞旧迎新的时刻，总会有无数回忆让人难忘，所以情怀是一个很好的卖点。关键词：新年快乐、祝福借势角度：机构可以讲圣诞节和元旦联合做双旦活动，比如校园双旦晚会、双旦节等，参考活动可以节省不少营销成本。且这时间是比较适合做年终总结，回顾，打情怀牌容易切入。机构可以根据一年的成绩，帮助了多少学生考上理想学校，拿了多少成绩，证书等作为品牌宣传的噱头，让客户感受到机构的用心服务。3转发抽奖送锦鲤大礼。年底通常是大家展望新的一年的好时机，会立新年 flag祈求好运，我们机构可以趁这节点举办抽奖活动，引发用户分享以赢得新年好运气。跨年视频营销案例动画教育机构借势参考这份案例，抓住用户想要分享有仪式感的朋友圈需求，针对此做视频教学，该如何取景拍摄，剪辑视频，独具创意的视频会引发用户分享给朋友，利于机构做口碑营销。跨年热点的视频营销案例：以上就是12月的热点啦。#专栏作家#加玮·Oscar，人人都是产品经理专栏作家。多家知名咨询机构专家顾问，知乎、ToB CGO 特邀分享嘉宾，创业沙拉导师。关注ToB和教育领域，擅长B端C端的增长理论及实践。本文原创发布于人人都是产品经理。未经许可，禁止转载题图来自Unsplash，基于CC0协议

原创 坤坤吉林大学日语语言文学备考经验分享#日语考研#吉大日语语言文学的考试内容是：政治、英语（二外）、日语实践、日语专业基础和综合，下面我分享一下我各个科目的备考经验。备考的时间是：4月初到初试结束（其中6月份因为一些原因耽误了半个月）。政治复习参考资料教材书籍1、徐涛的《核心考案》2、徐涛的《冲刺背诵笔记》练习题目1、肖秀荣的《肖秀荣1000题》（一共刷了两遍）2、徐涛的《优题库习题集》3、徐涛八套卷4、肖秀荣八套卷5、肖秀荣四套卷补充的材料1、徐涛的视频课（强化班+刷题班）2、徐涛公众号11月份论述题背诵（30天）3、网络上最后的各种名师押题的整合+肖秀荣最后的讲义复习方法：第一阶段：我是6月就开始复习政治，刚开始基础知识学习阶段。每天先看徐涛的视频课（强化班），然后做肖秀荣1000题对应部分的题目。大概是8月中旬学完了第一遍，同时做完了第一遍的肖秀荣1000题。第二阶段：中间有一周左右没有看政治，因为在等徐涛的刷题班。第二轮复习：先看知识点，做肖秀荣1000题第二遍，同时做了徐涛的优题库习题集搭配徐涛的刷题班。第二阶段复习一直到肖八出版之前。第三阶段：选择题：我先做完了肖八，之后做徐涛八套卷的选择还有最后肖四的选择题。之后考前两周一直看梳理的名师选择题押题考点合集。论述题：论述题我是11月份开始准备的，跟着徐涛的公众号背诵了一个月的论述题的知识点，这为我最后背诵肖秀荣四套打了基础，提高了后期冲刺背诵的效率。11月的时候简单背了一遍肖八，12月基本就只背诵了肖四，反复背诵了肖四。复习感受:个人觉得今年肖四的论述题押题确实没有去年准，去年有的题目几乎和肖四上的问法完全重合。但是今年肖四的答案，依然是有用的，可以理解成每一道大题，都押对了一半。因为我只背了肖四，其他的老师的押题一点都没有看，只能尽可能在考场上发挥背的东西。选择题，今年相对来说简单许多，不过时政的东西很多，尤其是毛中特的部分，不要仅仅局限在书本上，还是要多了解一些新的说法。英语（二外）补充说一下：吉大二外是可以选择除了英语以外的其他语种的。题型：第一道题：单词语法选择。（20×1=20分）第二道题：4篇阅读，每一篇5个小题。（20分）第三道题：汉译英。（30分）第四导体：英译汉。（30分）做题经验：第一道题：考察单词的题目要比考察语法的题目多几个，其中有一些单词都是高中学过的，有一些比较长。题目几乎不涉及到同义词辨析，选项的意思差的比较大。语法就是一些固定句型或者冠词、短语。复习资料：1、华研外语《专业四级语法词汇1000题》：个人觉得这个有点难，吉大考的没有这么难，我只做了三分之一。但是里面的语法部分讲解的特别详细，对于今年考试，解答语法选择题有很大帮助。2、浙江教育出版社《新题型英语专业四级语法与词汇特训》：这本难度比较接近吉大二外，我隐约记得里面好像出现了一道原题，但是因为我时间比较紧张就做了一遍，记得不是太清楚了。3、改革前六级词汇选择题：前期做题，积累了很多词汇。第二道题：吉大阅读难度比较低，个人觉得没有四级难。复习资料：1、华研外语《四级阅读训练》70篇传统阅读，我只做了25篇，练手保持阅读感觉。第三道题：汉译英。第四道题：英译汉。吉林大学招生简章上给了六本参考教材，前些年汉译英和英译汉的内容都是课文原文。去年(2019考研)是第一年没有出课文原文翻译，普遍的反馈都是比课文简单，但是我还是没有特别敢放弃看参考教材。六本书（尤其是新加入的三本）每一篇课文都看了一遍，除去一些对话文章，基本都看了一遍意思。但是今年的考试题比较简单，没有特别难的词。是否会保持这个难度，不好说，看不看参考教材还是取决于自己。另外往年用的参考教材和今年给的不同，新视野1-3册是新增加的（这个有电子版，可以不必买书）。复习参考资料吉林大学的专业课：真题！真题！真题！（历年真题非常重要）日语实践吉大这一门考察的就是日语的基本功，题型很传统，但是几乎没有选择题，都是主观题。（只有阅读中有10分左右的客观题）题型：1、汉字注假名。（10×10=10分）2、惯用语/谚语解释。（日语作答）（5×3=15分）3、补全句子。（日语专四题型）（5×3=15分）4、日译汉。（15分）长度三百字左右。5、汉译日。（15分）长度三百字左右。6、日语阅读。（70分）两篇文章。（今年是每篇35分）7、作文。（15分）字数要求：400~500字。日语实践各题型备考经验因为吉大十年之内这【日语实践】的题型都很固定、所以我是按照题目有针对地看书和准备。第一道题：汉字注假名1、参考教材《日语精读》第一册~第四册（重点第三册、第四册）。经验：这四本书是吉林大学官方网站给的参考书，同时也是吉大本科的教材，这十五年的真题中，汉字注假名都是出自这四本书，重要性可想而知（其中第三册、第四册出的频率更高）。结合我自己的做真题和考试经验，老师比较容易考的就是这四本书上的特殊读音、长音短音、清音浊音、难读动词、难读名词、偶尔会考四字词语的读音。2、初心教育通用打卡课程；周一、周三《基础日语》单词题目。经验：初心教育的【通用课】中的基础日语部分，每套题的单词部分都非常的典型，都是真题常考、易错、易考的高频词汇，因此我是在背诵参考教材的同时，通过联盟的题目，及时的补充和巩固。复习参考资料第二道题：惯用语/谚语的解释1、参考教材《日语精读》第一册~第四册所有的惯用语和谚语2、初心教育通用打卡课程；周一、周三《基础日语》惯用语和谚语相关题目3、日本小学生必须掌握的谚语220个4、日本小学生必须掌握的惯用句708个5、日本小学生必备四字词语6、2000~2018年吉大日语实践真题经验：备考过程中我先集中背诵了资料3和资料4，大概背了三遍以后，做了2000年~2018年的真题，发现资料3和资料4涵盖了百分之八十的真题，之后将剩余的百分之二十的惯用语单独梳理背诵，同时背诵参考教材单词表后的所有惯用语。因为历年真题中出现过【八方美人】这种四字熟语的解释，我就背了一遍资料5。（如果学有余力可以背一背绿色的专八文法词汇书上的惯用语，但是专八的日语解释没有3、4给的那么好，而且大多数专八的惯用语3、4已经包含在内了。）复习参考资料资料的获取：我这部分的资料除了参考书以外，都是在初心教育的【通用课】上获取到的，对于我准备这道题帮助非常大。第三道题：补全句子。1、初心教育用打卡课程；周一、周三《基础日语》语法部分题目。经验：我这道题没有特别集中复习，通过研究真题发现，基本上都是N1N2中的常见句型，而且这道题的出题特点决定，一般考的都是运用在句子中间部分的语法。因为我个人是第二次准备考研，第一年的语法基础打得还算是比较好，所以我就是通过初心教育【通用课】上的【基础日语】中的语法题目，不断复习和巩固。而且今年考试的语法基本上课上都练习过，难度不到。复习参考资料第四道题：日译汉。第五道题：汉译日。1、四五月份天声人语翻译2、初心教育通用打卡课程；周二、周四《翻译日语》题目3、《翻译必携实践篇》经验：日译汉的准备，我就是通过学习【初心日语联盟】这个公众号上发布的【天声人语】来提高，因为吉林大学这道题目考的不是很难，我没有按照翻硕的复习强度准备。集中翻译了两个月的天声人语，剩余的时间基本上就是每周一篇，保持手感。汉译日的准备，也是集中训练一段时间，我在4月份的时候集中练习初心教育【通用课】中的【翻译日语】的题目。后期没有花特别多的时间练习，一个月做三四篇保持一下感觉。主要对于这两道题的准备，我觉得还是积累，多看一些阅读和对译。今年吉大汉译日考的类似于一篇日记，没有特别难翻译的词汇，总体来说还是很简单。复习参考资料第六道题：阅读1、考研日语203十年真题阅读。2、主观题阅读。3、吉林大学日语实践阅读部分真题2003年—2018年。4、『接続詞の技術』。真题感受：第一篇35分，大概有7个问题，考察了接续词选择（为数不多的客观题）、解释划线句子、补全结论、是否支持作者的观点并谈一谈自己的看法、限定字数的解释等等。第二篇35分，一共有10个问题，还是有接续词的选择、解释词汇、根据上下文填写单词、根据上下文补全句子等，形式多样。吉大的日语阅读比较考察理解和日语应用能力，文章本身并不难，但是因为题目比较主观，今年有一半是言之有理即可这种，对于估分来说不是很友好。经验：因为吉大历年真题中几乎都涉及到接续词，所以我认真看了一遍石黑圭的『接続詞の技術』，并把其中的重点整理出来，复习了大概两边。初期同时做了历年的真题阅读部分和考验日语203部分，后来为了主观题阅读练手，做了日本的高考题（四本，没都做完，主要是学习了答题技巧，和保持阅读感觉；吉大真题的文章难度要比主观题阅读那几本的文章难度小很多很多。）复习参考资料第七道题：作文1、初心教育炸鸡老师的【作文课】2、练习！练习！练习！3、作文练习题材：热点话题、记叙文类话题、论文类话题（自然观、美意识）4、专八作文题目5、【日语专业考研】gzh上的：每周作文经验：吉大的作文分值并不高，只有15分，而且字数也并不多，这些年都是400~500字。但是作文的考察不仅仅在这一道题上，主观题阅读、翻译其实都考察了日语的应用能力。我上了炸鸡老师的作文课，对我帮助非常大，课堂上学到了在写作中的常见问题同时积累了一些常用的表达。炸鸡老师在课堂上反复强调，作文是练习出来的，所以我一直都在练习，我练习到10月末，十一月和十二月基本上就是反复看之前自己写过的作文。我陆陆续续练习了大概1万字的作文，其中有些给初心教育的老师批改，在这个过程中，最主要的是形成了自己的写作思路和风格。作文没有快速提高的办法、必须要动笔练习。初期写作，如果没人给自己改的话，我强烈推荐初心教育的【作文修改】，每一个语法错误，老师都非常细致的该出来，而且会给自己作文一个评价，多修改几篇，慢慢就会发现自己不再畏惧写作了。复习参考资料日语专业基础与综合这一门科目考察内容多、考察细、备考难度大。吉大这门专业课由四部分构成：日语语言学（45分）+日本文学（45分）+日本概况（30分）+现代汉语（30分）。吉林大学招生简章中今年给出了很多的参考书，但我个人认为对于今年的题目，大多数参考书意义不大，我也是选择性的看了一些，主要还是用了去年考研成功学姐的经验帖中的书籍。日语语言学部分（45分）考察题型：第一道题：举例子。（10×2=20分）第二道题：选择。（3×1=3分）+判断（3×1=4分）+小问答（3×1=3分）+小论述（2×3=6分）第三道题：大论述。（10分）（今年论述内容为：テンス）复习参考资料在复习日语语言学部分的时候，我的复习原则就是“核心+补充”。这门科目复习的核心参考书就是《日语通论》。这本书认认真真看了三遍，第一遍记笔记（详细）——第二遍梳理论述题考点——第三遍梳理举例题目考点。最后背诵阶段，主要就是反复背自己整理出来的笔记。在看完第一遍《日语通论》，开始做吉大的历年真题，我个人是把十年内的语言学部分真题的考察点做了数据分析：通过数据分析，可以看出在语言学的部分，考察的重点是在《日语通论》第3、4章（而且很幸运，今年的论述题就是高频考点テンス），在临近考试的后两周我主要就是看这两个部分。除了《日语通论》以外，我结合历年真题的出题点，补充了《日语概说》（搭配笔记与课后习题答案）、《新日本语学入门》（部分章节+本科笔记）、《日本語彙要説》（部分章节）、《日语语法教程》（助词部分）、《日语疑难助词辨析》（重点和难点部分内容和真题出现过的内容）。日本文学部分题型：第一道题：读音问题。（10×1=10分）包括近现代作家作品、古典作家作品读音。第二道题：名词解释。（5×2=10分）古典文学相关、近代作品、近代作家、文学相关内容。（文学奖）第三道题：古文翻译。（5分）第四道题：论述题。（2×10=20分）介绍：二叶亭四迷和《源氏物语》。复习参考资料文学部分我的核心书籍：近代部分是《日本近现代文学史教程》。古代部分是《古典文学自编教材》。近代部分详细看书两遍，整理出了名词解释和论述题内容，论述题主要是介绍流派的特色、作品的梗概、有名的作家的生平、一些作品的评价性论述（这些书上都有）。古典部分准备了《源氏物语》、《竹取物语》、《万叶集》等一些名作的相关介绍和「もののあはれ」、「幽玄」这些古典文学核心观念的论述题。遗憾的是《新国语便览》这本书我没有看，今年加入到了参考书里面，因为比较厚，九月份公布招生简章的时候，我的文学已经复习差不多了，我就没再准备，上面有很多作者的论述，可以补充背一下。感受：今年真题中论述二葉亭四迷，在核心书籍上，关于二叶的介绍比较少，如果看了《新国语便览》的话，可能回答起来会更加顺利。文学史的背诵，需要重复。因此我利用空余时间看初心教育小柒老师的微博，积极参与她问的一些问题，而且小柒老师会定期整理一些名词解释，不要拘泥于书本，利用好碎片时间巩固复习，对于文学史的记忆帮助是很大的。日本概况题型：第一道题：日本地理相关读音。（6×1=6分）第二道题：论述题。（日本文化相关）类似于举例子。（4×1=4分）第三道题：论述题。（日本地理相关）为什么日本自然灾害频发，说一说原因。（5分）第四道题：选择题。（日本相关常识）（5×1=5分）第五道题：名词解释。（5×2=10分）复习参考资料地理部分复习：1、梳理日本各地方、各县的知识点。（每个县准备300字的论述题，因为真题曾考过介绍某个县。）2、日本地理的相关举例子。（比如东北地方有哪些县）3、日本各县、县厅所在地、古代地名的读音。4、地理部分参考书前五页背诵。（日本地理的论述题、真题高频考点。）日本地理的读音是每年必考的，所以吉大内部参考书中地名的读音一定一定要都会读，通过我做真题和考试的感受，日本各县的读音、县厅所在地的读音、各个县古代的读音是重中之重，其次的就是书本上在介绍各个县的时候涉及到的一些市的地名。历史部分复习：今年一道日本历史的问题都没出。对于历史部分不擅长的同学，我非常推荐南开大学出版社出版的《日汉对照简明日本史》，这本书中日对译，而且书上还会有配套的PPT，在复习过程中，我一遍看书，一遍对照PPT复习。在没发现这本书之前我一直都是看的日本的教材《日本史B》，总是记不住，后来逛书店发现这本书以后，我就把这本书作为我的历史复习的核心书籍（大家没事可以去书店逛一逛，嘻嘻）。历史部分是名词解释的高频考点，我重点看了明治维新之前的部分，整理名词解释，后期主要就是背自己的笔记了。此外准备了日本历史时期的划分、各个历史时期对应哪些文化、以及各个文化的特点（历史部分的论述题）。文化相关复习：文化部分经常以论述题的形式出现，在复习这部分的时候，我主要准备了介绍日本的伝統芸能的论述题、同时选择题中的日本文化常识部分，主要就是通过《日本纵横》的学习来准备。总的来说，概况部分很难能够拿满分，考察的范围太广，但是其中读音是比较容易拿分的，考察的地名也不是偏僻的地方，都是很常见的。其他的一些大家可以通过看新闻、看书积累。现代汉语题型：第一道题：成语。（改正成语中的错字+解释成语含义）（3×2=6分）第二道题：中国文学史。（8×1=8分）第三道题：名词解释。（3×2=6分）第四道题：古文翻译。（10分）复习参考资料古文翻译部分，主要是考察高中语文的原文。其中有些篇目高中是选段，但是吉大可能会考全文如《劝学》；同时注意备考的时候考试当年中国文坛上发生的大事，比如类似于茅盾文学奖颁奖、哪位作家哪部作品获奖，都是考试的重点。相信是成功的起点，坚持是成功的终点。考研路上，我们会不断质疑自己，每次想要放弃的时候，咬咬牙，总会挺过来，难过的日子总会过去。考研是一次宝贵的经历，希望我们都能实现自己研究生的小小目标，加油！

在青大的校园里总有这样一群匆匆忙忙的身影他们每天携日而来，踏月归去肩上是装的满满当当书包脑中是千奇百怪的知识点心中是无尽的梦想与远方凡心所向，素履亦往他们就是——推免学霸！姓名：许璐瑶专业：高分子材料与工程研究生录取院校：南开大学录取专业：高分子化学与物理高中毕业学校：山东省烟台市莱州市莱州一中大学期间荣誉中共预备党员国家励志奖学金省政府励志奖学金全国第一届大学生高分子创新创业大赛团体三等奖第四届全国大学生环保知识竞赛优秀奖青岛大学第六届大学生化学实验技能竞赛一等奖青岛大学学习优秀一等奖学金三次青岛大学学习优秀二等奖学金两次青岛大学“百名优秀学生”荣誉称号青岛大学“自强之星”荣誉称号连续两次青岛大学“优秀团干部”荣誉称号材料学院“优秀本科生学长”荣誉称号想对学弟学妹说的话前五个学期成绩排名知道以后，觉得自己有希望获得推免名额，所以提前确定了几个比较心仪的院校。在3、4月份，开始查看网络一些有关夏令营的信息，及时查看心仪学校的夏令营报名通知，并按要求报名。报名以后，7月份左右收到了几所院校的面试通知，开始准备面试资料，比如英语对答、科研经历介绍、专业知识复习等，最终获得哈尔滨工业大学以及南开大学的优秀营员。10月份的推免生报名，直接选择进入南开大学攻读硕士学位。对于面试，有一个注意的点是，不要过于夸大自己的优势。其实老师们看了我们的资料后对我们的水平已经有了一些了解，你面试时，可能需要你先自我介绍（有的学校需要PPT），这时候千万不要夸大自己特别擅长什么，容易被老师抓住这一点，狠狠提问，如果回答不好就会影响面试结果，当然也不要贬低自己，实话实说，或者适当美化自己也是可以的。以我自身经历来说，在面试哈工大时，我把考试分最高的高物高化专业课放在PPT成绩介绍那一页最显眼的位置，老师们一下子看到了，认为你专业课水平较高的同时，也会产生怀疑，当下就说：“你这专业课分数都这么高啊？那考考你吧。”，然后全部面试老师就开始轮番上阵问我高物高化专业知识，虽然最后也答上来了，但是当时也是心里一慌，就怕提问的问题自己不会。还记得有人告诉我，曾经有一个人面试大放厥词，说自己是就是特别擅长某课，特别精通某方面的知识，结果被老师提问的很惨，越问越难，最终答不上来，面试结果可想而知。姓名：王博文专业：高分子材料与工程研究生录取院校：复旦大学录取专业：无机化学高中毕业学校：德州一中大学期间荣誉：共青团员年度本科生国家奖学金荣获青岛银行奖学金连续5次获青岛大学学习优秀一等奖学金荣获青岛大学学习标兵荣获青岛大学优秀团干部荣获青岛大学优秀团员荣获青岛大学化学实验技能大赛二等奖荣获“外研社杯”阅读大赛校级二等奖与写作大赛校级二等奖荣获优梦模拟联合国大会（华北）UNDP杰出代表想对学弟学妹说的话：我不是一个特别聪明的人，没有太多出众的地方，所以我的基本策略就是笨鸟先飞，勤能补拙。其实在寒假就开始了准备，只不过当时没有出前五个学期成绩名单，所以就准备了考研和保研两套方案计划，并在寒假着重进行考研数学和英语的复习。这么做是因为：1、英语对于保研同样重要，可以一起学习；2、数学的学习可以优先于院校选择，可以节省时间。所以建议对自己没有把握或者打算考研但是还没有确定目标院校的同学，可以从这两科开始学起。知道成绩后，我就着重开始进行了保研的规划。先浏览学长学姐保研去的院校，看他们往年招生简章的成绩、文件要求，从简历、个人陈述等开始做起。这里要特别感谢本科生导师陈海潮老师以及王慧宁学姐、杨子琪学姐和吴阳学长，在我保研的过程中给予我修改文书、院校夏令营情况简介的帮助。我也很快完成了有关文书和奖项的准备，并每天练习口语和听力；另一方面，抓紧学习不放松，努力保持最后一个学期的学习成绩。由于今年疫情的缘故，夏令营大多采取线上模式，这就导致了“海投”的现象，很多一流学校的学生可以同时报名多个学校夏令营，导致入营较往年困难一些，因此相比于学长学姐，我的入营数量较少，仅有复旦、山大、天大和哈工大。这也因此说明了，个人定位和院校匹配的重要性：如果一味追求好的学校好的专业而不与自身实力相匹配，可能会落得无营可入的结果。最后我的情况是7.8得知了复旦大学的官方结果后，拒绝了山大的夏令营，放弃了天大和哈工大的优营，选择了复旦大学并确定了导师。在这里也建议学弟学妹，联系导师不是在夏令营考核之后，而是在入营之前，就要尝试对心仪导师进行邮件联系，增进了解，也可以大大增加在夏令营的胜算，同时锁定自己喜欢的导师和专业。姓名：李亚军专业：高分子材料与工程研究生录取院校：湖南大学生物学院录取专业：电子信息高中毕业学校：临清市第一高级中学大学期间荣誉共青团员首届全国大学生高分子材料实验实践大赛想对学弟学妹说的话对我来说，我的保研过程相对简单，从开始准备到拿到资格再到确定录取，前后不到一个月，但我认识到了许多，我想对你们说的是，一定要提前做好规划，想好自己要不要读研，是要保研还是考研，如果选择保研，就尽早开始准备，了解清楚学院的推免政策，我们院分有两种推免名额，一种是看你前三年的考试课成绩，要求排名前5%；另一种是特殊学术专长推免，这一类对成绩要求不高，专业排名前50%，英语过四级即可，但需要你参与全国性竞赛并获奖或者以第一作者发表SCI收录论文，学院推免政策里有竞赛的具体项目。我去东华大学参加双实大赛时，是要求进行一个悬浮聚合的实验操作，比赛要求选手在四个小时的时间内完成仪器组装，高聚物聚合，产物处理，仪器清洗等操作，期间每名参赛选手都会有老师在一旁对你的操作过程的规范度进行评分，比赛的最终成绩由产品质量，规范操作，实验报告三部分组成，因此要取得好成绩，不仅要掌握聚合流程中的各工艺参数，更要注意在实验过程中的诸多细节，比如称量时拿试剂瓶试剂标签是否朝向手心，移液管的操作，废液是否倒入废液桶等等，这些我们在平时进行实验课程时都会提到，但大家真正对实验操作的规范性并不会太在意，有时我们做实验时会因条件不允许等原因作出妥协，但大家还是要明白规范操作的重要性，一是保障安全，二是规范操作才能带来准确的结果。我给大家的建议是，多多参与一些学科竞赛，无论能否取得好的名次，都是对自己的一个提升，能拿奖则是对自己能力的证明，之后不管是复试或是求职都是一个加分项。课余时间可以多去实验室参与实验，锻炼提高自己的动手实践能力，丰富科研经历，书本和课堂上的知识始终只是理论，实践中学到的印象会更加深刻。另外从我的复试经历中，我还建议大家学习英语不单单要提高读写水平，更要加强听说的能力，英语真的很重要。最后从我的竞赛和推免的经历中总结两点送给大家：注重细节，抓住机会。祝前程似锦！"姓名：朱雪专业：复合材料与工程专业研究生录取院校：中科院宁波材料所录取专业：材料物理与化学高中毕业学校：山东省聊城市高唐一中大学期间荣誉中共预备党员。曾任材料科学与工程学院学生会秘书处副部。现任17复材团支书，材料科学与工程学院青年先锋学社成员。曾获校长奖学金一次，获得青岛大学一等奖学金三次、二等奖学金两次。多次获得“优秀团干部”“优秀学生”等荣誉称号。曾参加暑期“三下乡活动”调研太阳能电池。曾获第十届山东省大学生物理竞赛一等奖。大创项目“纳米材料增强环氧树脂复合材料力学性能研究”负责人。想对学弟学妹说的话1准备过程：开始准备大概在五六月份，搜集夏令营信息，根据以往学长学姐的经验，我也是采用“海投”的方式，大部分学校要的材料都大同小异，个人陈述（写好可以找熟悉的老师改改）、获奖证书、四六级证书、成绩证明（成绩单可以从青大教务下载，专业排名证明找教务老师开）、论文或其他成果、专家推荐信，这些材料按照申请学校的具体要求稍微改改就能填系统，自己比较喜欢的几个学校好好写写申请理由，认真准备。七月份学校发复试通知，复试前先问问以前参加过对应学校夏令营的学长学姐，面试老师大概问什么，要复习哪些科目，准备一份英文自我介绍，夏令营获得优秀营员，录取就八九不离十。夏令营之后还有预推免，之前心仪学校夏令营没能录取这时候可以再冲一冲。最终选定要去哪个学校，推免资格下来之后十月份填报学校，一切就尘埃落定啦~2给学弟学妹的建议：大学前几年能参加的竞赛最好都试试，专业相关的最好，数学、物理、英语的比赛，学校举办的化学实验技能比赛和一些知识竞赛也可，平时多注意老师们发在群里的竞赛通知，看起来高大上的奖其实没那么难，反而各式各样花里胡哨的竞赛经历能让最后的个人简历看起来高大上。实验室一定要早进，搞明白做的实验是怎么回事，跟师哥师姐学一些绘图、处理数据的软件，复试的时候老师一般都会问实验。3自己的感受：刚开始准备材料的时候就很后悔大一大二没多参加些比赛，简历比较单薄，报夏令营频频被拒，经历了心态崩溃、自我怀疑的过程，到收到第一份offer才平静下来。我是专业排名第二，处于保研边缘的位置，既得准备保研，考研也不能落下。准备夏令营的时候特别忙，一度怀疑自己在浪费时间，如果没有保研资格那心力都白费了，同时认为自己有保研的机会，考研复习也静不下心来，那段时间心情很矛盾。后来我给自己定下个期限，宁波材料所的面试专心全力准备，参加完面试之后就把保研的事都放下，以肯定拿不到保研资格的心态准备考研，以至于老师通知我复材有两个名额的时候，蒙了一个下午。现在想想当时的努力都是值得的，不管考研保研，做两手准备都不会慌，最后能拿到保研资格也是很幸运，希望以后的学弟学妹们也能心想事成，顺利考上心仪的学校！姓名：劳显焯专业：无机非金属材料工程研究生录取院校：青岛大学材料科学与工程学院录取专业：材料学高中毕业学校：广州市第五中学大学期间荣誉中共预备党员山东省高等学校优秀学生青岛大学百名优秀学生干部全国大学生数学竞赛（山东赛区）二等奖山东省物理竞赛三等奖2018级材料5班 带班学长材料科学与工程学院2019届青年先锋学社(习研社)会长想对学弟学妹说的话一、 大学是很接近梦想的地方大一伊始，我从生活了18年的广州到了美丽的海滨城市“青岛”，从南方到北方，对一切都充满好奇，体验孔孟发祥地山东文化。作为班长，是同学的“开心果”，团结向上的五班组织多次聚餐和户外旅游。在班主任张小艳老师的带领下，我和团支崔心竹一起精心建设的团队，班级具有很大的凝聚力，获得学院篮球赛、辩论赛、一站到底知识竞赛等活动前两名好成绩。每逢佳节，我都会给同学们带来节日祝福，2017年的冬天，我见证人生第一场大雪，做了“圣诞老劳”，在平安夜给同学们惊喜。张老师说过：“大学是离梦想最近的地方”。同学各自都分享自己未来长大后的目标，有想去中科院当研究员、也有爱好音乐者想发个人唱片，也有努力考研继续深造的，全班同学参与拍摄微电影“追”，这个世界上唯有爱与梦想值得我们去坚持。大二分专业以后作为17级无机非班长，和团支书刘娅等班委组织无机非茶话会，促进师生交流，先后组织多次考研出国继续深造动员会。在两届系主任孙红老师和张连营老师、班主任李国玲老师和辅导员郝晓丽老师的关怀和带领下，班级获得山东省先进班集体和青岛大学十佳优秀班集体。进入大三同学们也定下自己的考研目标，让我们一起期待无机非美好的明天！二、 狗一样的学，绅士一样的玩大学里，我牢记学业导师郭培志老师的教诲，拼了命学。我一直都是第一排的常客，从高数、线代、概率论到大学物理、四大化学都是拼了命地认真学习。深受数学与统计学院宋丽老师影响，我爱上学习数学，尤记得大二学线性代数和概率统计，每天晚上给同学辅导一个小时作业，每天晚上推导微积分公式和习题到凌晨一点，这些都是我很美好的回忆，数学会影响我们的方方面面。2019年寒假时，制作学案和笔记90余页给闺蜜辅导数学。去年年底参加全国大学生数学竞赛（山东赛区）获二等奖成绩。在物理科学学院任玉英老师的指导下参加山东省物理竞赛获得三等奖成绩。我大学里注重英语学习，一次性通过了六级和雅思考试（达出国线）。学习专业课材科基的时候，通读了外国近千页的经典教材，经常课外做课件给同学们辅导专业课，收集考研专业资料，讲解的过程也可以进一步促进对知识点的掌握。学习化工原理的时候，遇到了庞大的公式和复杂的边界条件判断，我把知识点和计算机编程结合制作的“化工原理数据处理系统”，涉及了全书6个实验，得到了广泛使用，获得老师和同学的好评。大二暑假申请留校进入实验室做科研，也是去年学院17级唯一整个假期留校的本科生，那段时间熬到最后还有点煎熬，熬过去了，自己成长了很多。很感谢那段时光郭培志老师认真指导实验，尹燕儒学姐和杨敏学姐手把手耐心教实验，让我积累了化学合成和测试的基本功。2020年8月以共同第一作者在美国化学会ACS经典期刊Langmuir发表研究型论文。学习的时候全神贯注学，玩的时候忘我的玩耍是大学里最佳的状态。每逢周末，我都会和好朋友游遍青岛，一天内可以从台东、五四广场、丽达逛到李村夜市，尝遍青岛美食。每次去到海边的时候，一切烦恼和压力都化为乌有，特别感谢大学里出现家人一样的好朋友好闺蜜在身边。很多想法也是这个时候萌生的，2018年夏天在黄岛琴岛之眼摩天轮上确定了自己要读博的想法，从此更加有动力追逐自己的理想。三、 只要出发了，路上总有惊喜各位学弟学妹们，大学是一个离梦想很近很近的地方，在这里只要方向对了，努力使使劲离成功就不远了。进入大学，可以给自己定个目标，比如每个学期拿一次奖学金、学会一门技能（我利用课余时间学会了图片处理PS和视频剪辑Pr、AE等软件）或者参加一次演讲比赛。加入学生会、艺术团可以和不同学院的同学们多交流。2017年到2019年在青大NGO志愿者协会担任过干事和部长，让我多了好多干公益志愿者的机会，是大学很美好的回忆。2017年到2019年当过“青大材院”的干事、审稿人和管理员，让我学会快速完成具有时效性的新闻稿。2018年到2020年先后担任材料科学与工程学院青年先锋学社（习研社）成员和会长，组织学院新中国成立70周年庆祝活动、学习党的十九届四中全会精神和抗击新冠肺炎线上朗诵等活动，思想进取，不断拼搏，于2019年底加入中国共产党。我在大学里踏实学习，以专业第一名成绩获得推免资格。今年7月通过了三所Top 985（一所C9高校）的夏令营面试获得offer，经过选择，我最后选择了自己熟悉的青岛大学继续攻读研究生，相信一切都会好起来。祝学弟学妹们都有绚丽多彩的大学生活，下次展示的就是你！姓名：付贝专业：高分子材料与工程研究生录取院校：华南理工大学录取专业：光电材料高中毕业学校：鹿邑县新一高中大学期间荣誉共青团员校级学业优秀奖学金国家励志奖学金第一届全国高分子材料创新创业大赛团队三等奖第四届全国大学生环保知识竞赛优秀奖想对学弟学妹说的话我觉得我是属于佛系保研的，准备过程也比较简单，我前五学期的成绩排名是有机会获得保研名额的，但在4、5月份学校陆续放出夏令营通知的时候我当时并没有在意，等到六月份开学，看到好多人在准备夏令营，我想那我要不也准备一下，当时想的是自己保不上研也有利于考研复试，就报了两个学校，后来获得了华南理工的优秀营员，并且学校要求签订承诺书，就这样被华南理工预录取了，一直到十月份公布保研名额前，我同时进行着考研复习（当时就觉得自己肯定保不上）后来发现竟然有自己，然后就被顺利录取了。给大家的建议就是在大学期间可以在学习空余多参加些竞赛、活动，让自己以后的简历丰富起来，不管是保研还是考研，这些经历都会给你加分的，但是学习还是第一位，我们学院是按照绩点排名保研的，一定要好好学习，提高自己的成绩排名，一定要坚持到最后一门考试，不要以为前几学期绩点排名靠前就松懈，大家都在努力，很有可能一门成绩就翻盘，千万不能松懈啊！在大三下学期的时候，保研开始拉开序幕，一定要注意收集信息，多注意保研信息，可以尽可能多参加些夏令营，不要想着要是考研的话这就浪费时间了，这实际上也不会占用多少时间，而且如果获得了优秀营员，保研的时候你的选择就多了些，不至于后期处于被动，就算是考研，某些学校对于优秀营员也是免复试的。最后，保研非常考验心态，望各位学弟学妹摆正心态，坦然面对，大家一定都能成为研究生。姓名：栾朝晖专业：高分子材料与工程研究生录取院校：南开大学录取专业：材料科学与工程高中毕业学校：山东省烟台第一中学大学期间荣誉共青团员第一届全国高分子材料创新创业大赛三等奖青岛大学一等奖学金青岛大学二等奖学金青岛大学优秀团员青岛大学优秀学生2019年11月作为负责人设计的《便携可穿戴运动监测传感器》在第一届全国高分子材料创新创业大赛获三等奖。2019年2月发表文章Multiple Weak H-Bonds Lead to Highly Sensitive, Stretchable, Self-Adhesive, and Self-Healing Ionic Sensors，ACS Applied Materials & Interfaces，2019，11，77557763。2019年3月发表文章Design of injectable agar/NaCl/polyacrylamide ionic hydrogels for high performance strain sensors，Carbohydrate Polymer，2019，211，322-328。2019年5月至今主持山东省大学生创新创业项目《水凝胶传感器的制备及性能研究》。现正以第一作者身份撰写《Dual temperature/strain ionic hydrogel sensors with high performances》论文一篇。想对学弟学妹说的话：回想大一时，看到优秀学长学姐的推文，总认为保研是遥不可及的，甚至和自己没有什么关系。但现在的我打下这些文字时，已经不知不觉变成自己曾经羡慕的那类人。保研之路很难，难在三年里别人在娱乐时你要学习，难在怀疑自己的努力会不会扑空；但它也没有想象中的那么难，因为当你认准这个目标不遗余力地向前走后，一切都会水到渠成。我曾经以为这件比登天还难的事当真的实现时发现不过如此，希望学弟学妹们看完这篇经验分享，在未来的保研季时也可以释然地感慨，不过如此。为了让大家更全面的了解保研，少走弯路，我将主要从保研所需的三大指标学习、英语和科研竞赛这三方面进行介绍。1、学习：学习成绩是保研的敲门砖，也是申请学校时老师最看重的一点，大家一定要不遗余力地提高自己的绩点和排名。想保研的同学，如果你的能力达不到兼顾学习和学生工作，可以适当舍弃一些不必要的工作。我就是因为成绩不够突出，导致一些学校的初试都没有通过。相比没能进入梦校的遗憾，我建议有保研想法的同学从现在开始把自己手头的任务排列优先级，果断放弃沉没成本做出取舍，将全部的精力投入到学习中。在学习方法上，无外乎课前预习、课上认真听讲、课后及时复习。只要端正学习态度，给自己留足学习时间，取得高分不是一件难事。但如果想取得90分甚至95分以上的成绩，还需要多与老师同学及时沟通讨论，微观上从根本掌握每一个公式或现象导出及产生的原因（把书读厚），宏观上将一门课的知识用一个思维导图概括（把书读薄）。2、英语：因为研究生阶段需要读英文文献，用英语写论文，所以英语水平也是老师判断一个同学是否适合读研的标准之一。在英语方面我的建议是，无论是否有等级考试，都要将英语学习贯穿整个本科阶段。提高英语能力不是一蹴而就的。四六级考试固然有其答题技巧，但想取得高分必须要经过长年累月的积累。提高英语成绩可以从背单词开始，不要说单词已经背过了，四级六级考研雅思托福GRE总有一款适合你。四六级考试前将历年真题限时全部刷一遍甚至多遍，掌握答题规律，把握做题节奏，500+不是梦。学有余力的同学还可以尝试考雅思托福，考完后会发现四六级真的不算什么。除了必备的四六级，保研的同学还需要掌握一定的专业英语。大家可以先背一些材料学的专业英语单词，掌握常用的词根词缀，再找几篇代表性文献通读。一开始读文献时可能有些困难，会发现很多单词不会，但多读几篇就会发现专业英语单词的重复率比较高，阅读文献没有那么困难了。3、科研竞赛：科研竞赛是保研锦上添花的一项，也是你是否能通过复试的关键一环。在这方面，我总结下来是经历要多，且至少有一项要精。想要做出科研成果，要尽早与学业导师表达自己的想法。（在此十分感谢我的仙导以及师兄师姐对我的支持帮助）我从大一就进入我学业导师的课题组进行学习研究，接触了很多项目，所以有较多的科研经历。其中我主持了一个大创项目，而且负责了一个国家级比赛，所以对这两项成果了解的比较深。学弟学妹们如果想发论文或参加大型比赛，在项目初期不要为了追求速度而随意定题，一定要认真研读相关文献，和导师以及学长学姐讨论课题进行的可能性，从全局上掌握项目动态走向，切忌走一步看一步，否则很有可能做到一半发现因为初期方向错误而导致实验推翻重做，事倍功半。做实验是自己一个人的事情，这必定不会像其他活动一样热热闹闹，要耐得住寂寞。实验结果不理想也是常有的事情，在保证大方向正确的前提下，多尝试多思考多与老师讨论，千万不要因为一点不顺利就放弃。当经过深入的思考摸索而做出成果后，你可能会发现科研独特的魅力。以上就是保研的三大硬条件。如果想顺利通过取得offer，只掌握这三项成果是不够的。保研面试归根结底就是考察学生是否具有读研的潜质。学习英语科研证明你具有了读研的硬实力，而个人软实力也不容忽视，比如你的沟通能力、思维能力、文化修养等条件。这些能力需要在三年里有意识地提高。其中，培养几个积极的爱好对各方面的提升有很大的作用，一方面通过爱好可以交到一群挚友，扩大交际圈，提高为人处事能力，另一方面有益的爱好可以在你遇到瓶颈或挫折时起到积极的调节作用，对学习科研的顺利进行有很大帮助.我在面试的过程中就被多次问到有什么特长爱好以及科研过程中遇到挫折如何调整心态等问题，因为我的爱好比较积极广泛所以老师们都较为认可。我认为能顺利通过复试，掌握令人舒适的沟通技巧以及培养除了学习之外能体现你综合素质的闪光点也是至关重要的。正如以上所写，回头看来想要成功保研需要提高的素质能力实在太多了，大家可能会有疑问，三年里真的能做到兼顾学习英语科研并且全面发展吗，自己可能根本达不到这个高度是不是就无缘保研了？我想说的是，千万不要为了保研这个目标过于功利地培养以上的能力。如果得失心过重，不仅可能因为压力过大或信心不足而达不成目标，而且可能没能如愿保研而自我怀疑甚至心态崩溃。我并不是在大一的时候就听说保研需要这些基本素质并刻意沿着这条轨迹走的，而是在仔细弄懂每一个知识点，认真对待接手的每一件学习科研任务后自然而然养成的。就算最后没能成功保研，我相信这三年认真打下的专业基础以及培养的各项能力也足够应对考研，甚至未来未知的各种挑战。所以，同学们如果想要保研，不要因为看着高不可攀的目标而退缩，当你全力去做一件事的时候，整个宇宙都会为你助力。最后，我想把《我，堂吉诃德》里的一段台词送给所有追梦的同学们：追梦，不会成真的梦，忍受，不能承受的痛，挑战，不可战胜的敌手，跋涉，无人敢行的路。改变，不容撼动的错，仰慕，纯真高洁的心，远征，不惧伤痛与疲惫，去摘，遥不可及的星。姓名：曹鑫专业：复合材料与工程研究生录取院校：西北工业大学录取专业：材料学高中毕业学校：山东省昌乐一中大学期间荣誉辅修国际经济与贸易专业。获国家励志奖学金三次，青岛大学一等奖学金四次;获 “优秀团干部”，“学习标兵”，“图书馆优秀志愿者” 荣誉称号。参加第十届山东省大学生科技节——山东省大学生物理竞赛，荣获 B 类二等奖；参加青岛大学第二届“校长杯”创新创业大赛，以“阿尔法狗教育”项目荣获银奖；参加第六届青岛大学化学实验技能竞赛，荣获二等奖；参与校级大学生创新创业训练计划项目，在彭乔虹老师的指导下进行“COFs 改性多孔聚合物微球的合成与应用”；参加2020年全国大学生组织管理能力大赛，获校级赛优秀奖；参加2020年第四届全国大学生环保知识竞赛，获优秀奖。想对学弟学妹说的话：推免准备流程:前提：取得推荐免试机会。参考本校保研政策：一般考试课平均成绩排名前5%（四舍五入）和1名特长保研，英语过六级。准备材料（记得扫描保存电子版）①前五个学期的成绩单及成绩证明（带教务处公章）②整理获奖证书（含金量高的优先）；论文（如果已经发表，要记得复印刊物的封面，目录和刊物上你的文章那几页）③教授推荐信(两封)④制作个人简历及陈述，个人陈述中一般包含学习成绩、科学活动、学习计划及就业目标。接下来就是从5月份开始，通过保研论坛、学校官网等了解到夏令营信息方式（可以海投，所以建议用便签记录下意向学校的报名时间和夏令营时间）；联系导师；准备中英文自我介绍、个人展示PPT、复习专业知识参加夏令营/预推免；最后填报系统。给学弟学妹的建议：无论考研、保研还是选择工作，做到心中有数，有原则，有底线，有计划。学，学个踏实；玩，玩个痛快。学习知识的过程是一种认知过程，课上认真听课，理解知识；课后及时梳理，掌握知识；获得知识的深浅得发挥个人主观能动性了。哈哈哈说的文邹邹的，就是说得自己努力才行，脸皮厚一点，及时向外界寻求建议，比如老师、学长学姐、周围同学，虚心请教，重在真诚。加上一些考试技巧，会得到令自己满意的结果。关于竞赛方面，希望学弟学妹们在自己行有余力的情况下，多参加一些比赛和实践活动，提高自己的综合素质。至于难不难，水不水，现在回忆起来也就那回事，都是经历！积极进入实验室，能力强的争取发个论文，美哉！遇到困难，有压力是正常的。学会自我调节，生活是自己的，开心最重要。遇困难我会先建设心理防线，进行积极的自我暗示，“我可以，我能行”，调节情绪就写个日记，看个动作电影，和朋友出去吃吃喝喝，大不了哭一场，泪干了生活继续。当然每个人都有自己独特的调压方式，仅供参考吧，合适最重要，心理健康最重要。自己的感受：作为一个普通姑娘，我是幸运的，是幸福的。大学时光很快，我希望能看到自己的成长和变化，非常感恩家人们一路上的支持和包容，感谢老师们、学长学姐们、朋友们一路上的帮助和指导。希望同学们及时做出自己的规划，脚踏实地，拿得起放得下，不必囿于过去和现在。咱们未来可期，一起加油。姓名：曲绍磊专业：高分子材料与工程（创新班）研究生录取院校：上海交通大学录取专业:化学化工学院高分子系高中毕业学校：山东省蓬莱第二中学大学曾获荣誉共青团员。曾荣获国家励志奖学金，连续5个学期荣获青岛大学一等奖学金。曾荣获“学习标兵”、“自强之星”、“优秀团员”、“优秀团干部”等荣誉称号。参加第十届全国大学生数学竞赛获得国家三等奖，省二等奖的成绩。想对学弟学妹说的话：首先得明确保研条件：考试课平均成绩前5%，通过英语六级考试。保研是一场长久的信息战，一般从三四月份就可以开始着手准备，可以到心仪学校官网了解历年来的保研动态以及需要准备的材料（一般包括个人简历，个人陈述，推荐信，成绩单，获奖证书及四六级证书），建议可以提前准备一个PPT个人介绍。其次就是5月左右开始陆续推出夏令营报名，对于特别的院校建议到学校研招网查看。建议有精力，有条件的同学可以采取海投的方式，毕竟夏令营属于第一次招生可以选择的学校有很多并且通过率也高，明年可能是线下夏令营这也需要学弟学妹们做好取舍，做到自己不后悔，不给自己留遗憾。再就是预报名，这个时候有的学校门槛会变高但是也可以被很好的院校录取。对于面试，你们需要做的准备就是注意仪容仪表，一段自我介绍（最好中英文都有），英语口语，专业课知识（理论和实践）。有能力的同学建议早点进入实验室，提早开始科研训练，提高自己的科研能力。因为在面试中每个学校基本都会问到科研经验，这个时候你如果可以详细描述自己的实验，那必然会给自己加分，但是这也是在确保自己成绩可以的情况下。建议能权衡好自己的学习时间，制定合理的学习计划。保研面试后也会有很多的问题，比如联系导师，是否填承诺书等。对于联系导师，我建议大家还是尽量早点联系，在官网找到老师邮箱发邮件，最好附上一份漂亮简洁的简介发过去（有需要的可以找我要联系导师模板）。联系老师一定要主动，大胆，不要不好意思（后边我会说我联系导师的过程）。承诺书这个问题还是看自己，确实觉得学校不错就可以定下来……对于我自己，我采取的是海投的方式，夏令营进入复试的有上海交通大学（获得优营），浙江大学（面试未通过），哈尔滨工业大学（优营条件填承诺书），中山大学（面试未通过）。面试的时候专业课一定要好好准备，我复习的不是很充分，导致面试不是特别充分。上海交通大学是我第一个面试的高校，面试过程总体还算不错，拿到优营，于是我就放弃了哈工大的优营。我是在入营的第二天开始联系导师，我第一个联系的导师就是我最终确定的老师，而且是我很喜欢的老师。第一次发邮件，老师委婉拒绝了我说是没有名额了，在确定拿到优营后，我又厚着脸皮跟老师发邮件，这次老师给了我希望“说让我等等看看能不能跟学院调出名额”，后来等着调整名额。在8月底学校公布学硕专硕名额（由于面试靠后我是专硕），本来我想放弃报考，我于是再次鼓起勇气问老师有没有名额，老师说确定可以给我名额，我就同意报考了（因为上交的学硕专硕培养计划一样，只是专硕学费贵了）。此后一直跟老师保持着联系，在10月10日（报名前两天）又跟老师说了我是专硕，11号老师跟我通电话说是专硕学硕一样不会有区别对待，又跟我说他有一个博士名额，问我有没有直博意愿。经过再三考虑，询问指导老师吴广磊老师后，我跟导师确定了直博。其实我面试拿到上交优营之后并不顺利，可以说一波三折，期间我也参加了预报名天津大学（未通过），西安交通大学（通过面试），但是还好最后的结果是好的。我想跟学弟学妹们说的就是要积极主动跟你选的导师联系，这也是你向他表现的机会，还有也可以找本科导师询问一下建议，要主动跟老师联系，这样你才不会被动，如果面临线下夏令营你们更需要主动展示自己了，不要错过任何一个机会。来源：青岛大学 青岛大学本科招生 编辑：宋晓青封面：户世兴 内容源于：青大材院

新智元推荐 作者：知乎专栏：深度学习前沿笔记作者：张俊林【新智元导读】自然语言处理中的三大特征处理器：RNN、CNN、Transformer，它们目前谁各方面占据优势?未来谁又更有前途呢？这篇文章用目前的各种实验数据给出了说明，结论是：放弃幻想，全面拥抱Transformer。在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对 2019 做着规划，当然也有不少朋友执行力和工作效率比较高，直接把 2018 年初制定的计划拷贝一下，就能在 3 秒钟内完成 2019 年计划的制定，在此表示祝贺。2018 年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是Bert 模型了。在上一篇介绍 Bert 的文章 “从 Word Embedding 到 Bert 模型—自然语言处理中的预训练技术发展史”[1]里，我曾大言不惭地宣称如下两个个人判断：一个是 Bert 这种两阶段的模式（预训练 + Finetuning）必将成为 NLP 领域研究和工业应用的流行方法；第二个是从 NLP 领域的特征抽取器角度来说，Transformer 会逐步取代 RNN 成为最主流的的特征抽取器。关于特征抽取器方面的判断，上面文章限于篇幅，只是给了一个结论，并未给出具备诱惑力的说明，看过我文章的人都知道我不是一个随便下结论的人（那位正在补充下一句：“你随便起来不是……” 的同学请住口，请不要泄露国家机密，你可以继续睡觉，吵到其它同学也没有关系，哈哈），但是为什么当时我会下这个结论呢？本文可以看做是上文的一个外传，会给出比较详实的证据来支撑之前给出的结论。如果对目前 NLP 里的三大特征抽取器的未来走向趋势做个宏观判断的话，我的判断是这样的：RNN 人老珠黄，已经基本完成它的历史使命，将来会逐步退出历史舞台；CNN 如果改造得当，将来还是有希望有自己在 NLP 领域的一席之地，如果改造成功程度超出期望，那么还有一丝可能作为割据一方的军阀，继续生存壮大，当然我认为这个希望不大，可能跟宋小宝打篮球把姚明打哭的概率相当；而新欢 Transformer 明显会很快成为 NLP 里担当大任的最主流的特征抽取器。至于将来是否会出现新的特征抽取器，一枪将 Tranformer 挑落马下，继而取而代之成为新的特征抽取山大王？这种担忧其实是挺有必要的，毕竟李商隐在一千年前就告诫过我们说：“君恩如水向东流，得宠忧移失宠愁。 莫向樽前奏花落，凉风只在殿西头。” 当然这首诗看样子目前送给 RNN 是比较贴切的，至于未来 Transformer 是否会失宠？这个问题的答案基本可以是肯定的，无非这个时刻的来临是 3 年之后，还是 1 年之后出现而已。当然，我希望如果是在读这篇文章的你，或者是我，在未来的某一天，从街头拉来一位长相普通的淑女，送到韩国整容，一不小心偏离流水线整容工业的美女模板，整出一位天香国色的绝色，来把 Transformer 打入冷宫，那是最好不过。但是在目前的状态下，即使是打着望远镜，貌似还没有看到有这种资质的候选人出现在我们的视野之内。我知道如果是一位严谨的研发人员，不应该在目前局势还没那么明朗的时候做出如上看似有些武断的明确结论，所以这种说法可能会引起争议。但是这确实就是我目前的真实想法，至于根据什么得出的上述判断？这种判断是否有依据？依据是否充分？相信你在看完这篇文章可以有个属于自己的结论。可能谈到这里，有些平常吃亏吃的少所以喜欢挑刺的同学会质疑说：你凭什么说 NLP 的典型特征抽取器就这三种呢？你置其它知名的特征抽取器比如 Recursive NN 于何地? 嗯，是，很多介绍 NLP 重要进展的文章里甚至把 Recursive NN 当做一项 NLP 里的重大进展，除了它，还有其它的比如 Memory Network 也享受这种部局级尊贵待遇。但是我一直都不太看好这两个技术，而且不看好很多年了，目前情形更坚定了这个看法。而且我免费奉劝你一句，没必要在这两个技术上浪费时间，至于为什么，因为跟本文主题无关，以后有机会再详细说。上面是结论，下面，我们正式进入举证阶段。战场侦查：NLP 任务的特点及任务类型NLP 任务的特点和图像有极大的不同，上图展示了一个例子，NLP 的输入往往是一句话或者一篇文章，所以它有几个特点：首先，输入是个一维线性序列，这个好理解；其次，输入是不定长的，有的长有的短，而这点其实对于模型处理起来也会增加一些小麻烦；再次，单词或者子句的相对位置关系很重要，两个单词位置互换可能导致完全不同的意思。如果你听到我对你说：“你欠我那一千万不用还了” 和 “我欠你那一千万不用还了”，你听到后分别是什么心情？两者区别了解一下；另外，句子中的长距离特征对于理解语义也非常关键，例子参考上图标红的单词，特征抽取器能否具备长距离特征捕获能力这一点对于解决 NLP 任务来说也是很关键的。上面这几个特点请记清，一个特征抽取器是否适配问题领域的特点，有时候决定了它的成败，而很多模型改进的方向，其实就是改造得使得它更匹配领域问题的特性。这也是为何我在介绍 RNN、CNN、Transformer 等特征抽取器之前，先说明这些内容的原因。NLP 是个很宽泛的领域，包含了几十个子领域，理论上只要跟语言处理相关，都可以纳入这个范围。但是如果我们对大量 NLP 任务进行抽象的话，会发现绝大多数 NLP 任务可以归结为几大类任务。两个看似差异很大的任务，在解决任务的模型角度，可能完全是一样的。通常而言，绝大部分 NLP 问题可以归入上图所示的四类任务中：一类是序列标注，这是最典型的 NLP 任务，比如中文分词，词性标注，命名实体识别，语义角色标注等都可以归入这一类问题，它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。第二类是分类任务，比如我们常见的文本分类，情感计算等都可以归入这一类。它的特点是不管文章有多长，总体给出一个分类类别即可。第三类任务是句子关系判断，比如 Entailment，QA，语义改写，自然语言推理等任务都是这个模式，它的特点是给定两个句子，模型判断出两个句子是否具备某种语义关系；第四类是生成式任务，比如机器翻译，文本摘要，写诗造句，看图说话等都属于这一类。它的特点是输入文本内容后，需要自主生成另外一段文字。解决这些不同的任务，从模型角度来讲什么最重要？是特征抽取器的能力。尤其是深度学习流行开来后，这一点更凸显出来。因为深度学习最大的优点是 “端到端（end to end）”，当然这里不是指的从客户端到云端，意思是以前研发人员得考虑设计抽取哪些特征，而端到端时代后，这些你完全不用管，把原始输入扔给好的特征抽取器，它自己会把有用的特征抽取出来。身为资深 Bug 制造者和算法工程师，你现在需要做的事情就是：选择一个好的特征抽取器，选择一个好的特征抽取器，选择一个好的特征抽取器，喂给它大量的训练数据，设定好优化目标（loss function），告诉它你想让它干嘛…….. 然后你觉得你啥也不用干等结果就行了是吧？那你是我见过的整个宇宙中最乐观的人……. 你大量时间其实是用在调参上…….。从这个过程可以看出，如果我们有个强大的特征抽取器，那么中初级算法工程师沦为调参侠也就是个必然了，在 AutoML（自动那啥）流行的年代，也许以后你想当调参侠而不得，李斯说的 “吾欲与若复牵黄犬，俱出上蔡东门逐狡兔，岂可得乎！” 请了解一下。所以请珍惜你半夜两点还在调整超参的日子吧，因为对于你来说有一个好消息一个坏消息，好消息是：对于你来说可能这样辛苦的日子不多了！坏消息是：对于你来说可能这样辛苦的日子不多了！！！那么怎么才能成为算法高手？你去设计一个更强大的特征抽取器呀。下面开始分叙三大特征抽取器。沙场老将 RNN：廉颇老矣，尚能饭否RNN 模型我估计大家都熟悉，就不详细介绍了，模型结构参考上图，核心是每个输入对应隐层节点，而隐层节点之间形成了线性序列，信息由前向后在隐层之间逐步向后传递。我们下面直接进入我想讲的内容。为何 RNN 能够成为解决 NLP 问题的主流特征抽取器我们知道，RNN 自从引入 NLP 界后，很快就成为吸引眼球的明星模型，在 NLP 各种任务中被广泛使用。但是原始的 RNN 也存在问题，它采取线性序列结构不断从前往后收集输入信息，但这种线性序列结构在反向传播的时候存在优化困难问题，因为反向传播路径太长，容易导致严重的梯度消失或梯度爆炸问题。为了解决这个问题，后来引入了 LSTM 和 GRU 模型，通过增加中间状态信息直接向后传播，以此缓解梯度消失问题，获得了很好的效果，于是很快 LSTM 和 GRU 成为 RNN 的标准模型。其实图像领域最早由 HighwayNet/Resnet 等导致模型革命的 skip connection 的原始思路就是从 LSTM 的隐层传递机制借鉴来的。经过不断优化，后来 NLP 又从图像领域借鉴并引入了 attention 机制（从这两个过程可以看到不同领域的相互技术借鉴与促进作用），叠加网络把层深作深，以及引入 Encoder-Decoder 框架，这些技术进展极大拓展了 RNN 的能力以及应用效果。下图展示的模型就是非常典型的使用 RNN 来解决 NLP 任务的通用框架技术大礼包，在更新的技术出现前，你可以在 NLP 各种领域见到这个技术大礼包的身影。上述内容简单介绍了 RNN 在 NLP 领域的大致技术演进过程。那么为什么 RNN 能够这么快在 NLP 流行并且占据了主导地位呢？主要原因还是因为 RNN 的结构天然适配解决 NLP 的问题，NLP 的输入往往是个不定长的线性序列句子，而 RNN 本身结构就是个可以接纳不定长输入的由前向后进行信息线性传导的网络结构，而在 LSTM 引入三个门后，对于捕获长距离特征也是非常有效的。所以 RNN 特别适合 NLP 这种线形序列应用场景，这是 RNN 为何在 NLP 界如此流行的根本原因。RNN 在新时代面临的两个严重问题RNN 在 NLP 界一直红了很多年（2014-2018？），在 2018 年之前，大部分各个子领域的 State of Art 的结果都是 RNN 获得的。但是最近一年来，眼看着 RNN 的领袖群伦的地位正在被动摇，所谓各领风骚 3-5 年，看来网红模型也不例外。那这又是因为什么呢？主要有两个原因。第一个原因在于一些后起之秀新模型的崛起，比如经过特殊改造的 CNN 模型，以及最近特别流行的 Transformer，这些后起之秀尤其是 Transformer 的应用效果相比 RNN 来说，目前看具有明显的优势。这是个主要原因，老人如果干不过新人，又没有脱胎换骨自我革命的能力，自然要自觉或不自愿地退出历史舞台，这是自然规律。至于 RNN 能力偏弱的具体证据，本文后面会专门谈，这里不展开讲。当然，技术人员里的 RNN 保皇派们，这个群体规模应该还是相当大的，他们不会轻易放弃曾经这么热门过的流量明星的，所以也想了或者正在想一些改进方法，试图给 RNN 延年益寿。至于这些方法是什么，有没有作用，后面也陆续会谈。另外一个严重阻碍 RNN 将来继续走红的问题是：RNN 本身的序列依赖结构对于大规模并行计算来说相当之不友好。通俗点说，就是 RNN 很难具备高效的并行计算能力，这个乍一看好像不是太大的问题，其实问题很严重。如果你仅仅满足于通过改 RNN 发一篇论文，那么这确实不是大问题，但是如果工业界进行技术选型的时候，在有快得多的模型可用的前提下，是不太可能选择那么慢的模型的。一个没有实际落地应用支撑其存在价值的模型，其前景如何这个问题，估计用小脑思考也能得出答案。那问题来了：为什么 RNN 并行计算能力比较差？是什么原因造成的？我们知道，RNN 之所以是 RNN，能将其和其它模型区分开的最典型标志是：T 时刻隐层状态的计算，依赖两个输入，一个是 T 时刻的句子输入单词 Xt，这个不算特点，所有模型都要接收这个原始输入；关键的是另外一个输入，T 时刻的隐层状态 St 还依赖 T-1 时刻的隐层状态 S(t-1) 的输出，这是最能体现 RNN 本质特征的一点，RNN 的历史信息是通过这个信息传输渠道往后传输的，示意参考上图。那么为什么 RNN 的并行计算能力不行呢？问题就出在这里。因为 T 时刻的计算依赖 T-1 时刻的隐层计算结果，而 T-1 时刻的计算依赖 T-2 时刻的隐层计算结果…….. 这样就形成了所谓的序列依赖关系。就是说只能先把第 1 时间步的算完，才能算第 2 时间步的结果，这就造成了 RNN 在这个角度上是无法并行计算的，只能老老实实地按着时间步一个单词一个单词往后走。而 CNN 和 Transformer 就不存在这种序列依赖问题，所以对于这两者来说并行计算能力就不是问题，每个时间步的操作可以并行一起计算。那么能否针对性地对 RNN 改造一下，提升它的并行计算能力呢？如果可以的话，效果如何呢？下面我们讨论一下这个问题。如何改造 RNN 使其具备并行计算能力？上面说过，RNN 不能并行计算的症结所在，在于 T 时刻对 T-1 时刻计算结果的依赖，而这体现在隐层之间的全连接网络上。既然症结在这里，那么要想解决问题，也得在这个环节下手才行。在这个环节多做点什么事情能够增加 RNN 的并行计算能力呢？你可以想一想。其实留给你的选项并不多，你可以有两个大的思路来改进：一种是仍然保留任意连续时间步（T-1 到 T 时刻）之间的隐层连接；而另外一种是部分地打断连续时间步（T-1 到 T 时刻）之间的隐层连接 。我们先来看第一种方法，现在我们的问题转化成了：我们仍然要保留任意连续时间步（T-1 到 T 时刻）之间的隐层连接，但是在这个前提下，我们还要能够做到并行计算，这怎么处理呢？因为只要保留连续两个时间步的隐层连接，则意味着要计算 T 时刻的隐层结果，就需要 T-1 时刻隐层结果先算完，这不又落入了序列依赖的陷阱里了吗？嗯，确实是这样，但是为什么一定要在不同时间步的输入之间并行呢？没有人说 RNN 的并行计算一定发生在不同时间步上啊，你想想，隐层是不是也是包含很多神经元？那么在隐层神经元之间并行计算行吗？如果你要是还没理解这是什么意思，那请看下图。上面的图只显示了各个时间步的隐层节点，每个时间步的隐层包含 3 个神经元，这是个俯视图，是从上往下看 RNN 的隐层节点的。另外，连续两个时间步的隐层神经元之间仍然有连接，上图没有画出来是为了看着简洁一些。这下应该明白了吧，假设隐层神经元有 3 个，那么我们可以形成 3 路并行计算（红色箭头分隔开成了三路），而每一路因为仍然存在序列依赖问题，所以每一路内仍然是串行的。大思路应该明白了是吧？但是了解 RNN 结构的同学会发现这样还遗留一个问题：隐层神经元之间的连接是全连接，就是说 T 时刻某个隐层神经元与 T-1 时刻所有隐层神经元都有连接，如果是这样，是无法做到在神经元之间并行计算的，你可以想想为什么，这个简单，我假设你有能力想明白。那么怎么办呢？很简单，T 时刻和 T-1 时刻的隐层神经元之间的连接关系需要改造，从之前的全连接，改造成对应位置的神经元（就是上图被红箭头分隔到同一行的神经元之间）有连接，和其它神经元没有连接。这样就可以解决这个问题，在不同路的隐层神经元之间可以并行计算了。第一种改造 RNN 并行计算能力的方法思路大致如上所述，这种方法的代表就是论文 “Simple Recurrent Units for Highly Parallelizable Recurrence” 中提出的 SRU 方法，它最本质的改进是把隐层之间的神经元依赖由全连接改成了哈达马乘积，这样 T 时刻隐层单元本来对 T-1 时刻所有隐层单元的依赖，改成了只是对 T-1 时刻对应单元的依赖，于是可以在隐层单元之间进行并行计算，但是收集信息仍然是按照时间序列来进行的。所以其并行性是在隐层单元之间发生的，而不是在不同时间步之间发生的。这其实是比较巧妙的一种方法，但是它的问题在于其并行程度上限是有限的，并行程度取决于隐层神经元个数，而一般这个数值往往不会太大，再增加并行性已经不太可能。另外每一路并行线路仍然需要序列计算，这也会拖慢整体速度。SRU 的测试速度为：在文本分类上和原始 CNN（Kim 2014）的速度相当，论文没有说 CNN 是否采取了并行训练方法。 其它在复杂任务阅读理解及 MT 任务上只做了效果评估，没有和 CNN 进行速度比较，我估计这是有原因的，因为复杂任务往往需要深层网络，其它的就不妄作猜测了。第二种改进典型的思路是：为了能够在不同时间步输入之间进行并行计算，那么只有一种做法，那就是打断隐层之间的连接，但是又不能全打断，因为这样基本就无法捕获组合特征了，所以唯一能选的策略就是部分打断，比如每隔 2 个时间步打断一次，但是距离稍微远点的特征如何捕获呢？只能加深层深，通过层深来建立远距离特征之间的联系。代表性模型比如上图展示的 Sliced RNN。我当初看到这个模型的时候，心里忍不住发出杠铃般的笑声，情不自禁地走上前跟他打了个招呼：你好呀，CNN 模型，想不到你这个糙汉子有一天也会穿上粉色裙装，装扮成 RNN 的样子出现在我面前啊，哈哈。了解 CNN 模型的同学看到我上面这句话估计会莞尔会心一笑：这不就是简化版本的 CNN 吗？不了解 CNN 的同学建议看完后面 CNN 部分再回头来看看是不是这个意思。那经过这种改造的 RNN 速度改进如何呢？论文给出了速度对比实验，归纳起来，SRNN 速度比 GRU 模型快 5 到 15 倍，嗯，效果不错，但是跟对比模型 DC-CNN 模型速度比较起来，比 CNN 模型仍然平均慢了大约 3 倍。这很正常但是又有点说不太过去，说正常是因为本来这就是把 RNN 改头换面成类似 CNN 的结构，而片段里仍然采取 RNN 序列模型，所以必然会拉慢速度，比 CNN 慢再正常不过了。说 “说不过去” 是指的是：既然本质上是 CNN，速度又比 CNN 慢，那么这么改的意义在哪里？为什么不直接用 CNN 呢？是不是？前面那位因为吃亏吃的少所以爱抬杠的同学又会说了：也许人家效果特别好呢。嗯，从这个结构的作用机制上看，可能性不太大。你说论文实验部分证明了这一点呀，我认为实验部分对比试验做的不充分，需要补充除了 DC-CNN 外的其他 CNN 模型进行对比。当然这点纯属个人意见，别当真，因为我讲起话来的时候经常摇头晃脑，此时一般会有人惊奇地跟我反馈说：为什么你一讲话我就听到了水声？上面列举了两种大的改进 RNN 并行计算能力的思路，我个人对于 RNN 的并行计算能力持悲观态度，主要因为 RNN 本质特性决定了我们能做的选择太少。无非就是选择打断还是不打断隐层连接的问题。如果选择打断，就会面临上面的问题，你会发现它可能已经不是 RNN 模型了，为了让它看上去还像是 RNN，所以在打断片段里仍然采取 RNN 结构，这样无疑会拉慢速度，所以这是个两难的选择，与其这样不如直接换成其它模型；如果我们选择不打断，貌似只能在隐层神经元之间进行并行，而这样做的缺点是：一方面并行能力上限很低；另外一方面里面依然存在的序列依赖估计仍然是个问题。这是为何悲观的原因，主要是看不到大的希望。偏师之将 CNN：刺激战场绝地求生在一年多前，CNN 是自然语言处理中除了 RNN 外最常见的深度学习模型，这里介绍下 CNN 特征抽取器，会比 RNN 说得详细些，主要考虑到大家对它的熟悉程度可能没有 RNN 那么高。NLP 中早期的怀旧版 CNN 模型最早将 CNN 引入 NLP 的是 Kim 在 2014 年做的工作，论文和网络结构参考上图。一般而言，输入的字或者词用 Word Embedding的方式表达，这样本来一维的文本信息输入就转换成了二维的输入结构，假设输入 X 包含 n 个字符，而每个字符的 Word Embedding 的长度为 d，那么输入就是 d*n 的二维向量。卷积层本质上是个特征抽取层，可以设定超参数 F 来指定卷积层包含多少个卷积核（Filter）。对于某个 Filter 来说，可以想象有一个 d*k 大小的移动窗口从输入矩阵的第一个字开始不断往后移动，其中 k 是 Filter 指定的窗口大小，d 是 Word Embedding 长度。对于某个时刻的窗口，通过神经网络的非线性变换，将这个窗口内的输入值转换为某个特征值，随着窗口不断往后移动，这个 Filter 对应的特征值不断产生，形成这个 Filter 的特征向量。这就是卷积核抽取特征的过程。卷积层内每个 Filter 都如此操作，就形成了不同的特征序列。Pooling 层则对 Filter 的特征进行降维操作，形成最终的特征。一般在 Pooling 层之后连接全联接层神经网络，形成最后的分类过程。这就是最早应用在 NLP 领域 CNN 模型的工作机制，用来解决 NLP 中的句子分类任务，看起来还是很简洁的，之后陆续出现了在此基础上的改进模型。这些怀旧版 CNN 模型在一些任务上也能和当时怀旧版本的 RNN 模型效果相当，所以在 NLP 若干领域也能野蛮生长，但是在更多的 NLP 领域，还是处于被 RNN 模型压制到抑郁症早期的尴尬局面。那为什么在图像领域打遍天下无敌手的 CNN，一旦跑到 NLP 的地盘，就被 RNN 这个地头蛇压制得无颜见图像领域江东父老呢？这说明这个版本的 CNN 还是有很多问题的，其实最根本的症结所在还是老革命遇到了新问题，主要是到了新环境没有针对新环境的特性做出针对性的改变，所以面临水土不服的问题。CNN 能在 RNN 纵横的各种 NLP 任务环境下生存下来吗？谜底即将揭晓。CNN 的进化：物竞天择的模型斗兽场下面我们先看看怀旧版 CNN 存在哪些问题，然后看看我们的 NLP 专家们是如何改造 CNN，一直改到目前看上去还算效果不错的现代版本 CNN 的。首先，我们先要明确一点：CNN 捕获到的是什么特征呢？从上述怀旧版本 CNN 卷积层的运作机制你大概看出来了，关键在于卷积核覆盖的那个滑动窗口，CNN 能捕获到的特征基本都体现在这个滑动窗口里了。大小为 k 的滑动窗口轻轻的穿过句子的一个个单词，荡起阵阵涟漪，那么它捕获了什么? 其实它捕获到的是单词的 k-gram 片段信息，这些 k-gram 片段就是 CNN 捕获到的特征，k 的大小决定了能捕获多远距离的特征。说完这个，我们来看 Kim 版 CNN 的第一个问题：它只有一个卷积层。表面看上去好像是深度不够的问题是吧？我会反问你说：为什么要把 CNN 作深呢？其实把深度做起来是手段，不是目的。只有一个卷积层带来的问题是：对于远距离特征，单层 CNN 是无法捕获到的，如果滑动窗口 k 最大为 2，而如果有个远距离特征距离是 5，那么无论上多少个卷积核，都无法覆盖到长度为 5 的距离的输入，所以它是无法捕获长距离特征的。那么怎样才能捕获到长距离的特征呢？有两种典型的改进方法：一种是假设我们仍然用单个卷积层，滑动窗口大小 k 假设为 3，就是只接收三个输入单词，但是我们想捕获距离为 5 的特征，怎么做才行？显然，如果卷积核窗口仍然覆盖连续区域，这肯定是完不成任务的。提示一下：你玩过跳一跳是吧？能采取类似策略吗？对，你可以跳着覆盖呀，是吧？这就是 Dilated 卷积的基本思想，确实也是一种解决方法。第二种方法是把深度做起来。第一层卷积层，假设滑动窗口大小 k 是 3，如果再往上叠一层卷积层，假设滑动窗口大小也是 3，但是第二层窗口覆盖的是第一层窗口的输出特征，所以它其实能覆盖输入的距离达到了 5。如果继续往上叠加卷积层，可以继续增大卷积核覆盖输入的长度。上面是两种典型的解决 CNN 远距离特征捕获能力的方案，Dilated CNN 偏技巧一些，而且叠加卷积层时超参如何设置有些学问，因为连续跳接可能会错过一些特征组合，所以需要精心调节参数搭配，保证所有可能组合都被覆盖到。相对而言，把 CNN 作深是主流发展方向。上面这个道理好理解，其实自从 CNN 一出现，人们就想各种办法试图把 CNN 的深度做起来，但是现实往往是无情的，发现怎么折腾，CNN 做 NLP 问题就是做不深，做到 2 到 3 层卷积层就做不上去了，网络更深对任务效果没什么帮助（请不要拿 CharCNN 来做反例，后来研究表明使用单词的 2 层 CNN 效果超过 CharCNN）。目前看来，还是深层网络参数优化手段不足导致的这个问题，而不是层深没有用。后来 Resnet 等图像领域的新技术出现后，很自然地，人们会考虑把 Skip Connection 及各种 Norm 等参数优化技术引入，这才能慢慢把 CNN 的网络深度做起来。上面说的是 Kim 版本 CNN 的第一个问题，无法捕获远距离特征的问题，以及后面科研人员提出的主要解决方案。回头看 Kim 版本 CNN 还有一个问题，就是那个 Max Pooling 层，这块其实与 CNN 能否保持输入句子中单词的位置信息有关系。首先我想问个问题：RNN 因为是线性序列结构，所以很自然它天然就会把位置信息编码进去；那么，CNN 是否能够保留原始输入的相对位置信息呢？我们前面说过对于 NLP 问题来说，位置信息是很有用的。其实 CNN 的卷积核是能保留特征之间的相对位置的，道理很简单，滑动窗口从左到右滑动，捕获到的特征也是如此顺序排列，所以它在结构上已经记录了相对位置信息了。但是如果卷积层后面立即接上 Pooling 层的话，Max Pooling 的操作逻辑是：从一个卷积核获得的特征向量里只选中并保留最强的那一个特征，所以到了 Pooling 层，位置信息就被扔掉了，这在 NLP 里其实是有信息损失的。所以在 NLP 领域里，目前 CNN 的一个发展趋势是抛弃 Pooling 层，靠全卷积层来叠加网络深度，这背后是有原因的（当然图像领域也是这个趋势）。上图展示了在 NLP 领域能够施展身手的摩登 CNN 的主体结构，通常由 1-D 卷积层来叠加深度，使用 Skip Connection 来辅助优化，也可以引入 Dilated CNN 等手段。比如 ConvS2S 主体就是上图所示结构，Encoder 包含 15 个卷积层，卷积核 kernel size=3，覆盖输入长度为 25。当然对于 ConvS2S 来说，卷积核里引入 GLU 门控非线性函数也有重要帮助，限于篇幅，这里不展开说了，GLU 貌似是 NLP 里 CNN 模型必备的构件，值得掌握。再比如 TCN（论文：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling），集成了几项技术：利用 Dilated CNN 拓展单层卷积层的输入覆盖长度，利用全卷积层堆叠层深，使用 Skip Connection 辅助优化，引入 Casual CNN 让网络结构看不到 T 时间步后的数据。不过 TCN 的实验做得有两个明显问题：一个问题是任务除了语言模型外都不是典型的 NLP 任务，而是合成数据任务，所以论文结论很难直接说就适合 NLP 领域；另外一点，它用来进行效果比较的对比方法，没有用当时效果很好的模型来对比，比较基准低。所以 TCN 的模型效果说服力不太够。其实它该引入的元素也基本引入了，实验说服力不够，我觉得可能是它命中缺 GLU 吧。除此外，简单谈一下 CNN 的位置编码问题和并行计算能力问题。上面说了，CNN 的卷积层其实是保留了相对位置信息的，只要你在设计模型的时候别手贱，中间层不要随手瞎插入 Pooling 层，问题就不大，不专门在输入部分对 position 进行编码也行。但是也可以类似 ConvS2S 那样，专门在输入部分给每个单词增加一个 position embedding，将单词的 position embedding 和词向量 embedding 叠加起来形成单词输入，这样也可以，也是常规做法。至于 CNN 的并行计算能力，那是非常强的，这其实很好理解。我们考虑单层卷积层，首先对于某个卷积核来说，每个滑动窗口位置之间没有依赖关系，所以完全可以并行计算；另外，不同的卷积核之间也没什么相互影响，所以也可以并行计算。CNN 的并行度是非常自由也非常高的，这是 CNN 的一个非常好的优点。以上内容介绍了怀旧版 CNN 是如何在 NLP 修罗场一步步通过自我进化生存到今天的。CNN 的进化方向，如果千言万语一句话归纳的话，那就是：想方设法把 CNN 的深度做起来，随着深度的增加，很多看似无关的问题就随之解决了。就跟我们国家最近 40 年的主旋律是发展经济一样，经济发展好了，很多问题就不是问题了。最近几年之所以大家感到各方面很困难，症结就在于经济不行了，所以很多问题无法通过经济带动来解决，于是看似各种花样的困难就冒出来，这是一个道理。那么介绍了这么多，摩登版 CNN 效果如何呢？与 RNN 及 Transforme 比起来怎样？别着急，后面会专门谈这个问题。白衣骑士 Transformer：盖世英雄站上舞台Transformer 是谷歌在 17 年做机器翻译任务的 “Attention is all you need” 的论文中提出的，引起了相当大的反响。 每一位从事 NLP 研发的同仁都应该透彻搞明白 Transformer，它的重要性毫无疑问，尤其是你在看完我这篇文章之后，我相信你的紧迫感会更迫切，我就是这么一位善于制造焦虑的能手。不过这里没打算重点介绍它，想要入门 Transformer 的可以参考以下三篇文章：一个是 Jay Alammar 可视化地介绍 Transformer 的博客文章 The Illustrated Transformer ，非常容易理解整个机制，建议先从这篇看起， 这是中文翻译版本；第二篇是 Calvo 的博客：Dissecting BERT Part 1: The Encoder ，尽管说是解析 Bert，但是因为 Bert 的 Encoder 就是 Transformer，所以其实它是在解析 Transformer，里面举的例子很好；再然后可以进阶一下，参考哈佛大学 NLP 研究组写的 “The Annotated Transformer. ”，代码原理双管齐下，讲得也很清楚。下面只说跟本文主题有关的内容。这里要澄清一下，本文所说的 Transformer 特征抽取器并非原始论文所指。我们知道，“Attention is all you need” 论文中说的的 Transformer 指的是完整的 Encoder-Decoder 框架，而我这里是从特征提取器角度来说的，你可以简单理解为论文中的 Encoder 部分。因为 Encoder 部分目的比较单纯，就是从原始句子中提取特征，而 Decoder 部分则功能相对比较多，除了特征提取功能外，还包含语言模型功能，以及用 attention 机制表达的翻译模型功能。所以这里请注意，避免后续理解概念产生混淆。Transformer 的 Encoder 部分（不是上图一个一个的标为 encoder 的模块，而是红框内的整体，上图来自 The Illustrated Transformer，Jay Alammar 把每个 Block 称为 Encoder 不太符合常规叫法）是由若干个相同的 Transformer Block 堆叠成的。 这个 Transformer Block 其实才是 Transformer 最关键的地方，核心配方就在这里。那么它长什么样子呢？它的照片见上图，看上去是不是很可爱，有点像安卓机器人是吧？这里需要强调一下，尽管 Transformer 原始论文一直重点在说 Self Attention，但是目前来看，能让 Transformer 效果好的，不仅仅是 Self attention，这个 Block 里所有元素，包括 Multi-head self attention，Skip connection，LayerNorm，FF 一起在发挥作用。为什么这么说？你看到后面会体会到这一点。我们针对 NLP 任务的特点来说下 Transformer 的对应解决方案。首先，自然语言一般是个不定长的句子，那么这个不定长问题怎么解决呢？Transformer 做法跟 CNN 是类似的，一般设定输入的最大长度，如果句子没那么长，则用 Padding 填充，这样整个模型输入起码看起来是定长的了。另外，NLP 句子中单词之间的相对位置是包含很多信息的，上面提过，RNN 因为结构就是线性序列的，所以天然会将位置信息编码进模型；而 CNN 的卷积层其实也是保留了位置相对信息的，所以什么也不做问题也不大。但是对于 Transformer 来说，为了能够保留输入句子单词之间的相对位置信息，必须要做点什么。为啥它必须要做点什么呢？因为输入的第一层网络是 Muli-head self attention 层，我们知道，Self attention 会让当前输入单词和句子中任意单词发生关系，然后集成到一个 embedding 向量里，但是当所有信息到了 embedding 后，位置信息并没有被编码进去。所以，Transformer 不像 RNN 或 CNN，必须明确的在输入端将 Positon 信息编码，Transformer 是用位置函数来进行位置编码的，而 Bert 等模型则给每个单词一个 Position embedding，将单词 embedding 和单词对应的 position embedding 加起来形成单词的输入 embedding，类似上文讲的 ConvS2S 的做法。而关于 NLP 句子中长距离依赖特征的问题，Self attention 天然就能解决这个问题，因为在集成信息的时候，当前单词和句子中任意单词都发生了联系，所以一步到位就把这个事情做掉了。不像 RNN 需要通过隐层节点序列往后传，也不像 CNN 需要通过增加网络深度来捕获远距离特征，Transformer 在这点上明显方案是相对简单直观的。说这些是为了单独介绍下 Transformer 是怎样解决 NLP 任务几个关键点的。Transformer 有两个版本：Transformer base和 Transformer Big。两者结构其实是一样的，主要区别是包含的 Transformer Block 数量不同，Transformer base 包含 12 个 Block 叠加，而 Transformer Big 则扩张一倍，包含 24 个 Block。无疑 Transformer Big 在网络深度，参数量以及计算量相对 Transformer base 翻倍，所以是相对重的一个模型，但是效果也最好。华山论剑：三大特征抽取器比较结合 NLP 领域自身的特点，上面几个部分分别介绍了 RNN／CNN／Transformer 各自的特性。从上面的介绍，看上去好像三大特征抽取器在 NLP 领域里各有所长，推想起来要是把它们拉到 NLP 任务竞技场角斗，一定是互有胜负，各擅胜场吧？事实究竟如何呢？是三个特征抽取器三花齐放还是某一个一枝独秀呢？我们通过一些实验来说明这个问题。为了更细致和公平地做对三者进行比较，我准备从几个不同的角度来分别进行对比，我原先打算从以下几个维度来进行分析判断：句法特征提取能力；语义特征提取能力；长距离特征捕获能力；任务综合特征抽取能力。上面四个角度是从 NLP 的特征抽取器能力强弱角度来评判的，另外再加入并行计算能力及运行效率，这是从是否方便大规模实用化的角度来看的。因为目前关于特征抽取器句法特征抽取能力方面进行比较的文献很少，好像只看到一篇文章，结论是 CNN 在句法特征提取能力要强于 RNN，但是因为是比较早的文章，而且没有对比 transformer 在句法特征抽取方面的能力，所以这块很难单独比较，于是我就简化为对以下几项能力的对比：语义特征提取能力；长距离特征捕获能力；任务综合特征抽取能力；并行计算能力及运行效率三者在这些维度各自表现如何呢？下面我们分头进行说明。语义特征提取能力从语义特征提取能力来说，目前实验支持如下结论：Transformer 在这方面的能力非常显著地超过 RNN 和 CNN（在考察语义类能力的任务 WSD 中，Transformer 超过 RNN 和 CNN 大约 4-8 个绝对百分点），RNN 和 CNN 两者能力差不太多。长距离特征捕获能力在长距离特征捕获能力方面，目前在特定的长距离特征捕获能力测试任务中（主语 - 谓语一致性检测，比如 we……..are…），实验支持如下结论：原生 CNN 特征抽取器在这方面极为显著地弱于 RNN 和 Transformer，Transformer 微弱优于 RNN 模型 (尤其在主语谓语距离小于 13 时)，能力由强到弱排序为 Transformer>RNN>>CNN; 但在比较远的距离上（主语谓语距离大于 13），RNN 微弱优于 Transformer，所以综合看，可以认为Transformer 和 RNN 在这方面能力差不太多，而 CNN 则显著弱于前两者。那么为什么 CNN 在捕获长距离特征方面这么弱呢？这个我们在前文讲述 CNN 的时候就说过，CNN 解决这个问题是靠堆积深度来获得覆盖更长的输入长度的，所以 CNN 在这方面的表现与卷积核能够覆盖的输入距离最大长度有关系。如果通过增大卷积核的 kernel size，同时加深网络深度，以此来增加输入的长度覆盖。实验证明这能够明显提升 CNN 的 long-range 特征捕获能力。但是尽管如此，CNN 在这方面仍然显著弱于 RNN 和 Transformer。这个问题背后的原因是什么呢（因为上述主语 - 谓语一致性任务中，CNN 的深度肯定可以覆盖 13-25 这个长度了，但是表现还是很弱）？其实这是一个很好的值得探索的点。对于 Transformer 来说，Multi-head attention 的 head 数量严重影响 NLP 任务中 Long-range 特征捕获能力：结论是 head 越多越有利于捕获 long-range 特征。在上页 PPT 里写明的论文出来之前，有个工作（论文：Tran. The Importance of Being Recurrent for Modeling Hierarchical Structure）的结论和上述结论不一致：它的结论是在” 主语 - 谓语一致性” 任务上，Transformer 表现是弱于 LSTM 的。如果综合这两篇论文，我们看似得到了相互矛盾的结论，那么到底谁是正确的呢？Why Self-attention 的论文对此进行了探索，它的结论是：这个差异是由于两个论文中的实验中 Transformer 的超参设置不同导致的，其中尤其是 multi-head 的数量，对结果影响严重，而如果正确设置一些超参，那么之前 Trans 的论文结论是不成立的。也就是说，我们目前仍然可以维持下面结论：在远距离特征捕获能力方面，Transformer 和 RNN 能力相近，而 CNN 在这方面则显著弱于前两者。任务综合特征抽取能力上面两项对比是从特征抽取的两个比较重要的单项能力角度来评估的，其实更重要的是在具体任务中引入不同特征抽取器，然后比较效果差异，以此来综合评定三者的综合能力。那么这样就引出一个问题：NLP 中的任务很多，哪些任务是最具有代表性的呢？答案是机器翻译。你会看到很多 NLP 的重要的创新模型都是在机器翻译任务上提出来的，这背后是有道理的，因为机器翻译基本上是对 NLP 各项处理能力综合要求最高的任务之一，要想获得高质量的翻译结果，对于两种语言的词法，句法，语义，上下文处理能力，长距离特征捕获等等更方面都需要考虑进来才行。这是为何看到很多比较工作是在机器翻译上作出的，这里给个背后原因的解释，以避免被质疑任务单一，没有说服力的问题。当然，我预料到那位 “因为吃亏少…. 爱挑刺” 的同学会这么质问我，没关系，即使你对此提出质疑，我依然能够拿出证据，为什么这么讲，请往后看。那么在以机器翻译为代表的综合特征抽取能力方面，三个特征抽取器哪个更好些呢？先给出一个机器翻译任务方面的证据，仍然是 why Self attention 论文的结论，对比实验结果数据参考上图。在两个机器翻译任务中，可以看到，翻译质量指标 BLEU 证明了如下结论：Transformer 综合能力要明显强于 RNN 和 CNN（你要知道，技术发展到现在阶段，BLEU 绝对值提升 1 个点是很难的事情），而 RNN 和 CNN 看上去表现基本相当，貌似 CNN 表现略好一些。你可能觉得一个论文的结论不太能说明问题，那么我再给出一个证据，不过这个证据只对比了 Transformer 和 RNN，没带 CNN 玩，不过关于说服力我相信你不会质疑，实验对比数据如下：上面是 GPT 论文的实验结论，在 8 个不同的 NLP 任务上，在其它条件相同的情况下，只是把特征抽取器从 Transformer 换成 LSTM，平均下来 8 个任务得分掉了 5 个点以上。这具备足够说服力吗？其实还有其它机器翻译方面的实验数据，篇幅原因，不一一列举了。如果你是个较真的人，实在还想看，那请看下一节，里面有另外一个例子的数据让来你服气。如果归纳一下的话，现在能得出的结论是这样的：从综合特征抽取能力角度衡量，Transformer 显著强于 RNN 和 CNN，而 RNN 和 CNN 的表现差不太多，如果一定要在这两者之间比较的话，通常 CNN 的表现要稍微好于 RNN 的效果。当然，需要强调一点，本部分所说的 RNN 和 CNN 指的是原生的 RNN 和 CNN 模型，就是说你可以在经典的结构上增加 attention，堆叠层次等各种改进，但是不包含对本身结构特别大的变动，就是说支持整容，但是不支持变性。这里说的原生版本指的是整容版本，我知道你肯定很关心有没有变性版本的 RNN 和 CNN，我负责任地跟你说，有。你想知道它变性之后是啥样子？等会你就看到了，有它们的照片给你。并行计算能力及运算效率关于三个特征抽取器的并行计算能力，其实我们在前文分述三个模型的时候都大致提过，在此仅做个归纳，结论如下：RNN 在并行计算方面有严重缺陷，这是它本身的序列依赖特性导致的，所谓成也萧何败也萧何，它的这个线形序列依赖性非常符合解决 NLP 任务，这也是为何 RNN 一引入到 NLP 就很快流行起来的原因，但是也正是这个线形序列依赖特性，导致它在并行计算方面要想获得质的飞跃，看起来困难重重，近乎是不太可能完成的任务。而对于 CNN 和 Transformer 来说，因为它们不存在网络中间状态不同时间步输入的依赖关系，所以可以非常方便及自由地做并行计算改造，这个也好理解。所以归纳一下的话，可以认为并行计算能力由高到低排序如下：Transformer 和 CNN 差不多，都远远远远强于 RNN。我们从另外一个角度来看，先抛开并行计算能力的问题，单纯地比较一下三个模型的计算效率。可能大家的直观印象是 Transformer 比较重，比较复杂，计算效率比较低，事实是这样的吗？上图列出了单层的 Self attention／RNN／CNN 的计算效率，首先要注意：上面列的是 Self attention， 不是 Transformer 的 Block，因为 Transformer Block 里其实包含了好几层，而不是单层。我们先说 self attention，等会说 Transformer Block 的计算量。从上图可以看出，如果是 self attention/CNN/RNN 单层比较计算量的话，三者都包含一个平方项，区别主要是：self attention 的平方项是句子长度，因为每一个单词都需要和任意一个单词发生关系来计算 attention，所以包含一个 n 的平方项。而 RNN 和 CNN 的平方项则是 embedding size。那么既然都包含平方项，怎么比较三个模型单层的计算量呢？首先容易看出 CNN 计算量是大于 RNN 的，那么 self attention 如何与其它两者比较呢。可以这么考虑：如果句子平均长度 n 大于 embedding size，那么意味着 Self attention 的计算量要大于 RNN 和 CNN；而如果反过来，就是说如果 embedding size 大于句子平均长度，那么明显 RNN 和 CNN 的计算量要大于 self attention 操作。而事实上是怎样？我们可以想一想，一般正常的句子长度，平均起来也就几十个单词吧。而当前常用的 embedding size 从 128 到 512 都常见，所以在大多数任务里面其实 self attention 计算效率是要高于 RNN 和 CNN 的。但是，那位因为吃亏吃的少所以喜欢挑刺的同学会继续质问我：“哥，我想知道的是 Transformer 和 RNN 及 CNN 的计算效率对比，不是 self attention。另外，你能降低你脑袋里发出的水声音量吗？”。嗯，这个质问很合理，我来粗略估算一下，因为 Transformer 包含多层，其中的 skip connection 后的 Add 操作及 LayerNorm 操作不太耗费计算量，我先把它忽略掉，后面的 FFN 操作相对比较耗时，它的时间复杂度应该是 n 乘以 d 的平方。所以如果把 Transformer Block 多层当作一个整体和 RNN 及 CNN 单层对比的话，Transformer Block 计算量肯定是要多于 RNN 和 CNN 的，因为它本身也包含一个 n 乘以 d 的平方，上面列出的 self attention 的时间复杂度就是多出来的计算量。这么说起来，单个 Transformer Block 计算量大于单层 RNN 和 CNN，没毛病。上面考虑的是三者单层的计算量，可以看出结论是：Transformer Block >CNN >RNN。如果是考虑不同的具体模型，会与模型的网络层深有很大关系，另外还有常见的 attention 操作，所以问题会比较复杂，这里不具体讨论了。说完非并行情况的三者单层计算量，再说回并行计算的问题。很明显，对于 Transformer 和 CNN 来说，那个句子长度 n 是可以通过并行计算消掉的，而 RNN 因为序列依赖的问题，那个 n 就消不掉，所以很明显，把并行计算能力考虑进来，RNN 消不掉的那个 n 就很要命。这只是理论分析，实际中三者计算效率到底如何呢？我们给出一些三者计算效率对比的实验结论。论文 “Convolutional Sequence to Sequence Learning” 比较了 ConvS2S 与 RNN 的计算效率， 证明了跟 RNN 相比，CNN 明显速度具有优势，在训练和在线推理方面，CNN 比 RNN 快 9.3 倍到 21 倍。论文 “Dissecting Contextual Word Embeddings: Architecture and Representation” 提到了 Transformer 和 CNN 训练速度比双向 LSTM 快 3 到 5 倍。论文 “The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation” 给出了 RNN／CNN／Transformer 速度对比实验，结论是：Transformer Base 速度最快；CNN 速度次之，但是比 Transformer Base 比慢了将近一倍；Transformer Big 速度再次，主要因为它的参数量最大，而吊在车尾最慢的是 RNN 结构。总而言之，关于三者速度对比方面，目前的主流经验结论基本如上所述：Transformer Base 最快，CNN 次之，再次 Transformer Big，最慢的是 RNN。RNN 比前两者慢了 3 倍到几十倍之间。综合排名情况以上介绍内容是从几个不同角度来对 RNN／CNN/Transformer 进行对比，综合这几个方面的实验数据，我自己得出的结论是这样的：单从任务综合效果方面来说，Transformer 明显优于 CNN，CNN 略微优于 RNN。速度方面 Transformer 和 CNN 明显占优，RNN 在这方面劣势非常明显。这两者再综合起来，如果我给的排序结果是 Transformer>CNN>RNN，估计没有什么问题吧？那位吃亏….. 爱挑刺的同学，你说呢？从速度和效果折衷的角度看，对于工业界实用化应用，我的感觉在特征抽取器选择方面配置 Transformer base 是个较好的选择。三者的合流：向 Transformer 靠拢上文提到了，Transformer 的效果相对原生 RNN 和 CNN 来说有比较明显的优势，那么是否意味着我们可以放弃 RNN 和 CNN 了呢？事实倒也并未如此。我们聪明的科研人员想到了一个巧妙的改造方法，我把它叫做 “寄居蟹” 策略（就是上文说的 “变性” 的一种带有海洋文明气息的文雅说法）。什么意思呢？我们知道 Transformer Block 其实不是只有一个构件，而是由 multi-head attention/skip connection/Layer Norm/Feed forward network 等几个构件组成的一个小系统，如果我们把 RNN 或者 CNN 塞到 Transformer Block 里会发生什么事情呢？这就是寄居蟹策略的基本思路。那么怎么把 RNN 和 CNN 塞到 Transformer Block 的肚子里，让它们背上重重的壳，从而能够实现寄居策略呢？其实很简单，参考上面两张 PPT，简而言之，大的方向就是把 self attention 模块用双向 RNN 或者 CNN 替换掉，Transformer Block 的其它构件依然健在。当然这只是说明一个大方向，具体的策略可能有些差异，但是基本思想八九不离十。那么如果 RNN 和 CNN 采取这种寄居策略，效果如何呢？他们还爬的动吗？其实这种改造方法有奇效，能够极大提升 RNN 和 CNN 的效果。而且目前来看，RNN 或者 CNN 想要赶上 Transformer 的效果，可能还真只有这个办法了。我们看看 RNN 寄居到 Transformer 后，效果是如何的。上图展示了对原生 RNN 不断进行整容手术，逐步加入 Transformer 的各个构件后的效果。我们从上面的逐步变身过程可以看到，原生 RNN 的效果在不断稳定提升。但是与土生土长的 Transformer 相比，性能仍然有差距。类似的，上图展示了对 CNN 进行不断改造的过程以及其对应效果。同样的，性能也有不同幅度的提升。但是也与土家 Transformer 性能存在一些差距。这说明什么？我个人意见是：这说明 Transformer 之所以能够效果这么好，不仅仅 multi-head attention 在发生作用，而是几乎所有构件都在共同发挥作用，是一个小小的系统工程。但是从上面结果看，变性版本 CNN 好像距离 Transformer 真身性能还是比不上，有些数据集合差距甚至还很大，那么是否意味着这条路也未必走的通呢？Lightweight convolution 和 Dynamic convolutions 给人们带来一丝曙光，在论文 “Pay Less Attention With LightweightI and Dynamic Convolutions” 里提出了上面两种方法，效果方面基本能够和 Transformer 真身相当。那它做了什么能够达成这一点呢？也是寄居策略。就是用 Lightweight convolution 和 Dynamic convolutions 替换掉 Transformer 中的 Multi-head attention 模块，其它构件复用了 Transformer 的东西。和原生 CNN 的最主要区别是采用了 Depth-wise separable CNN 以及 softmax-normalization 等优化的 CNN 模型。而这又说明了什么呢？我觉得这说明了一点：RNN 和 CNN 的大的出路在于寄生到 Transformer Block 里，这个原则没问题，看起来也是他俩的唯一出路。但是，要想效果足够好，在塞进去的 RNN 和 CNN 上值得花些功夫，需要一些新型的 RNN 和 CNN 模型，以此来配合 Transformer 的其它构件，共同发挥作用。如果走这条路，那么 RNN 和 CNN 翻身的一天也许还会到来。尽管如此，我觉得 RNN 这条路仍然不好走，为什么呢，你要记得 RNN 并行计算能力差这个天生缺陷，即使把它塞到 Transformer Block 里，别说现在效果还不行，就算哪天真改出了一个效果好的，但是因为它的并行能力，会整体拖慢 Transformer 的运行效率。所以我综合判断 RNN 这条路将来也走不太通。2019 来自未来的消息：总结很多年前的小学语文课本上有句话，是这么说的：“张华考上了北京大学；李萍进了中等技术学校；我在百货公司当售货员：我们都有光明的前途”。我们小的时候看到这句话，对此深信不疑，但是走到 2019 的今天，估计已经没有父母愿意跟他们的孩子说这句话了，毕竟欺骗孩子是个挺不好的事情。如果套用这句话来说明 NLP 的三大特征抽取器的前途的话，应该是这样的：“Transformer 考上了北京大学；CNN 进了中等技术学校，希望有一天能够考研考进北京大学；RNN 在百货公司当售货员：我们都有看似光明的前途。”我们把上文的所有证据都收集起来进行逻辑推理，可以模仿曹雪芹老师，分别给三位 NLP 界佳丽未来命运写一句判词。当然，再次声明，这是我个人判断。进退维谷的 RNN为什么说 RNN 进退维谷呢？有几个原因。首先，如果靠原生的 RNN（包括 LSTM，GRU 以及引入 Attention 以及堆叠层次等各种你能想到的改进方法，可以一起上），目前很多实验已经证明效果比起 Transformer 有较大差距，现在看基本没有迎头赶上的可能，所以原生的 RNN 从效果来讲是处于明显劣势的。其次，原生的 RNN 还有一个致命的问题：并行计算能力受限制太严重。想要大规模实用化应用？目前看希望渺茫。我们前面说过，决定了 RNN 本身的根本特质是：T 时刻隐层节点对前向输入及中间计算结果的序列依赖，因为它要线形序列收集前面的信息，这是 RNN 之所以是 RNN 的最主要特点。正是它的这个根本特质，使得 RNN 的并行计算能力想要获得根本解决基本陷入了一个两难的境地：要么仍然保持 RNN 序列依赖的根本特性，这样不论怎么改造，因为这个根本还在，所以 RNN 依旧是 RNN，所谓 “我就是我，是不一样的烟火”，但是如果这样，那么其并行能力基本无法有力发挥，天花板很低；当然除此外，还有另外一条路可走，就是把这种序列依赖关系打掉，如果这样，那么这种打掉序列依赖关系的模型虽然看上去仍然保留了部分 RNN 整形前的样貌，其实它骨子里已经是另外一个人了，这已经不是你记忆中的 RNN 了。就是说，对 RNN 来说，要么就认命接受慢的事实，躲进小楼成一统，管他春夏与秋冬，仅仅是学术界用来发表论文的一种载体，不考虑大规模实用化的问题。要么就彻底改头换面变成另外一个人，如果真走到这一步，我想问的是：你被别人称为高效版本的 RNN，你自己好意思答应吗？这就是 RNN 面临的两难境地。再次，假设我们再乐观一点，把对 RNN 的改造方向定位为将 RNN 改造成类似 Transformer 的结构这种思路算进来：无非就是在 Transformer 的 Block 里，把某些部件，当然最可行的是把 Multi-head self attention 部件换成 RNN。我们就算退一步讲，且将这种大幅结构改造的模型也算做是 RNN 模型吧。即使这样，已经把自己整形成长得很像 Transformer 了，RNN 依然面临上述原生 RNN 所面临的同样两个困境：一方面即使这种连变性削骨都上的大幅度整容版本的 RNN，效果虽然有明显提升，但是仍然比不过 Transformer；另外，一旦引入 RNN 构件，同样会触发 Transformer 结构的并行计算能力问题。所以，目前 Transformer 发动机看上去有点带不动 RNN 这个队友。综合以上几个因素，我们可以看出，RNN 目前处于进退两难的地步，我觉得它被其它模型替换掉只是时间问题，而且好像留给它的时间不多了。当然，这是我个人意见。我说这番话的时候，你是不是又听到了水声？我看到网上很多人还在推 RNN 说：其实还是 RNN 好用。我觉得这其实是一种错觉。之所以会产生这个错觉，原因来自两个方面：一方面是因为 RNN 发展历史长，所以有大量经过优化的 RNN 框架可用，这对技术选型选择困难症患者来说是个福音，因为你随手选一个知名度还可以的估计效果就不错，包括对一些数据集的前人摸索出的超参数或者调参经验；而 Transformer 因为历史太短，所以各种高效的语言版本的优秀框架还少，选择不多。另外，其实我们对 Transformer 为何有效目前还不是特别清楚，包括相关的各种数据集合上的调参经验公开的也少，所以会觉得调起来比较费劲。随着框架越来越多，以及经验分享越来越充分，这个不再会是问题。这是一方面。另外一方面，很多人反馈对于小数据集 RNN 更好用，这固然跟 Transformer 的参数量比较多有关系，但是也不是没有解决办法，一种方式是把 Block 数目降低，减少参数量；第二种办法是引入 Bert 两阶段训练模型，那么对于小数据集合来说会极大缓解效果问题。所以综合这两方面看，RNN 貌似在某些场合还有优势，但是这些所谓的优势是很脆弱的，这其实反映的是我们对 Transformer 整体经验不足的事实，随着经验越来越丰富，RNN 被 Transformer 取代基本不会有什么疑问。一息尚存的 CNNCNN 在 14 年左右在 NLP 界刚出道的时候，貌似跟 RNN 比起来表现并不算太好，算是落后生，但是用发展的眼光看，未来的处境反而看上去比 RNN 的状态还要占优一些。之所以造成这个奇怪现象，最主要的原因有两个：一个是因为 CNN 的天生自带的高并行计算能力，这对于延长它的生命力发挥了很大作用。这就决定了与 Transformer 比起来，它并不存在无法克服的困难，所以仍然有希望；第二，早期的 CNN 做不好 NLP 的一个很大原因是网络深度做不起来，随着不断借鉴图像处理的新型 CNN 模型的构造经验，以及一些深度网络的优化 trick，CNN 在 NLP 领域里的深度逐步能做起来了。而既然深度能做起来，那么本来 CNN 做 NLP 天然的一个缺陷：无法有效捕获长距离特征的问题，就得到了极大缓解。目前看可以靠堆深度或者结合 dilated CNN 来一定程度上解决这个问题，虽然还不够好，但是仍然是那句话，希望还在。但是，上面所说只是从道理分析角度来讲 CNN 的希望所在，话分两头，我们说回来，目前也有很多实验证明了原生的 CNN 在很多方面仍然是比不过 Transformer 的，典型的还是长距离特征捕获能力方面，原生的 CNN 版本模型仍然极为显著地弱于 RNN 和 Transformer，而这点在 NLP 界算是比较严重的缺陷。好，你可以说：那我们把 CNN 引到 Transformer 结构里，比如代替掉 Self attention，这样和 Transformer 还有一战吧？嗯，是的，目前看貌似只有这条路是能走的通的，引入 depth separate CNN 可以达到和 Transformer 接近的效果。但是，我想问的是：你确认长成这样的 CNN，就是把 CNN 塞到 Transformer Block 的肚子里，你确认它的亲朋好友还能认出它吗？当然，我之所以写 CNN 一息尚存，是因为我觉得把 CNN 塞到 Transformer 肚子里这种方案，对于篇章级别的 NLP 任务来说，跟采取 self attention 作为发动机的 Transformer 方案对比起来，是具有极大优势的领域，也是适合它的战场，后面我估计会出现一些这方面的论文。为什么这么讲？原因下面会说。稳操胜券的 transformer我们在分析未来 NLP 的三大特征抽取器哪个会胜出，我认为，起码根据目前的信息来看，其实 Transformer 在很多战场已经赢了，在这些场地，它未来还会继续赢。为什么呢？上面不是说了吗，原生的 RNN 和 CNN，总有一些方面显著弱于 Transformer（并行计算能力或者效果，或者两者同时都比 Transformer 弱）。那么他们未来的希望，目前大家都寄托在把 RNN 和 CNN 寄生在 Transformer Block 里。RNN 不用说了，上面说过它的进退维艰的现状。单说 CNN 吧，还是上一部分的那句话，我想问的是：你确认长成这样的 CNN，就是把 CNN 塞到 Transformer Block 的肚子里，你确认它的亲朋还能认出它吗？目前能够和 Transformer 一战的 CNN 模型，基本都已经长成 Transformer 的模样了。而这又说明了什么呢？难道这是 CNN 要能战胜 Transformer 的迹象吗？这是一道留给您的思考题和辩论题。当然，我不参加辩论。Transformer 作为一个新模型，并不是完美无缺的。它也有明显的缺点：首先，对于长输入的任务，典型的比如篇章级别的任务（例如文本摘要），因为任务的输入太长，Transformer 会有巨大的计算复杂度，导致速度会急剧变慢。所以估计短期内这些领地还能是 RNN 或者长成 Transformer 模样的 CNN 的天下（其实目前他俩这块做得也不好），也是目前看两者的希望所在，尤其是 CNN 模型，希望更大一些。但是是否 Transformer 针对长输入就束手无策，没有解决办法呢？我觉得其实并不是，比如拍脑袋一想，就能想到一些方法，虽然看上去有点丑陋。比如可以把长输入切断分成 K 份，强制把长输入切短，再套上 Transformer 作为特征抽取器，高层可以用 RNN 或者另外一层 Transformer 来接力，形成 Transformer 的层级结构，这样可以把 n 平方的计算量极大减少。当然，这个方案不优雅，这个我承认。但是我提示你一下：这个方向是个值得投入精力的好方向，你留意一下我这句话，也许有意想不到的收获。（注：上面这段话是我之前早已写好的，结果今天（1 月 12 日）看见媒体号在炒作：“Transforme-XL，速度提升 1800 倍”云云。看了新闻，我找来 Transformer-XL 论文看了一下，发现它解决的就是输入特别长的问题，方法呢其实大思路和上面说的内容差不太多。说这么多的意思是：我并不想删除上面内容，为避免发出来后，那位 “爱挑刺” 同学说我拷贝别人思路没引用。我决定还是不改上面的说法，因为这个点子实在是太容易想到的点子，我相信你也能想到。）除了这个缺点，Transformer 整体结构确实显得复杂了一些，如何更深刻认识它的作用机理，然后进一步简化它，这也是一个好的探索方向，这句话也请留意。还有，上面在做语义特征抽取能力比较时，结论是对于距离远于 13 的长距离特征，Transformer 性能弱于 RNN，说实话，这点是比较出乎我意料的，因为 Transformer 通过 Self attention 使得远距离特征直接发生关系，按理说距离不应该成为它的问题，但是效果竟然不如 RNN，这背后的原因是什么呢？这也是很有价值的一个探索点。我预感到我可能又讲多了，能看到最后不容易，上面几段话算是送给有耐心的同学的礼物，其它不多讲了，就此别过，请忽略你听到的哗哗的水声。以上。作者简介：张俊林，中国中文信息学会理事，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林曾经在阿里巴巴任资深技术专家，以及在百度和用友担任技术经理及技术总监等职务。同时他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届输出版优秀图书奖）、《大数据日知录：架构与算法》的作者。参考链接：[1]从 Word Embedding 到 Bert 模型——自然语言处理中的预训练技术发展史https://zhuanlan.hu.com/p/49271699

冯素茹，青岛理工大学管理工程学院造价162班学生，曾获2018年暑假社会实践优秀调研报告一等奖。以优异的成绩被国防科技大学系统工程学院管理科学与工程专业录取。学习技巧分享首先，考研是一场长久战，需要有一个总体的计划，同时也要有短时间内的计划，特别是数学学习，它是一个循序渐进的过程，一开始看基础课程，做基础题，基础打好之后开始强化，强化是第二遍对知识点的巩固，也要像基础复习一样，看网课做习题，再次将全部知识点过一遍，同时要注意做一些习题。我的基础和强化都是跟的李永乐团队，基础课也看了汤家凤老师的课程，强化课程很重要，并且强化阶段正值暑假，注意一定不能放松，强化的内容还是非常丰富的，要争取在7月和8月把强化课程以及强化的题目看完做完，看不完也可以9月份继续看，不要着急做真题，把知识点全面的复习更为重要，记得老师之前说过一句话“要先把书读厚，再把书读薄”。9月以后就要开始做真题了，做题目时，不会也没有关系，可以看着答案理思路。可以从09和08年的真题开始，一周做2-3套，自己分配好时间，这时候一定不能偷懒了，要坚持每天都按计划学习，也要保证每天有充足的学习时间，因为这时候专业课复习也要开始做真题，时间还是很紧张的，我觉得保证每天12小时的复习时间是有必要的。我的专业课是从8月份开始复习的，因为自身所考学校的专业课只有一本复习书，8月份开始完全来得及，但如果所考科目参考书较多的同学，就要提前复习了。先把课本根据大纲和PPT看一遍，做做练习题，9月份把需要考的论述题整理一遍；10月份开始做真题，这个时候因为只看了一遍课本，做计算题的时候可能要看着课本做，计算题的步骤记不住，可以看着课本一步一步写，多做几套题就好了；11月底开始第三遍看课本，看完之后再做几套真题练练手。每个学校所考专业课不同，大家根据专业课特点来做好计划，认真复习就可以了。英语一定要提前做真题，5月份尽量就要开始做英语真题。政治我是10月份开始复习的，有些同学会选择在暑假开始，因为暑假时间以及9月份我放在数学和专业课上比较多，所以开始的比较晚，不过政治不会拉开分数，得到70分在10月份开始完全来得及。其次，考研也要注意学会休息，学会放松自己，要调节好自己的情绪，可以向家人和朋友倾诉自己的心声，家人和朋友也会给予我们很多鼓励与帮助。在我考试期间，我的好朋友陪着我去参加了考试，我真的非常感动也很感谢她，这期间我不用自己考虑订饭的事情，上午考完试回到宾馆就能吃上订的外卖，让我能够更加专注于考试。考研复习每个阶段的心态也很重要，我有时会看一些心灵寄语，也会不断给自己加油打气，大学期间自己独处的时光是我们真正认识自己，审视自己的时候，不要害怕独处，要多给自己一些独处时光。既然我们做出了选择就要坚定信念，有梦想就要把它好好保护。最后，我想说，一开始觉得理想遥不可及，但只要坚持就会更加清晰，偶尔停歇不代表止步于此，只是思考一下自己究竟要什么，让自己思绪更清晰一些。成功不会一蹴而就，总有很多挫折，从哪里跌倒就要从哪里爬起来，坚强的人即使含着泪也仍然在奔跑。对于考研要全力以赴，勇敢前行，坚持不懈，终有曙光。学姐寄语亲爱的学弟学妹们，四年时间飞逝，我们16级的学生转眼就毕业了，现在回想，大一刚入学的场景还历历在目，老校区的二教，四公寓，一食堂还时常浮现在脑海，大学时光真的是我们人生中非常宝贵的财富，现在大三的学弟学妹们或许都在经历着我们当时的迷茫与困境，这样的心境我深有感触，记得6月份正值期末，由于大三下学期课程比较多，特别是专业课程较多，需要复习考试科目，还有课程设计要做，那段时间没有时间复习考研内容，加上自己之前复习的方向有点偏，时间分配不合理，六月份了英语真题还没开始做，只看了一遍单词书，我深深的陷入了自我怀疑中，那段时间是我最迷茫的时候。想起班主任在我们刚开始准备考研的时候给我说过的一句话：现在就好好准备，专业课复习的比较晚，等到后面看看自己复习得怎么样然后再确定学校。于是我又开始查询学校信息，综合考虑我选择了国防科技大学，暑假里便开始沉下心来，抛弃杂念，静心复习。所以想要告诉学弟学妹们你们现在的迷茫都是正常的，大家都会经历困境，想要不乱于心，不困于情也并非易事，但一定要坚持下去，坚定自己的信念，一步一步脚踏实地地走下去，自己多思考，认真对待考研，只有对一件事情上心了，你才能够做好充足的准备，把握好机会。来源：青岛理工大学新媒体中心出品 管理工程学院编辑：赵然成 审核：于 波

提起图书情报专硕（后文简称“MLIS”），大多数人都会感到很迷惑：“图书能有什么情报？与信息搜集/数据分析有关吗？毕业之后，是不是只能去图书馆工作？”宗师君总结了部分考研党对 MLIS 常见问题，包括但不限于以下内容：图书情报专硕考什么内容？图书情报专硕主要学什么?哪些学校开设了图情专硕？读研以后的就业前景如何?考研上岸难度如何？别着急~这些问题宗师君来解答！如果你对 MLIS 还有其他疑问，也欢迎在评论区留言~今天，宗师君给大家详细分析了图书情报专硕（MLIS）的专业概况、专业特点、学制及核心课程、与情报学、图书馆学的对比、报考条件、就业前景、院校推荐、上岸难度及备考经验，快来了解一下吧~01MLIS 专业概况图书情报硕士专业学位英文名称为“ Master of Library and Information Studies ”，简称 MLIS ，是管理学领域下的专业学位专业。该专业是为适应新形势图书情报事业发展对图书情报专门人才的迫切需求，完善图书情报人才培养体系，创新图书情报人才培养模式，提高图书情报人才培养质量而创立的。2010 年，国家图书馆与武汉大学签订战略合作协议，将合作培养图书情报硕士专业学位研究生，此后各个院校也相继招收图书情报专业硕士研究生。专业代码为 125500 。02MLIS 专业特色图书情报专业硕士是图书情报教育机构开启的直接为图书情报事业服务的一个新的研究生教育专业，也是图书情报事业体系中人力资源建设必不可少的一种人才机制。社会与学校、理论与实践、行业与教育、人才需求与人才培养的紧密集合将使图书情报专业学位教育呈现出教育目的、教育模式、课程体系、教学手段方法等的职业化、应用性、高层次等特征。根据全球专业学位教育的基本规律，结合我国专业学位教育和人力资源发展的现状，图书情报专业学位具有鲜明的学位特色。03MLIS 学制及核心课程1. 学制大部分院校都是两年制，只有一年上课，一年实习。但有些高校学制为 2.5 年或 3 年，如上海大学图书情报专硕学制为 2.5 年，天津师范大学图书情报专硕学制为 3 年。2. 核心课程考虑到 MLIS 专业的大部分学生都有跨专业背景，所以课程内容主要以入门基础理论为主，主要学习本专业的一些核心知识以及相关的技术入门课程。如中国人民大学 MLIS 的主要课程为：图书情报学理论与方法、信息采集、编目与索引、信息检索、数据模型与决策、数字图书馆研究、企业竞争情报、信息加工处理、WEB 及其应用等。04MLIS vs 情报学/图书馆学俗话说“图情档不分家”，图书情报硕士专业学位与情报学、图书馆学、档案学三个学术学位有着紧密的联系。MLIS 与情报学、图书馆学这两个专业的学习课程及培养方案有相似之处，但图书情报专硕与这两个专业又有一些区别，主要有：1. 学制MLIS 一般是 2 年制，一年上课，一年实习，但有些高校学制为 2.5 年或 3 年。情报学、图书馆学学硕学制一般是 3 年制，但也有一些高校学硕学制为 2 年，如中国人民大学。2. 考试科目MLIS 考研初试科目为管理类联考 + 英语二。管理类联考综合试卷满分为 200 分，考试时间为 180 分钟，包括数学基础（ 75分 ）、逻辑推理（ 60 分）和中文写作（ 65 分）。英语二试卷满分为 100 分，考试时间为 180 分钟。情报学、图书馆学学硕的初试科目为专业课 + 英语一 + 政治。有的学校还考数学三，因此考一门专业课，有些院校不考数学，故考两门专业课。MLIS 考试时间为 1 天，情报学、图书馆学考试时间为 2 天。以武汉大学为例，情报学专业初试科目为英语一 + 政治 + 数学三 + 信息管理综合（包含信息管理学基础和数据库原理）四门课程，考试时间均为 180 分钟。英语一和政治试卷满分均为 100 分，数学三和信息管理综合试卷满分均为 150 分。3. 培养目标MLIS 培养目标：① 培养具备良好的政治思想素质和职业道德素养，掌握扎实的图书情报专业知识和技能;② 具有较高外语水平和较强的跨文化交际能力;③ 具有综合运用管理、经济、法律、计算机等知识解决图书情报工作实际问题能力;④ 能够胜任图书情报行业的实际工作，适应社会信息化和国民经济建设较高的高层次、应用型、复合型图书情报人才。情报学培养目标：① 学生应系统地掌握现代信息管理的基本理论和技术，具备独立从事情报学理论研究、现代信息管理工作、以及信息系统的分析与设计的能力；② 熟悉掌握一门外国语，熟练掌握信息管理活动中所需的计算机技术，了解本领域的研究动态；③ 毕业后能够从事现代企事业单位信息资源的开发与管理、信息系统分析与设计等工作，也能从事相关学科的教学、科研工作。图书馆学培养目标：① 面向 21 世纪数字图书馆的发展现实和需要，培养德智体全面发展，具有坚实的图书馆学理论基础；② 既系统掌握现代图书馆管理技术，能够在各级各类图书文献部门从事文献管理和信息服务等方面的工作；③ 又熟练掌握现代管理理论，并对图书馆的学科发展和工作实践具有较强的创新意识、研究能力和管理能力的高层次、宽口径、复合型专业人才。通过上述对比，我们可以直观发现MLIS 与情报学、图书馆学相比，在考研及后续发展就业等方面有一定的优势和特色：① MLIS 初试科目较少，考试内容难度低于学术型硕士，备考期间压力会稍小，竞争压力相对较低。② MLIS 的培养更加注重理论学习与实践应用相结合，而情报学、图书馆学学活的培养更加注重理论研究及学术科研能力的提升。③ MLIS 在择业就业时，在专业实践技能上会更有优势，更可能满足企业对人才能力的要求。05MLIS 报考条件大部分院校 MLIS 全日制与非全日制考生报考条件一样，需要满足以下要求：1. 中华人民共和国公民。2. 拥护中国共产党的领导，品德良好，遵纪守法。3. 身体健康状况符合国家和招生单位规定的体检要求。4. 在校研究生报考须在报名前取得所在培养单位同意；在职人员须经本人所在单位人事部门同意，其他人员有人事档案所所在单位同意。5. 报考 MLIS 的考生学业水平应满足以下条件：（1）国家承认学历的应届本科毕业生（含普通高校、成人高校、普通高校举办的成人高等学历教育等应届本科毕业生）及自学考试和网络教育届时可毕业本科生。考生录取当年入学前必须取得国家承认的本科毕业证书或教育部留学服务中心出具的《国（境）外学历学位认证书》，否则录取资格无效。（2）具有国家承认的大学本科毕业学历的人员。（3）获得国家承认的高职高专毕业学历后满 2 年或 2 年以上(从毕业后到录取当年入学之日)；以及达到大学本科毕业生同等学力，符合招生单位根据本单位的培养目标对考生提出的具体业务要求的人员。（4）国家承认学历的本科结业生和成人高校应届本科毕业生，按本科毕业生同等学力身份报考，并且需要满足以下条件：① 取得国家英语四级合格证书或英语四级成绩报告单（成绩在 425 分以上）② 取得报考专业大学本科主干课程 8 门以上成绩证明（由教务处出具成绩证明或自学考试成绩单）③ 有些学校还要求考生在复试时提交与报考专业相关的相当于学士学位水平的论文（字数不少于 1 万字），或在报刊上发表的三篇与报考专业相关的文章（如中国人民大学）。④ 有些学校还规定了此类学生不得跨学科报考（如武汉大学）（5）已获硕士、博士学位的人员。06MLIS 就业前景MLIS 既包括“信息”，又涉及“管理”，是近年来考研的热门专业，，常见的就业方向如下：比如各级各类图书馆，还有党政机关、企事业单位的图书资料部门、信息管理部门、数据分析部门；电子政务、电子商务管理部门；网络系统管理机构；信息咨询服务机构，计算机软件企业研发或服务部门；国家各级信息化与信息产业行政主管部门等。总体而言，图书情报学的就业面相对较广，毕业生们完全可以依靠本专业所学到的信息搜集、 信息管理、信息开发、竞争情报、信息咨询与服务等知识在信息管理、数据分析、文献计量 等不少领域找到满意的工作。上述概括的主要是与专业对口的就业方向，大家也无需将目光局限于图书馆、图书资料部门以及体制内的岗位，也可以尝试互联网、金融、地产等与数据、咨询、图书出版相关行业，比如新媒体运营、数据分析、用户运营、出版社编辑、产品经理等岗位。07MLIS 考研院校推荐截至 2021 年初，我国大陆地区共有 51 所高校开设图书情报 MLIS 专业，双一流高校有 24 所，非双一流高校有 27 所。MLIS 专业排名靠前的双一流院校依次为：武汉大学、南京大学、中国人民大学、南开大学、华中师范大学、中山大学、上海大学、云南大学、华东师范大学、南京农业大学、郑州大学、南京理工大学、四川大学等；非双一流院校排名靠前的院校依次为：黑龙江大学、湘潭大学、河北大学、福建师范大学、天津师范大学、山西大学等。总体来说，双一流高校复试分数线较高，含金量高，报考难度较大，竞争压力也高于非双一流院校。大家在择校时要深层次了解目标院校的专业状况，并根据自己的意愿、对未来的想法慎重选择备考学校！08MLIS 上岸难度MLIS 作为管理类联考中一员，名气既没有 MPAcc 、MAud 那么响，又没有 MBA 、MPA 上岸那么容易。所以常常被大家认为是一个“冷门又神秘”的专业，就算对其感兴趣的同学，也不知道 MLIS 与管理类联考中其他专业相比考研上岸难度如何。今天，宗师君以中国人民大学的全日制 MPAcc 和全日制 MILS 为例，较为全面地分析了两大专业的报考情况及上岸难度，帮助大家更好地选择备考专业。1. 学制中国人民大学的全日制 MPAcc 和全日制 MILS 两个专业均为两年学制。2. 复试分数线及报录比2020 年 MLIS 专业的复试分数线为 233 分，复试人数为 25 人，录取人数为 20 人，复录比为 1.25 ：1 。2020 年 MPAcc 专业的复试分数线为 240 分，复试人数为 90 人，录取人数为 39 人，复录比为 2.31 ：1 。MPAcc 专业报考人数较多，复试分数线较高，复录比也明显高于 MLIS ，考研竞争压力较大，难度较高。如果你是应届生，且计划报考管理类联考专业，那么不妨考虑上岸性价比更高的 MLIS ，对跨专业的考生而言，备考门槛低，也更友好。09MLIS 备考经验看完上述对 MLIS 专业基本介绍及上岸难度之后，宗师君再给大家分享一些往年同学的 MLIS 备考经验，共分为初试、复试两大部分。1. 初试备考经验管理类联考的备考规划用 16 个字总结就是“循序渐进，打牢基础。集中攻坚，提高效率”。英语二难度略低于英语一，但根据近几年考生的考后reaction，英语二的难度有逐年递增的趋势，每一位考研er都需要认真备考。考研英语总体上主要侧重于对词汇、语法以及上下文逻辑关系的考察，三者学习缺一不可，大致备考规划为：2. 复试备考经验管理类联考的复试，主要考察政治、英语口语及专业课能力，具体内容每个学校各不相同，同学们可以自行查看目标院校的相关信息。宗师君以武汉大学为例，简要介绍一下武汉大学图情专硕复试的参考书目及主要内容。① 成绩计算总成绩 = 初试成绩 ÷ 3 × 70% + 专业课面试成绩 × 20% + 外语面试成绩 × 5% + 思想政治理论加试成绩 × 5%（以武汉大学信息管理学院 2020 年硕士研究生复试录取工作实施细则为例）② 政治笔试考察内容以时事政策为主，多多关注最近一年国家发生的时政大事，每年基本上是4 道简答题。③ 英语口试按照分组排序序号两人一组，考场里面有两个老师。先用英语做自我介绍（两分钟左右），然后老师针对性的提问 1-2 个问题，之后针对抽到的话题进行英语话题讨论。④ 专业面试2020 年由于疫情原因，武汉大学只有专业课线上面试，未有笔试环节。往年笔试参考书目有两本：《信息检索》黄如花&《信息管理学基础》马费成。专业面试的成绩占比 20% ，是复试中最重要的一环。主要包含两个阶段：第一阶段考生需提交 PPT 格式的报告，时间 10 分钟左右，内容包括：a. 个人简介；b. 本科阶段的学习和社会实践情况及相关成果；c. 对所报学科的认识和理解；d. 拟从事的研究方向及构想。第二阶段回答提问。专业面试注意事项：1. PPT 应简洁大方，所要求讲述的内容缺一不可。2. 复试小组的老师提问时主要围绕 PPT 所展示内容进行提问，从你的学习经历实践到你想要从事的研究方向都有可能会被涉及到。3. 在面试前，一定要了解一下自己选的方向有在国内外哪些著名学者和理论。4. 建议多看看相关论文。以上内容就是本期 MLIS 图书情报专硕的专业解析，欢迎同学们在评论区留言自己想报考的专业~本文原创首发于微信公众号「宗师管理类联考考研」，未经允许，不得转载。

前面录过视频，对这部分进行了讲解，但当时采取的是手写板，所以不是很清晰（主要是字写的难看了：) ），所以这次重新录制了PPT版本，PPT是用Latex写的，所以动画效果不是很多，但是公式看起来会舒服一些。试题基本信息2020年数学一线性代数部分题型及分值：两个选择题：2*4=8分一个填空题：1*4=4分两个解答题：一个计算、一个证明，均为11分，共22分难度：其中一个选择题稍微难点，证明题有一点点难度，其它相对比较容易。考试内容：初等矩阵的作用、向量的线性表示、线性方程组的解、行列式计算、特征值及特征向量的计算、矩阵的相似对角化等试题解答详细的视频解说部分可以看下面的视频。10:18选择题部分：第一道是关于初等矩阵作用的，只要理解清楚对矩阵进行行、列变换是在矩阵左边还是右边相乘初等矩阵即可。第二道是直线相交问题，核心考点是对直线方程的认识及线性方程组的相关知识。我从代数和几何两个角度给出了问题的求解方法，希望会对大家有所帮助。填空题、解答题部分，如果你需要的话，请关注我并私信给我。我是杂谈博士，闲暇之余爱看电影、爱好运动、爱好编程、爱好旅游，更热爱算法，如果也有契合你的地方，关注我吧！

东南大学自动化院复试方案细则网络远程复试，复试时间初步定5.17要准备ppt自我介绍科研创新能力占复试成绩的三分之一（满分150，占50分！）这个时候就显示出学生硬实力了，没有科研创新和有科研创新pk，没有发表过论文和发表过论文pk