关于学习的研究性论文

来自网络与其他机器学习方法相比，比如监督式学习、迁移学习、甚至非监督式学习学习相比，深度强化学习方法极其需要大量数据，而且常常不稳定，从性能上来说可能不是最好的选择。 RL一直以来只成功地应用于那些可以根据需要生成大量模拟数据的领域，比如游戏和机器人。尽管 RL 在解决业务用例方面存在局限性，但一些 AI 专家认为，这种方法是实现人工或超人类人工通用智能(Artificial General Intelligence，AGI)的最可行策略。 DeepMind 的AlphaStar战胜了顶级的职业星际争霸玩家，这表明我们可能正处于将深层强化学习应用于实时需求、异常复杂和信息不完整的现实世界问题的前沿。过去的一年我们看到了一些进步，这些进步可以使强化学习更加适用于现实世界领域。 这包括提高数据效率和稳定性，多任务。一些研究人员给出了可能是2018年强化学习领域最好的文章，具体如下：1. Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor[1]伯克利人工智能研究团队引入了Soft Actor-Critic(SAC) ，这是一种偏离策略的最大熵深度强化学习算法，actor的目标是最大化期望报酬，同时也最大化熵。 实验证实，随机的、熵最大化的强化学习算法在性能和样本效率上都取得了显著的提高。 此外，该方法具有稳定性和可扩展性。本文的核心思想是什么？介绍包含三个关键因素的soft actor-critic算法：a.具有独立的策略和价值功能网络的actor-critic体系结构;b.制定偏离策略构想，以便能够重用先前收集的数据以提高效率;c.熵最大化和稳定性关键成就是什么？在较简单的任务中，表现与baseline方法相当，但在较具挑战性的任务中，表现明显优于baseline方法；展示了在学习速度、最终性能、样本效率、稳定性和可扩展性方面的实质性改进，作者提供了在 GitHub 上实现 TensorFlow 的方法[2]，还有pytorch的实现方法[3]。2. IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures[4]在这项研究中，DeepMind 团队试图解决多任务处理问题，强化学习领域的重要挑战之一。 为此，他们开发了一种新的分布式agent，称为Importance WeightedActor-LearnerArchitecture (IMPALA)。 这个agent利用一个完全独立的actors and learners的拓扑结构，这些参与者和学习者通过合作获得跨不同领域的知识。 Impala 结合一种新的非策略校正方法 V-trace，优于以前的方法，在数据效率和稳定性方面显示了更好的结果。本文的核心思想是什么？开发一个快速且可扩展的策略梯度agent——IMPALA ，它受到 A3C 架构的启发，但有一些独特的特性:Impala 的actor收集经验(状态、动作和奖励的序列) ，然后传递给一个计算梯度的中央学习者;Impala 可以通过单个学习机或多个学习机执行它们之间的同步更新来实现;学习和行动过程的分离促进了整个系统吞吐量的增加。然而，acting与learning的分离也导致了actor的策略落后于学习者，为了弥补这种滞后，研究者引入了一种偏离策略actor-critic的修正方法，称之为 V-trace。关键成就是什么？在多任务设置(DMLab-30和 Atari-57)中的实验表明 IMPALA 结合了 V-trace 校正算法:实现了25万帧率的异常高的数据吞吐率(比单机 A3C 快30倍) ;比基于 A3C 的agent更稳定，数据效率高10倍;在 DMLab-30上的人类标准化得分为49.4% ，而基于 A3C 的代理商的得分为23.8% 。源代码可以在 GitHub 上找到[5]。3. Temporal Difference Models: Model-Free Deep RL for Model-Based Control[6]伯克利人工智能研究小组探索了将无模型算法和基于模型算法的优点结合起来的方法。他们引入了时态差分模型(TDMs) ，这是一组目标条件值函数，可以通过无模型学习训练并用于基于模型的控制。 在几个连续控制任务上的实验证实，TDMs 的性能和无模型算法一样好，但学习速度和基于模型的方法一样快。本文的核心思想是什么？无模型 RL 算法获得了最好的渐近性能，但效率不高，而基于模型的 RL 算法效率更高，但代价是更高的渐近偏差。时间差异模型(Temporal Difference Models)结合了无模型和基于模型的强化学习的优点:时间序列模型是一类目标条件值函数;这个函数预测当一个agent试图分步到达目标状态时，它在时间步骤内离目标的距离;因为 TDM 只是另一种 Q 函数，可以用无模型算法(例如，深度确定性策略梯度)来训练它。关键成就是什么？在五个模拟的连续控制任务和一个真实世界的机器人任务上进行的实验证实，TDMs 结合了无模型和基于模型算法的优点，他们实现了接近无模型算法的渐近性能，但像纯粹基于模型的方法一样快速学习。对于 TDMs 的 PyTorch 实现，看看 Vitchyr Pong 的 rlkit代码[3]。4. Addressing Function Approximation Error in Actor-Critic Methods[7]函数逼近误差导致的价值高估问题在具有离散行为空间的强化学习问题中得到了充分的研究，研究人员认为，高估偏差在actor-critic的环境中也存在。 为了解决这个问题，他们引入了带有修剪的双 Q 学习变量的Twin Delayed Deep Deterministic policy gradient 算法(TD3) ，延迟策略更新和目标策略平滑。 在 OpenAI gym 进行的七个连续控制任务的实验证实，这种方法的性能明显优于先前的方法。本文的核心思想是什么？高方差导致过高估计偏差，并引起策略更新的噪声梯度，导致降低学习速度和低性能。为了解决高方差问题，研究人员引入了TD3算法 ，该算法基于Deep Deterministic Policy Gradient算法(DDPG) ，但包括几个重要的改进。关键成就是什么？介绍了一种有效的方法，以解决高方差和由此产生的过高估计偏差的actor-critic方法。在 OpenAI gym 的七个连续控制任务上对该算法进行了评估，结果表明，该算法在很大程度上优于现有算法，TD3和 DDPG 的 PyTorch 实现可以在 GitHub 上获得[8]。5. Learning by Playing – Solving Sparse Reward Tasks from Scratch[9]Deepmind 团队介绍了一种新的强化学习算法，称为Scheled Auxiliary Control(SAC-X) ，它的灵感来自于我们童年时代的玩耍阶段。 该方法的核心思想是，在从零开始学习一些复杂任务之前，agent 需要首先掌握一组基本的辅助任务。 在几个具有挑战性的机器人操作任务上的实验表明，SAC-X 算法能够以可靠和高效的方式从头学习复杂的任务。本文的核心思想是什么？引入一种新的学习范式，称为Scheled Auxiliary Control(SAC-X) ，它利用了这样一种观点，即为了从头学习复杂的任务，agent必须首先学习并掌握一套基本技能:除了主要任务奖励外，还有一系列辅助奖励用于处理辅助任务。 辅助任务鼓励agent控制自己的感官观察(如图像、本体感觉、触觉传感器)。agent自己决定下一个目标是什么(辅助任务还是目标任务)。 这是通过一个调度模块决定的，该模块通过meta-learning算法进行学习，目标是最大限度地提高主要任务的进度。学习是在非策略的情况下执行的，这样每个策略都可以从所有其他策略生成的数据中学习。关键成就是什么？通过几个具有挑战性的机器人任务的模拟实验以及真实机器人实验表明，该算法能够从头开始解决他得到的所有任务，它甚至可以直接在一个真正的机器人手臂从头学习；学习过程是高效的，在 GitHub 上提供了 SAC-X RL 算法的 PyTorch 实现[10]。6. Hierarchical Imitation and Reinforcement Learning[11]本文提出了一种将模仿学习和强化学习相结合的分层指导框架来解决可以分为子任务的问题。 为了使expert的努力和成本最小化，研究人员提出了一种方法，即expert主要提供高层次的反馈(例如，子目标是否被正确定义) ，并且只在必要时(例如，子目标被正确定义但子策略失败)才深入子任务本身。 实验表明，层次指导框架学习速度远快于层次 RL；跟标准 IL比较，需要更少的expert反馈。本文的核心思想是什么？介绍一种算法框架，称为层次指导，它利用了潜在问题的层次结构:expert用正确的宏观动作(子目标)标记高层次的轨迹；如果正确选择了宏观操作并且子策略是正确的，expert只需验证这一点；如果宏操作选择错误，expert不会研究相应的子策略；如果宏操作选择正确，但子策略失败，则expert将子策略标记为错误，并显示正确的低层轨迹。在 il / rl 混合模式下，通过模仿学习负责选择正确宏观行为的元控制器，通过强化学习学习子策略。关键成就是什么？在一个具有挑战性的maze域和 Montezuma’s Revenge 实验表明:等级 IL 比标准 IL 需要更少的标签，但是与纯 RL 相比，这种适度的expert反馈促进了性能的显著提高。作者在 GitHub 上开源了分层模仿学习和强化学习的 TensorFlow实现[12]。7. Unsupervised Predictive Memory in a Goal-Directed Agent[13]在三维虚拟现实环境中，由于大量的信息被隐藏在agent的传感器之外，RL agent甚至在处理简单的任务时都会遇到困难。 为了解决部分可观测性的问题，DeepMind 团队引入了一种新的模型——内存、 RL 和推理网络(MERLIN)。 通过这个模型，研究人员提出了一种将记忆融入模型的新方法——他们建议通过一个预测性建模过程来引导记忆的形成。 实验表明，MERLIN 能够成功地解决来自心理学和神经科学行为研究的标准任务。本文的核心思想是什么？如果在任何一个给定的时间步骤中，主体能够同时访问其环境观察和与其当前状态相关的记忆，那么它就能够更好地解决有限可观察环境中的任务。关键成就是什么？证明了结合使用内存和预测建模可以提高 RL agent的性能，在一些任务中，它比专业的人工测试人员学习得更快，获得更高的性能。作者暂时没有提供实现代码，一些关于 MERLIN 实现的个人实验结果可以在 GitHub [14]上获得。8. Data-Efficient Hierarchical Reinforcement Learning[15]在这项研究中，Google brain团队寻求开发层次强化学习算法的方法，这种算法不需要标准 RL 算法之外的额外假设，并且相对较少数量的交互样本。 其关键思想是有两层策略，低层控制器监督目标，目标由高层控制器自动学习和提出。 为了提高效率，高级和低级的策略都是利用具有具体纠正的策略偏离经验来学习的。 实验结果表明，本文提出的方法在具有高抽样效率的同时，性能优于先前的技术。本文的核心思想是什么？引入一个称为 HIRO 的多级 HRL agent，它与其他 HRL 方法不同，因为它具有通用性和数据效率，与以前在目标设定模型中运作的工作不同，HIRO 方法直接使用状态作为目标。关键成就是什么？结合运动和基本物体相互作用的复杂任务实验表明，Hiro 方法可以学习推动物体并利用它们到达目标位置等复杂行为，只需几百万个样本，相当于几天的实时交互；在 GitHub 上可以找到这篇研究论文的开源代码[16]。9. Visual Reinforcement Learning with Imagined Goals[17]又是伯克利人工智能研究团队，该论文提出的算法可以在没有人类监督的情况下同时学习大量不同的任务。 关键的想法是，agent可以通过设定自己的目标，实践复杂的行为，以及学习周围的环境来准备解决不同的任务。 使用这些自主学习的技能，agent然后能够解决用户指定的用图像表示的任务。 实验结果表明，该方法能够有效地学习基于图像的复杂任务的策略，并且能够成功地应用于实际机器人操作技能的学习。本文的核心思想是什么？本文提出了一种基于目标的视觉任务解决框架，该框架不需要任何基本的真值状态或奖励函数；这种方法被称为带有想象目标的强化学习，训练一个由许多重要组成部分组成的生成模型。关键成就是什么？针对机器人任务集合的 RIG 算法在样本效率和性能方面与基于状态的"oracle"方法的结果非常接近，尽管 RIG 方法不具有对对象状态的访问。尽管直接从像素中学习，解决任务并不需要花费太多时间；完成一个目标位置的任务需要大约一个小时的实际机器人交互时间，完成物体推进的任务需要大约4.5个小时。该算法通过 Vitchyr Pong 的 rlkit 库实现[3]，这些环境也可以在 GitHub [18]上公开使用。10. Horizon: Facebook’s Open Source Applied Reinforcement Learning Platform[19]Facebook 团队开放了应用强化学习端到端平台的资源，以推动 RL 从学术界向产业界过渡。 该平台建立在将行业适用性作为第一优先事项的原则之上，为自动和高效的数据预处理提供一条通道，允许在生产中使用灵活的模型，提供在发布前评估算法性能的机会。 经过 Horizon 训练的模特已经在 Facebook 上成功部署。本文的核心思想是什么？使用 Spark 管道将记录的数据转换为深层 RL 模型所需的格式的数据预处理；特征规范化——提取每个特征的元数据，并在训练和服务过程中自动对特征进行预处理；深度 RL 模型的实现，包括深度Q 网络、具有双Q 学习的深度 Q网络等。关键成就是什么？介绍了第一个开源的端到端平台，这个平台可以被公司用来应用强化学习技术来解决现实中的行业问题；举例说明使用 Horizon 训练的模型如何优于基于监督式学习的方法，并成功应用。第一个应用强化学习的开源平台可以在 Facebook 的 GitHub [20]资源库中找到。由于本平台插入外链会误认为是广告，文献和源码请 关注 ：清华阿罗@知乎，汇先科技提供新闻资讯

“2019年度四川大学十大团员青年标兵名单”出炉的时候，一位来自高分子科学与工程学院的研三男生宋昕，令人印象格外深刻——学习成绩优异——研究生期间绩点3.9；科研表现突出——发表十多篇高水平研究论文，其中以第一作者及共同一作在Nature Biomedical Engineering、Journal of Materials Chemistry A等TOP期刊发表论文多篇，第一作者累计影响因子58.894。国家奖学金、研究生国家奖学金、唐立新奖学金、四川省优秀毕业研究生、中国大学生高分子材料创新创业大赛全国特等奖、四川大学第十一届优秀学术之星、四川大学优秀毕业生、四川大学优秀研究生……荣誉密密麻麻能填满半张A4纸。除此之外，他还是一名科技转化小能手，目前已申请中国发明专利8项，公开6项。学习好、科研棒、比赛强，还是一个“双创”好手，“高能学霸”这四个字，用他身上，再合适不过！对于这个标签，宋昕却很谦逊，他说：“越努力，越幸运。”大二做科研、大三发论文目标明确，没空闲也充满干劲！本科期间，宋昕通过转专业考试进入高分子材料与工程专业学习，并参加大学生创新创业训练计划项目，加入了赵长生教授的课题组。这个时候的宋昕，还只能算是一个科研小白。但他凭着对生物医学的强烈兴趣和一腔求知热情，竟拉起了一个五人的小团队，在赵长生教授的人工肾和血液透析膜研究方向上，开展抗凝血性能、抗生物污染性能的新型的血液透析膜的研究。就这样，从刚开始接触实验室里的“瓶瓶罐罐”，到通过科研项目逐渐对科研工作有了系统化的认识，宋昕心中的一腔求知热情也进一步升华为了明确的目标：要在高分子学科中继续深造、投身科研！参加大创项目的那段时光，令宋昕异常难忘。兼顾繁重的日常课程和要求极高的大创项目，宋昕每日都是“连轴转”的状态。“天天都跑着去上课，下了课又跑回实验室，周末就整理数据写论文，几乎没有闲暇时间。”虽然没有太多休息时间，但心怀热爱和目标明确的宋昕，浑身都充满了干劲。终于，在导师的指导下，宋昕完成了自己的第一个课题，课题获评“国家级大学生创新训练计划”，而他也凭着严谨的态度和不断完善的追求，在大三便以第一作者的身份发表了高水平论文。“这篇论文来之不易啊！一共改了4遍，最后的成稿和初稿几乎是两个模样。”最终，宋昕以专业第二的成绩保研进入赵长生教授课题组继续深造。“做科研，真的挺有意思的！”宋昕说。付出时间，付出汗水仰望星空，以科研担起家国情怀研究生期间，宋昕的专业是生物医学工程，主要研究方向是血液净化材料。“不仅因为课题组本身在这个方向上有很好的研究基础，同时也是因为这些研究可以切实地为国家、患者解决问题，减轻负担。”怀抱着家国情怀的宋昕在进入研究生阶段后，迅速地确定了自己的研究方向。在实验过程中，宋昕没少遇到问题和挫折，但他从未灰心丧气，每次都积极与周围老师、同学沟通交流。由于血液净化材料的研究需要材料科学、生物学、临床应用等多学科的交叉运用，宋昕还多次请教了英属哥伦比亚大学、四川大学华西学院、中国医学科学院输血研究所等多位专家和老师，通过学习合作来克服所遇到的问题。“做科研就像仰望星空，当遇到问题时，需要静下心抬头看看别人的研究，只有站在巨人的肩膀上才能不断精进。”宋昕感慨道。“假性血友病抗凝模型研究”是宋昕目前经历的历时最久、过程最复杂的一项研究。研究生刚入学时，宋昕就开始了该方面的探索，然而一年后，他却发现自己最初的认知完全错误！一年来潜心研究的成果，无奈都要全部推翻重来。“的确有点受打击，但是当时导师和师兄师姐们都在鼓励我，这给了我很大力量。”于是，宋昕重新树立信心，改变思路继续前行。这一次，他很快找到了新的突破口，并尝试与面向临床的华西医院肾脏内科相关研究团队、擅长血液肌理研究的加拿大英属哥伦比亚大学的相关研究团队建立了合作关系。在长达半个多月的时间里，宋昕每天早上7点起床，赶往实验室做实验、取样本、处理血样……一天忙下来，他总是在实验室要关门的时候才肯离开，回到寝室已经是晚上11点以后了。有时候，实验会失败，一天的努力就全部归零。但当第二天一早，宋昕又会准时出现在实验室里。功夫不负有心人。最终，研究取得了令人满意的成果：建立了一种新型体外抗凝模型，可以实现局部安全的体外循环抗凝血并同时规避抗凝剂的出血风险，对于人工肾、人工肝、人工肺等应用有重要意义。宋昕在谈到这段研究经历的时候，说的最多的两个字就是“感谢”：感谢一直鼓励他指导他的老师们，感谢陪他一起搬耗材做实验的团队成员，感谢那些无偿向他们提供透析液和机器的公司，也很感谢那个就算失败仍然继续坚持的自己。这项研究成果已发表在Nature子刊上，影响因子为17.135。在与导师反复讨论后，他对如何将科研成果应用于实践进行了认真的思考，并对相关成果实现实际工业化应用进行尝试。在研究生期间，他先后申请了8项中国发明专利，其中6项已处于公开阶段。其中与此次研究相关的“自抗凝高性能凝胶微球”课题对于肾衰患者的治疗及佩戴式人工肾的研发具有重要的意义，目前正在通过企业横向项目合作进行产业转化。面向市场，创新创业快速成长，做青年科技创新力量“如何在学生期间就收获好的科研成就？”宋昕说自己的经验就是——确立自己感兴趣的方向，不轻言放弃。“兴趣会给予人前行的动力，在前进的过程中也要注意保持平和的心态，勇敢面对失败，不轻言放弃。就算你做了100次实验，其中99次是失败，只有一次成功了。但你依旧是成功的！”宋昕说。“我习惯把大目标分解许多小目标。”在宋昕的手机里，有许多用来时间管理和提高效率的学习类APP，他说自己享受一天下来自己将每日任务一个个划掉的感觉。“一步一个脚印去完成我的目标，我会很有满足感！”虽然是一名不折不扣的科研学霸，但是宋昕的生活绝非单一色调。课余时间，他参加了不少创新创业大赛，并取得了优异的成绩。“比赛是一个助力快速成长的过程，通过组建多学科交叉的团队参加创新创业比赛，不仅可以帮助我们了解到本研究方向的前景，还能帮助我们发现实实在在的市场需求和产品价值。”宋昕如此看待比赛。在导师的指导下，宋昕将自己科研成果进行创业项目孵化，与高分子、医学、商学院的同学共同组建了“Colaney血液净化领航者”团队，获得了中国大学生高分子材料创新创业大赛全国特等奖、第五届四川省“互联网+”学生创新创业大赛省铜奖、第三届“中国创翼”创业创新大赛省赛三等奖、第一届“京津翼-粤港澳”青年创新创业大赛优胜奖等十余项奖项。这些项目还与多家工厂、研发机构、医院等关键性企业合作，在产品升级、加工生产和代理销售等方面都已有了明确的方向。七年川大学习生活，宋昕总是以理论结合实际，紧跟时代发展的浪潮，真正做到了“仰望星空，脚踏实地”，成为了青年科技创新的新兴力量！目前，站在研究生即将毕业的路口，宋昕选择了再出发——继续在血液净化材料方向深耕，去国外攻读博士学位。之所以选择出国，宋昕表示是因为自己一直想去体验不同的学习环境、感受不同的文化氛围、了解更多的行业前沿。面向未来，宋昕期待着自己能创造出更多造福社会的成果，“我的导师赵长生教授一直都是我的榜样，我希望自己能够向他看齐。”回望过去，宋昕用“幸运”来形容自己走过的路。“越努力，越幸运”正是宋昕的座右铭，“每一个幸运的现在，都有一个努力的曾经”， 宋昕会一直朝着他的热爱努力下去。来源：四川大学 图片由受访者提供 采写编|鲁盈杉 责编|曹丹

鱼羊 编译整理量子位 报道 | 公众号 QbitAI9012年已经悄悄过去了1/3。过去的100多天里，在深度学习领域，每天都有大量的新论文产生。所以深度学习研究在2019年开了怎样一个头呢？Open Data Science对第一季度的深度学习研究进行了盘点总结，推出了这一季度的十佳论文。一起来看看，TOP10都花落谁家吧。基于PyTorch Geometric的快速图像表征学习Fast Graph Representation Learning with PyTorch Geometric这篇论文的作者Matthias Fey和Jan E. Lenssen来自德国多特蒙德工业大学。他们的研究介绍了PyTorch Geometric——一个基于PyTorch的不规则结构化输入数据（如图形、点云和流形）深度学习库。除了通用的图形数据结构和处理方法，PyTorch Geometric还包含了各种最新发布的关系学习方法和3D数据处理方法。利用稀疏 GPU 加速，提供专用的 CUDA 内核，并为不同大小的输入样本引入高效的小批量处理，通过这些方法，PyTorch Geometric 实现了很高的数据吞吐量。该项目的代码可以在GitHub上找到：https://github.com/rusty1s/pytorch_geometric论文链接：https://arxiv.org/abs/1903.02428v2Mask Scoring R-CNN凭借比何恺明的Mask R-CNN更出色的效果，MS R-CNN拿下了计算机视觉顶会CVPR 2019的口头报告。在Mask R-CNN这样的模型中，实例分类的置信度被当作蒙版（mask）的质量衡量指标，但实际上蒙版的质量和分类的质量并没有很强的相关性。华中科技大学的这篇文章针对这个问题进行了研究，他们提出了一种新的打分方法：蒙版得分（mask score）。不仅仅直接依靠检测得到分类得分，Mask Scoring R-CNN模型还单独学习了一个针对蒙版的得分规则：MaskloU head。同时考虑分类得分和蒙版得分，MS R-CNN就能更加公正地评估算法质量，提高实例分割模型的性能。研究团队在COCO数据集上进行了实验，结果表明MS R-CNN在不同的基干网路上，AP提升始终在1.5%左右。这篇论文的作者是黄钊金，来自华中科技大学电信学院副教授王兴刚的团队，王兴刚也是这篇论文的作者之一。使用更少的标签生成高保真图像High-Fidelity Image Generation with Fewer Labels关于生成对抗网络（GAN）的最新研究表明，最新的模型虽然能生成高分辨率高保真的多样化自然图像，但真的实现起来要依赖大量的标记数据。在这篇论文中，来自谷歌大脑和苏黎世联邦理工学院的研究人员演示了如何从关于自我和半监督学习的最新研究进展中获益，在无监督ImageNet合成和条件设置中超越最先进的模型BigGAN。GCNv2：实时SLAM的高效通信预测GCNv2: Efficient Correspondence Prediction for Real-Time SLAM这篇论文的作者Jiexiong Tan等人都来自瑞典皇家理工学院。他们提出了一个基于深度学习的网络模型GCNv2，用于生成关键点和描述符。GCNv2是图卷积网络（GCN）的高效精简版。它采用二进制描述符向量作为ORB特性，因此它可以在ORB-SLAM等系统中轻松替换ORB。ALiPy：用于主动学习的Python工具包ALiPy: Active Learning in PythonALiPy是南京航空航天大学开源项目，是一个以自由度为主打的主动学习开源免费工具包。基于这个框架，用户可以方便地评估、比较、分析不同主动学习方法的性能。这个Python工具包支持7种不同的主动学习场景，同时还实现了25种主动学习算法供使用者调用。什么要选择主动学习方法呢？因为有监督的机器学习方法通常需要大量带标签的例子来进行模型训练。然而，在许多实际应用中，有大量的未标记数据，这大大增加了机器学习的成本。而主动学习能通过反复迭代选出最有价值的数据，只将有价值的数据加入训练集，从而降低了标记成本。这篇论文主要介绍了ALiPy的各个模块和使用方法。在工具箱中，学习框架的每个组件都有多个可选项，包括数据处理、主动选择、标签查询、结果可视化等。除了20多种最先进的主动学习算法的实现之外，ALiPy还支持用户轻松配置和实施自己的方法。该工具箱在Github上有详细记录和开源，可以通过PyPI轻松安装。DeepFashion2：用于服装图像检测、姿势估计、分割和重新识别的时尚数据集DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images程序员现在也有了了解时尚的新途径。DeepFashion2是一个综合时尚数据集，它拥有491k张流行服饰图片，既有卖家秀，也有买家秀。同时，801k种服装在图像中被标注了出来。这个数据集还提供了873k个商业-消费者图像对。DeepFashion2的训练集包含391k张图片，验证集有34k张图片，测试集则分到了67k张图片。所以，用它来完成衣服检测、姿势估计、分割和检索这样的任务再合适不过了。其实早在2017年，香港中文大学就开源了一个大型时尚数据集DeepFashion，其中包含80万张图片。然而，标记稀疏（仅4~8个）、没有针对单像素的蒙版这样的问题使得DeepFashion与现实场景产生了明显的差距。为了解决这些问题，DeepFashion2就诞生了。↓↓↓↓↓↓这回真的是标注清楚又全面了。星际争霸多智能体挑战The StarCraft Multi-Agent Challenge这篇论文的作者是俄罗斯-亚美尼亚大学的Mikayel Samvelyan和牛津大学的Tabish Rashid等人。星际争霸多智能体挑战（SMAC）基于即时战略游戏星际争霸Ⅱ，游戏中的每一个单位都能被单独控制，也就是说每一个单位都需要一个独立的智能体来操控。这是一个多智能体协作问题，在深层多智能体强化学习（RL）领域当中这类问题一向非常具有吸引力，因为它能与大量现实世界中的系统联系起来。单一智能体的强化学习可以依托于ALE和MuJoCo这样的标准化环境，但多智能体协同强化学习领域并没有类似的基准问题，这就导致了许多这方面的论文都像是一次性玩具。于是研究者们提出将星际争霸多智能体挑战（SMAC）作为填补这一空白的基准问题。为了达到最佳的实践效果，这篇论文提供了一系列对战图和测试建议，研究者们还开源了了一个深层多智能体强化学习框架，框架整合了最先进的强化学习算法。Dropout是SDR的特殊情况：更快，更准确的深度学习Dropout is a special case of the stochastic delta rule: faster and more accurate deep learningDropout是用来减轻深层神经网络过度参数化、深度学习过拟合和避免不良局部最小值的一种方法。它在每次更新之前根据带有概率p的Bernoulli随机变量移除隐藏单元，从而创造一个稀疏的网络架构。而Noah Frazier-Logue和Stephen José Hanson的研究表明Dropout是1990年发布的随机delta规则（SDR）的一个特例。SDR把神经网络中的每个权重重新定义为随机变量，并且为随机变量中的每个参数提供了更新规则。而Dropout就是一个具有带固定参数的二项随机变量的SDR特例。在论文中，作者还用SDR修改了DenseNet框架，并在标准基准（CIFAR-10和CIFAR-100）中进行了测试 ，结果说明SDR相对于二项分布的 Dropout 具有很大的优势。Lingvo：用于序列到序列模型的模块化和可扩展的框架Lingvo: a Molar and Scalable Framework for Sequence-to-Sequence ModelingLingvo是Google出品的一个Tensorflow框架，为协作深度学习研究提供完整的解决方案，侧重于序列到序列模型。Lingvo模型具有模块化、易扩展的特点，实验配置集中且高度可定制。该框架支持分布式训练和量化推理，包含大量实用程序，辅助函数和最新研究的现有实现。这篇论文概述了Lingvo的基础设计，介绍了框架的各个部分，同时还提供了展示框架功能的高级功能示例。新的自适应优化算法AdaBoundAdaptive Gradient Methods with Dynamic Bound of Learning RateAdaGrad、RMSProp和Adam之类的自适应优化方法通过调整学习率上的元素级缩放项实现了快速训练，但与SGD相比这些方法的泛化性能较差，甚至由于不稳定和极端的学习率而无法收敛。AdaBound是由北大、浙大等名校学霸提出的全新优化算法，是Adam和AMSGrad的新变体，兼具Adam和SGD两者之美，速度快且性能佳。该论文已经被ICLR 2019接收。— 完—

本文由 查重降重中心 sp8080.com 整理分享不写学术论文的现象在当代高校大学生中很普遍。尽管这是高等教育教学的失败，但这是当前大学教育教学中必须解决的一个现实问题。在成千上万的当代写作指导书中，虽然关于学术论文写作的教学讲道很多，但是从写作实践的角度来看，思想写作而不是大学生学术论文写作的技术指导，看不到多少。因此，本文不想从写作科学的角度讨论其学术论文中较为困难的理论，而希望从写作思维方法的角度对此进行必要的描述。首先，学术论文的构成我认为，学术论文是关于学术研究成果的基本且特殊的表达方式。风格的基本形式特征是：首先，所提及内容的专业性和探索性；第二，语言的学术性和逻辑性；第三，前瞻性和完美的思维方式；四，写作形式文体和多样性。在表单组成方面，它具有基本的元素要求，例如：“目录摘要”，“关键字”，“外语摘要”，“简介”，“正统”，“结论”，“语录”来源（注释）等，就文章的结构而言，您需要具备自我的“假设”，“假设”基础，艺术和科学的内部逻辑，“假设”论点（（并且需要“证明”）），理论深度，“假设”结论等；在语言表达，语言使用的学术性质，语义选择的准确性，实用程序的逻辑以及语言风格的自我完善等方面。第二，关于学术论文的类型和主题（1）类型1，描述“通说”，也称为“学术评论”:这种学术论文可能是学术论文中相对较浅或较低的学术价值。这种论文的一般做法是对某个学科，领域和学术研究问题的研究现状进行全面概述。其中，作者的个人观点很少，大多数人并未表达，只是针对某种学术研究的现状，例如：理论分布，主要流派，基本观点，重要观点，辩论焦点，热点，纠纷，相似性，差异，趋势，偏好程度等均被整体描述。一般意义在于整合特定方面，特定学科和学术领域的研究现实。其主要目的是为他人或自己的研究提供材料和参考资料。2，为了纠正“通论” :的论文，很可能是作者指出了它的误解，提出了问题，然后阐述了对许多“通论”的“谬误”的自我认识。大多数想法是首先质疑某个学术“共同理论”，然后阐述“共同理论”的缺陷或错误，错误的原因，最后解释个人对学术问题的自我看法。选择此类论文的大多数作者对所研究的问题都有更深入的了解，而且大多数都是具有深厚学术技能的人。3，补编《通说》 :这是一种学术论文，旨在补充“通说”的不足。这种论文的选择通常是从学术“所有人”手中进行的，这对于刚接触论文的人来说是困难的。该方法可能是因为人们习惯于对一些众所周知的学术问题持平视态度，而忽略了自己的学术理论缺陷，而认真的学术“每个人”都会发现并补充主题选择的形式。4，补充资料“以前说过的” :这是一种主题选择形式，是对已经讨论过（研究过）的学术问题的补充。一般的方法是首先讨论已经提到的学术问题。作一个概括性的解释，以解释对先前研究缺乏深入的论证或其他采用深度方法的原因。现在，我们将进行进一步的演示。5， “新口语” :的创建，论文主题选择的“新口语”形式的创建是为了在以前的人们已经研究过的某些领域中提出新的想法或见解。例如，我对“路遥知道马力，随着时间的流逝见人心”的自我认知。它属于创建“新理论”的实践（请参见卓文《关于思想》）。他撰写的论文形式与其他论文的形式大致相同。不同之处在于对“旧理论”的分析是深刻的，有充分根据的，并且能够说服公众。然后详细说明您自己的新声明。6，开拓性的“新理论” :我在这里谈论的“开拓性”一词实际上是指自我创造一门全新的科学。这种主题选择非常复杂。对于作家来说，他们不仅必须掌握科学的所有知识和能力，而且还必须具有发现新科学和新领域的能力。同时，他们还必须了解科学的价值。性别，应用程序，系统等。将学科的内部构成要素理解为一门独立的新兴科学（即科学结构的要素），学科内容的特征，体系，理论类别，研究方法，应用方法等；并且可以构建成功的入门学科的外部联系和阶段。相邻学科的理论发展，相互关系等，例如：我提出并展示的：《交际美学》（大连出版社），《编辑美学》（大连出版社）。孙鹤教授提出并论证了《遗憾学》（中国社会文学出版社）等。（2）主题选择学术论文的选择本身就是一门科学，不同的学者有不同的方式和方法。主要区别在于对学科的学术控制。学术上的“每个人”通常都会高度重视所选主题的价值，而通常会忽略那些学术价值较低的主题。对于那些刚接触学术学科的人来说，他们应该特别注意选择一些具有一定学术价值的学科，但是研究范围较小，以至于无法控制它们。选择研究范围相对较大的主题。你必须尽力而为。您必须注意学习风格和学术能力的基本素质和能力因素。同时，我们必须注意数据因素。尤其要注意学科的前沿分布和学术研究的价值。主题的选择应基于第二或第三级思维的学术价值（请参阅我的文章01003010），因为当代科学研究领域已经被太多的人研究，而不是进行第二和第三级思维，这很困难选择有价值的主题和前瞻性主题。关于主题选择，我建议大学生应该学习研究“ 5月4日”的大学提问者刘半农。他是最早提倡汉字“她”一词的人，提出这一观点后，立即引起了社会的普遍认可。从他创造的“她”一词的难度，到该主题的社会政治价值和社会应用价值，甚至文化科学的价值，其中有很多技术，这些技术尤其令人着迷。一般来说，大学生的大部分学术研究课题都是由导师选择或由导师协助。但是，所选主题是否满足自己的能力和兴趣需要自己考虑。这是不同的。三，关于学术论文的写作（1）学术论文的概念学术论文写作成败的关键在于构想这种联系。一般而言，在选择学术论文之后，作者的首要任务是对主题的理论观点和学术理论范畴进行全面的回顾。界定理论范围，完善自我观点，构建“自我辩护”的结构设计。弄清楚属于您自己的研究和论据的问题和类别。在编写了文章的“内容摘要”并整理了相关的支持材料之后，您就可以开始“拉”写作主题了。（2）撰写学术论文“简介”学术论文的“引言部分”也称为“问题提出”。对于学术论文的写作，这一部分非常重要，因为不仅“一篇好文章的开始是写一篇好文章的一半”，而且学术论文的“介绍”不仅涉及论文的内容，而且还涉及论文的内容。一般而言，学术论文的“引言”应包括以下几个方面：一是提及的原因或原因；二是研究的目的和价值；三是论文的目的和价值。问题的“一般研究情况”；第四是研究缺乏震撼力；第五是准备研究的角度和方法；第六是学术态度上谦虚的词，为研究留出了更多的空间。可以根据个人，主题和需要来照顾全部或部分这些相关因素，但是其原则是使讨论的问题以最准确，简洁和雄辩的方式进行。（3）撰写学术论文的“积极部分”学术论文的积极部分取决于论文的内容。一般而言，除了这些文本文件外，通常还需要进行“现状分析”，“缺失之处”，“实例列举”，“原因分析”，“正面和负面论证”，“自我认知”（（个人观点或观点），“所持观点的依据”以及其他必要的论点内容等）。写作格式可以是“因果推理”的纵向结构，也可以是“水平结构”或“正负比分析”的“水平推”结构，当然也可以根据讨论的需要以其他结构形式编写，但是，无论采用哪种书写结构，其核心地位学术论文的“积极部分”不可动摇，因为这部分与所讨论问题的科学性，真实性，完整性，说服力和“自我辩护”有关，因此，撰写此部分的写作思想必须非常明确。内部逻辑艺术与科学c必须紧密联系在一起。（4）撰写学术论文的“结论部分”学术论文的“结论部分”是学术论文的终点。写作要求通常基于其原始思想。此外，还有一些必要的原则，例如适度的词语，以确保其学术观点的灵活性。 “空间存在。总之，学术论文的“结论部分”是非常重要的结构性链接。俗话说，“老挝的篮子都封闭了。”这就是原因。

机器之心分析师网络作者：仵冀颖编辑：H4O本篇提前看重点关注 ICLR 2020 中关于联邦学习（Federated Learning）的最新研究进展。2020 年的 ICLR 会议原计划于4 月 26 日至 4 月 30 日在埃塞俄比亚首都亚的斯亚贝巴举行，这本是首次在非洲举办的顶级人工智能国际会议，但受到疫情影响，ICLR 2020 被迫取消线下会议改为线上虚拟会议。今年的 ICLR 论文接受情况如下：共计接收 679 片文章，其中：poster-paper 共 523 篇、Spotlight-paper（焦点论文）共 107 篇、演讲 Talk 共 48 篇，另有被拒论文（reject-paper）共计 1907 篇，接受率为 26.48%。本篇提前看重点关注 ICLR 2020 中关于联邦学习（Federated Learning）的最新研究进展。联邦学习是一种在分布式网络中实现的客户端本地存储数据并训练局部模型、中央服务器汇聚各客户端上载数据后训练构建全局模型的分布式机器学习处理框架。联邦学习能够有效解决分布式网络中两方或多方数据使用实体（客户端）在不贡献出数据的情况下的数据共同使用问题，同时保证全局模型能够获得与数据集中式存储相同的建模效果。关于联邦学习，机器之心也有过相关的进展分析报道。在 ICLR 2020 的接受论文中，共有 7 篇文章与联邦学习相关，其中 2 篇为演讲 Talk的文章，5 篇为poster-paper。本文从中选择 3 篇进行分析，分别聚焦的是联邦学习的总体优化目标设置、全局模型构建方法以及数据特征对齐问题，具体为：Poster PaperFair Resource Allocation in Federated LearningDifferentially Private Meta-LearningDBA: Distributed Backdoor Attacks against Federated LearningGenerative Models for Effective ML on Private, Decentralized DatasetsFederated Adversarial Domain AdaptationTalkOn the Convergence of FedAvg on Non-IID DataFederated Learning with Matched Averaging一、Fair Resource Allocation in Federated Learning论文链接：https://arxiv.org/pdf/1905.10497v1.pdf联邦学习的目标是通过最小化经验风险函数，使得模型能够拟合由若干网络设备中收集到的数据。通常情况下，联邦学习网络中的设备数量很大，从数百个到数百万个不等。这种简单直接的拟合操作可能会造成最终拟合的模型适合于一些设备，而在另外一些设备中不适用的问题。此外，不同设备中的数据存在大小不同、分布特征不同等异质性问题。这篇文章所要探讨的问题就是：是否可以设计一种优化方法来确保联邦学习模型的性能（如准确度）公平地分布在各个设备之间？受无线网络公平资源分配工作的启发，本文提出了一种解决联邦学习中公平问题的优化目标算法 q-FFL（q-Fair Federated Learning）。q-FFL 通过引入 q 参数化的权重，实现了对不同设备损耗的重新加权计算，使得损耗较高的设备具有较高的相对权重，从而减小准确度分布方差，实现准确度更公平的分布。q-FFL 无需手工调整公平性约束，它构建的是一个灵活的框架，在该框架中可以根据所需的公平性自动调整目标。此外，本文提出了一种轻量级且可扩展的分布式 q-FFL 解决方法：q-FedAvg，该方法考虑了联邦学习架构的重要特征，例如通信效率和设备的低参与性等。方法描述经典联邦学习通常是最小化以下目标函数：其中，m 表示设备数量，F_k 是各个客户端的局部目标函数，p_k 为客户端对应的权重。局部目标函数的优化处理过程为：其中，n_k 为第 k 个客户端局部样本数据数量，可以令 p_k=n_k/n，n 为整个联邦学习网络的数据集中符合经验最小化目标的样本总数。传统方法通过以下方式实现全局目标最优化：每一轮选择概率与 n_k 成正比的设备子集执行这些本地更新方法通过在每个设备上本地运行可变数量的迭代的优化器（例如 SGD）来实现灵活高效的通信。经典联邦学习（FedAvg）的优化流程如下：FedAvg 的优化过程会引入不同设备之间的不公平性。例如，所学习的模型可能偏向具有数据量大的设备，或者偏向于（通常是对设备加权）经常使用的一组设备等等。为了讨论如何解决联邦学习框架的不公平性问题，作者首先定义了什么是联邦学习中的公平性。公平性定义：可以通过下面的方法衡量两个模型 w 和 w~的公平性，如果模型 w 在 m 个设备上的性能方差 {a_1，...，a_m} 小于模型 w~在 m 个设备上的性能方差，则认为模型 w 更公平，即从公平性定义的角度出发，解决 FedAvg 中存在的不公平性的问题的一个很直观的办法就是重新对目标进行加权，即将较高的权重分配给性能较差的设备，以减小模型的准确度分布方差。此外，重新加权的处理必须是动态完成的，因为设备的性能取决于所训练的模型，这是无法进行先验评估的。给定非负代价函数 F_k 和参数 q>0，定义 q-FFL 目标如下：其中 (F_k).^(q+1) 表示 F_k 的 q+1 次幂，q 为调整所希望施加的公平性的权重参数。根据公平性定义，较大的 q 意味着 q-FFL 的目标强调（赋予较大权重）具有较高局部经验损失的设备 F_k(w)，从而减少训练准确度分布的方差以及保证公平性。当 q 足够大时，F_q(w) 就退化为经典的 min-max 问题，此时，性能最差（最大损耗）的设备将会控制主导目标。本文作者首先提出了一种公平但效率较低的方法 q-FedSGD，以说明在解决 q-FFL 问题时使用的主要技术，之后，通过考虑联邦学习的关键属性（例如本地更新方案），作者提供了一种更有效的解决方法 q-FedAvg。首先，q-FedSGD 是对经典的联合小批量 SGD（FedSGD）方法的扩展，其中使用动态步长替代了 FedSGD 中使用的常规固定步长。在 q-FedSGD 的每个步骤中，选择设备的一个子集，对于该子集中的每个设备 k，在当前迭代中计算其F_k 和 F_k 并将其传送到中央服务器，此信息用于调整权重，以收集整合来自每个设备的更新。具体算法如下：在经典联邦学习方法中，在设备本地使用局部随机解算器（而不是批处理）能够改进本地计算与通信方面的灵活性，例如最著名的 FedAvg。然而，简单地在使用 q-FFL 目标的 q-FedSGD 中引入局部随机结算器是不成立的。这是由于当 q>0 时，不能使用局部 SGD 计算 (F_k)^(q+1)。作者提出将 q-FedSGD 步骤中的局部函数的梯度F_k 替换为通过在设备 k 上本地运行 SGD 获得的局部更新矢量，从而实现基于 q-FFL 目标的 FedAvg，即 q-FedAvg。作者的详细分析如下：优化 F_k 和优化 (F_k)^(q+1) 是等价的。如果通过简单的平均来组合这些更新，类似于 FedAvg，它将优化（1）而不是（2）。类似于 q-FedSGD，本文使用由下式推导得到的权重组合本地更新。如果非负函数 f 具有常数 L 的 Lipchitz 梯度，则对于任意 q≥0 和任意点 w，可得到：左式计算得到的权重是 w 点位置处梯度的局部 Lipchitz 常数的上界在 q-FedAvg 的每个步骤中，选择设备的一个子集，对于该子集中的每个设备 k，在当前迭代中计算其局部更新向量并将局部更新向量传送到中央服务器，此信息用于调整权重，以收集整合来自每个设备的更新。具体算法如下：实验分析本文基于经典联邦学习的合成数据库和非合成数据库进行实验，实验中同时使用凸模型和非凸模型，在 TensorFlow 中实现所有代码，以一个服务器和 m 个设备模拟一个联邦学习网络。图 1 给出了在每个数据集的 5 个随机抽取的数据中平均的两个目标（q = 0 和 q> 0 的调整值）的最终测试准确度分布。虽然平均测试准确度保持一致，但 q> 0 的目标能够产生更集中（即更公平）的测试准确度分布，且方差较小。特别的，在保持大致相同的平均准确度的同时，q-FFL 将所有设备上的准确度方差平均降低了 45％。图 1. q-FFL 使得测试准确度分布更加公平使用本文提出的联邦学习框架需要解决一个问题：如何在 q-FFL 目标中调整 q，从而允许框架灵活选择 q 以实现减小准确度分布方差和提高平均准确度之间的权衡。通常，可以根据可获得的数据/应用程序和所需的公平性来调整此值。特别地，在实践中，一种合理的方法是并行运行具有多个 q 的算法（详见 q-FedAvg 的算法流程），以获得多个最终全局模型，然后通过验证数据性能（例如准确度）从中进行选择。在这个过程中，联邦学习网络中的每个设备不仅可以从此过程中选择一个最佳 q，还可以根据其验证数据选择特定于设备的模型。表 1 中显示了这种针对特定设备的策略的性能改进。在表 1 中给出的实验的训练过程中，会独立维护多个全局模型（对应于不同的 q）。尽管这增加了额外的本地计算和每轮的通信负载，但使用这种特定于设备的策略同时提升了最差 10% 准确度（Worst 10%）和最佳准确度（Best 10%）的设备准确度。图 2 给出 q-FFL 与均匀采样方案的准确度比较，在测试准确性方面 q-FFL 给出了更公平的解决方案。表 1. 同时运行多个 q 的 q-FFL 的效果图 2. q-FFL（q> 0）与均匀采样的准确度比较最后，作者对比了 q-FedSGD 和 q-FedAvg 的效率。在每个通信回合中，q-FedAvg 在每个所选设备上运行一个 epoch 的本地更新，而 q-FedSGD 则是基于本地训练数据运行梯度下降（SGD）。图 3 的结果显示，在大多数情况下使用 q-FedAvg 的本地更新方案收敛速度比 q-FedSGD 快。与 q-FedSGD 相比，在合成数据集上 q-FedAvg 收敛速度较慢，作者分析这可能是由于当存储在各个设备中的本地数据分布高度异构时，本地更新方案可能会造成本地模型与初始全局模型相距太远，进而影响收敛。图 3. 对于固定目标（即相同的 q），q-FedAvg（Algorithm 3），q-FedSGD（Algorithm 2）和 FedSGD 的收敛性文章小结在无线网络中公平资源分配策略的启发下，本文提出了一种联邦学习的优化目标 q-FFL，目的是鼓励在联邦学习中实现更公平的准确度分配，此外本文还提出了一种高效且可扩展的方法 q-FedAvg，q-FedAvg 适用于使用新优化目标的联邦学习优化框架。二、Federated Adversarial Domain Adaptation论文链接：https://arxiv.org/abs/1911.02054联邦学习是一种分散学习方法，它使多个客户机能够协作学习一个机器学习模型，同时将训练数据和模型参数保存在本地设备上。联邦学习提高了在分布式设备（如移动电话、物联网和可穿戴设备等）网络中进行机器学习的数据隐私性和效率。自提出联邦学习框架以来，研究人员陆续提出了很多模型/方法，包括更新机器学习模型的安全聚合方案、支持多客户端联邦学习的隐私保护协同训练模型等，但是这些方法大都忽略了以下事实：每个设备节点上的数据都是以非独立同分布（non-i.i.d）的方式收集的，因此节点之间存在域迁移的问题。例如，一台设备可能主要在室内拍摄照片，而另一台设备主要在室外拍摄照片。这种域迁移（domain shift）问题，造成使用联邦学习训练得到的模型很难推广到新设备。为了解决联邦学习中的 Non-IID 问题，一些方法引入联邦多任务学习，它为每个节点学习一个单独的模型，或者是提出隐私保护环境下的半监督联邦转移学习算法。这些算法一般采用的都是有监督/半监督的方式。无监督域适应（Unsupervised Domain Adaptation，UDA）的目的是将从标记的源域学习到的知识迁移到未标记的目标域中。经典 UDA 方法包括：基于差异的方法（discrepancy-based methods）、基于重构的 UDA 模型、基于对抗的方法等，例如可以通过对抗性训练，在源域和目标域之间调整基于 CNN 的特征提取/分类器。在联邦学习架构中，数据存储在各个客户端本地而不能共享，这就导致经典的 UDA 方法都不适用，因为这些方法需要访问标记的源数据和未标记的目标数据。本文主要解决的问题是，在联邦学习架构下，在没有用户监督的情况下，将知识从分散节点转移到具有不同数据域的新节点的问题，作者将该问题定义为：无监督联邦域适应（Unsupervised Federated Domain Adaptation，UFDA）。本文提出了一种解决 UFDA 问题的方法---联邦对抗域适应（Federated Adversarial Domain Adaptation，FADA）方法，该方法能够实现在不同的设备节点中学习到的表示与目标节点的数据分布相一致。FADA 是指：在联邦学习的架构中使用对抗性适应技术，通过在每个源节点上训练一个模型并通过源梯度（source gradients）的聚合来更新目标模型，同时保护数据隐私、减少域迁移。此外，本文还设计了一个动态注意力模型来应对联邦学习中不断变化的收敛速度，具体见图 1。图 1.（a）本文针对 UFDA 问题提出了 FADA，在 FADA 中，不同域之间的数据不可共享，分别在每个源域上训练模型，并使用动态注意力机制汇总它们的梯度以更新目标模型；（b）FADA 使用对抗域对齐（红线）和特征分离器（蓝线）来提取域不变特征。图 1（b）中提到 FADA 使用对抗域对齐和特征分离器来提取域不变特征。关于提取域不变特征的问题，主要是指深度神经网络能够在多个隐藏因素高度纠缠的情况下提取特征。学习分离表示有助于去除不相关和特定领域的特征，从而只对数据变化的相关因素建模。为此，最近的研究探索了利用生成性对抗网络（GANs）和变分自编码（VAEs）学习可解释表示以及领域不变特征。在 FADA 中引入了一种利用对抗性训练过程从领域特征中分离领域不变特征的方法。此外，通过引入最小化域不变特征和域特定特征之间的相互信息，以增强特征分离。方法介绍令 D_S 和 D_T 分别表示输入空间 X 上的源和目标分布，以及真实的标记函数 g：X→{0,1}。假设函数 h：X→{0,1}，其误差为实地标记函数 g，h 在 D_s 上的风险记为：两个分布 D 和 D』之间的 H-散度定义为：其中 H 是输入空间 X 的假设类，A_H 表示 X 的子集的集合，这些子集是 H 中某些假设的支持。对称差空间 HH 定义为:⊕表示 XOR 操作。将在源和目标上实现最小风险的最优假设表示为：以及 h*的误差为：令 H 为 VC 维 d 的假设空间，D_S^和 D_T^为由 DS 和 DT 提取的大小为 m 的样本的经验分布。对于每个 h∈H，在样本选择上的概率至少为 1-δ：定义 UFDA 中源域和目标域分别为在联邦学习的域自适应系统中，D_S 分布在 N 个节点上，并且数据在训练过程中不可共享。经典的域自适应算法旨在最大程度地降低目标风险但是，在 UFDA 系统中，出于安全和隐私的原因，一个模型无法直接访问存储在不同节点上的数据。为了解决这个问题，本文提出为每个分布式源域学习单独的模型 h_S= {h_Si}，目标假设 h_T 是 h_S 参数的集合。然后，可以得出以下误差范围：其中λ_i 是 D_Si 和 T 的混合物的最优假设风险，而 S则是大小为 Nm 的源样本的混合物。该误差范围证明了权重α和差异 d HH（D_S，D_T）在 UFDA 中的重要性，受此启发，本文提出了动态注意力模型来学习权重α和联合对抗性对齐，以最大程度地减少源域和目标域之间的差异。1、动态注意力机制在联邦学习的域自适应系统中，不同节点上的模型具有不同的收敛速度。此外，源域和目标域之间的域迁移是不同的，从而导致某些节点可能对目标域没有贡献甚至是负迁移。本文提出动态注意力机制，其原理是增加那些梯度对目标域有益的节点的权重，并限制那些梯度对目标域有害的节点的权重，利用差距统计数据来评估目标特征 f^t 在无监督聚类算法（K-Means）中的聚类程度，具体的，差距统计计算为：其中，C1，C2，...，Ck 为聚类，其中 Cr 表示聚类 r 中的观测指标，而 nr = | Cr |。直观上，较小的差距统计值表示要素分布具有较小的类内方差。通过两次连续迭代之间的差距统计量增益来测量每个源域的贡献：其中，p 表示训练步骤。该公式表示在建立目标模型之前和之后可以改进多少聚类。来自源域的梯度上的掩码定义为：2、联合对抗对齐在联邦学习框架中存在多个源域，并且数据以隐私保护的方式存储在本地，这意味着无法训练可以同时访问源域和目标域的单个模型。为了解决此问题，本文提出了联合对抗对齐，联合对抗对齐将优化分为两个独立的步骤：特定于域的局部特征提取器和全局鉴别器。（1）针对每个域，对应于 Di 训练一个本地特征提取器 Gi，以及针对 Dt 训练得到 Gt；（2）对于每个源－目标域对（Di，Dt），训练一个对抗性域标识符 DI 来以对抗性的方式对齐分布：首先训练 DI 以确定特征来自哪个域，然后训练生成器（Gi，Gt）来混淆 DI。需要注意的是，D 仅可访问 Gi 和 Gt 的输出向量，而不会违反 UFDA 设置。给定第 i 个源域数据 X^Si，目标数据 X^T，DI_s 的目标定义如下：在第二步中，L_advD 保持不变，但是 L_advG 更新以下目标：3、表征分离本文采用对抗性分离（Adversarial Disentanglement）来提取域不变特征。如图 1（b）所示，分离器 Di 将提取的特征分为两个分支。首先分别基于 f_di 和 f_ds 特征训练 K 路分类器 Ci 和 K 路类别标识符 CI_i 正确地预测具有交叉熵损失的标签。目标为：其中 f_di 和 f_ds 分别表示域不变和域特定特征。在下一步中，冻结类标识符 CI_i，仅训练特征分解器通过生成特定于域的特征 f_ds 来混淆类标识符 CI_i，如图 1 所示。这可以通过最小化预测类别分布的负熵损失来实现。目的如下：特征分离可以通过保留 f_di、消除 f_ds 来促进知识迁移。为了增强分离，最小化域不变特征和域特定特征之间的相互信息：尽管互信息是跨不同分布的关键度量，但互信息仅适用于离散变量。本文采用互信息神经估计器（Mutual Information Neural Estimator，MINE）利用神经网络来估计连续变量的互信息：为了避免计算积分，本文利用蒙特卡洛积分来计算估计值其中（p，q）从联合分布中采样，q』从边际分布中采样，T（p，q，θ）是由θ参数化的神经网络，用于估计 P 和 Q 之间的互信息。域不变和域特定的特征被转发给具有 L2 损失的重构器以重构原始特征，同时保持表征的完整性，如图 1（b）所示。可以通过调整 L2 丢失和互信息丢失的超参数来实现 L2 重建和互信息的平衡。4、优化本文模型以端到端的方式训练。使用随机梯度下降训练联邦对齐和表征分离组件。联合对抗性对准损失和表征分离损失与任务损失一起被最小化。详细的训练过程在算法 1 中给出：实验分析为了更好地探索模型中不同组成部分的有效性，本文提出了三种不同的剥离方法，包括：模型 I，具有动态关注度；模型 II，I +对抗性对齐；模型 III，II +表征分离。本文首先基于 Digit-Five 数据库进行实验。Digit-Five 是由五个数字识别基准数据库组成的集合，这五个数据库分别是：MNIST，合成数字，MNIST-M，SVHN 和 USPS。在本文实验中，轮流将一个域（来自于其中一个数据库）设置为目标域，将其余域设置为分布式源域，从而生成五项迁移任务。本文将 FADA 与流行的域适应基准模型进行比较，包括：域对抗神经网络（DANN），深度适应网络（DAN），自动域对齐层（AutoDIAL）和自适应批归一化（AdaBN）等。具体而言，DANN 通过梯度反转层将源域和目标域之间的域差异最小化。DAN 应用多内核 MMD 损失以在「再生核希尔伯特空间」中将源域与目标域对齐。AutoDIAL 在深层模型中引入了域对齐层，以将源特征分布和目标特征分布与参考分布进行匹配。AdaBN 应用批处理规范化层来促进源域和目标域之间的知识迁移。在进行基准实验时，本文分别使用原模型的作者提供的代码并修改原始设置以适合联邦域对抗域适应设置（即每个域都有自己的模型），用 f-DAN 和 f-DANN 表示。此外，为了说明 UFDA 难以通过单一模型访问所有源数据的困难，本文还执行了相应的多源域适应实验（共享源数据）。实验结果列于表 1。从表 1 的结果可以得出以下结论：（1）模型 III 的平均准确度达到 73.6％，明显优于基线模型；（2）模型 I 和模型 II 的结果证明了动态注意力和对抗性对准的有效性；（3）联合域适应显示的结果比多源域适应弱得多。表 1.「Digit-Five」数据库的准确度（％）为了进一步了解 FADA 的特征表示性能，图 2 给出了不同模型得到的特征表示的 t-SNE 嵌入。与 f-DANN 和 f-DAN 相比，FADA 得到的特征嵌入具有较小的类内方差和较大的类间方差，这表明 FADA 能够生成所需的特征嵌入并能够提取跨域的不变特征。图 2. 特征可视化：仅源特征的 t-SNE 图表 2 中给出了在 Office-Caltech10 数据集上的实验结果，该数据集包含 Office31 和 Caltech-256 数据集共享的 10 个常见类别，以及包含四个域：Caltech（C），这是从 Caltech-256 数据集采样的；Amazon（A），这是从 amazon.com 收集的图像；Webcam（W）和 DSLR（D），这是由网络摄像头以及办公环境下的数码单反相机拍摄的图像。由表 2 可以得出以下观察结论：（1）本文提出的 FADA 模型使用 AlexNet 可以达到 86.5％的准确度，使用 ResNet 可以达到 87.1％的准确度，优于基线模型。（2）当选择 C，D，W 作为目标域时，所有模型的性能都相似，但是当选择 A 作为目标域时，各个模型的性能都较差。这可能是由较大的域差异引起的，因为 A 中的图像是从 amazon.com 收集的，并且包含白色背景。表 2. Office-Caltech10 数据库的准确度（％）亚马逊评论（Amazon Review）数据集是专门应用于文本跨域情感分析的测试数据库，即确定评论的情绪是正面还是负面。该数据集包含来自 amazon.com 用户的针对四个流行商品类别的评论：书籍（B），DVD（D），电子产品（E）和厨房用具（K）。本文利用 400 维词袋表示法及完全连接的深度神经网络进行实验，实验结果见表 3。从表 3 结果中可以得出两个主要观察结论：（1）FADA 模型不仅对视觉任务有效，将其应用于语言任务也表现出了较好的性能。（2）从模型 I 和 II 的结果可以观察到动态注意力和联邦对抗的对齐方式对提高性能很有帮助。表 3.「Amazon Review」数据库的准确度（％）最后为了证明动态注意力的有效性，本文给出了消融（ablation）研究分析。表 4 给出了 Digit-Five，Office-Caltech10 和 Amazon Review 基准测试的结果。在没有应用动态注意力模型的情况下，大多数实验的性能都会下降，因此动态注意力模块对于 FADA 是非常重要的。使用动态注意力模型能够有效应对联邦学习中不断变化的收敛速度，即不同的源域具有自己的收敛速度的问题。另外，当特定域和目标域之间的域迁移较小时，它将增加特定域的权重，相反，则降低权重。表 4. 消融研究结果文章小结在本文中，作者定义了无监督联邦域适应（UFDA）问题，并给出了对 UFDA 的理论推广。此外，本文提出了一种称为-联邦对抗域适应（FADA）的联邦学习模型，通过动态注意力模式能够有效地将从分布式源域学到的知识迁移到未标记的目标域。三、Federated Learning with Matched Averaging论文链接：http://arxiv.org/abs/2002.06440联邦学习允许边缘设备协作学习共享模型，同时将训练数据保留在本地设备中，从而实现将模型训练与数据存储在云中的需求分离开来。本文针对卷积神经网络（CNN）和长短期记忆网络（LSTM）等现代神经网络结构的联邦学习问题，提出了一种联邦匹配平均（Federated Matched Averaging，FedMA）算法。FedMA 通过匹配和平均具有相似特征提取特征的隐藏元素（即卷积层的通道；LSTM 的隐藏状态；完全连接层的神经元等）以层的方式构建共享全局模型。经典联邦学习 FedAvg 的一个缺点是直接对模型参数进行加权平均，可能会对模型性能产生严重的不利影响，并显著增加通信负担，而这一问题主要是由于神经网络（NN）参数的置换不变性而导致的。比如，模型训练后的有些参数会在不同的变体中处于不同的位置，因此，直接对模型进行基于参数位置的加权平均可能使得某些参数失效。本文所提出的 FedMA 引入贝叶斯非参数方法以解决数据中的异质性问题。方法介绍本文首先讨论神经网络（NN）架构的置换不变性，并在 NNs 的参数空间中建立平均的概念。首先从最简单的单层隐藏层全连接 NN 开始介绍，之后针对深度架构、卷积和循环架构进行分析。1、全连接架构的置换不变性基本的全连接（FC）NN 可以表示为在不失一般性的前提下，上式省略了偏差以简化表示，σ是非线性的（entry-wise）。扩展上式，得到其中 i·和·i 分别表示第 i 行和第 i 列，L 是隐藏单元的数目。进一步，将 FC 的置换不变性写作：置换矩阵是一个正交矩阵，当应用于左侧时，它作用于行，而应用于右侧时，则作用于列。假设 {W1，W2} 是最佳权重，那么从两个同质数据集 X_j，X_j』训练获得的权重分别为 {W_1Π_j，(Π_j)^TW_2} 和 {W_1Π_j』，(Π_j』)^TW_2}。现在可以很容易地看出为什么在参数空间中进行简单的直接平均处理是不合适的。令 w_jl 表示数据库 j 中学习得到的第 l 个神经元（W(1)Π_j 中的第 l 列）。θi 表示全局模型中的第 i 个神经元，c(·,·) 表示一对神经元之间的相似函数。以下优化问题的解决方案是所需的置换：给定 J 个客户端提供的权重 {W_j,1，W_j,2}，计算得到联邦神经网络权重：基于上式与最大二分匹配问题之间的关系，本文将此方法称为匹配平均（matched averaging）。如果 c（·，·）是欧式距离的平方，则可以得到类似于 k-means 聚类的目标函数，当然，该目标函数对「聚类分配」π 附加有额外的约束，以确保它们能够形成置换矩阵。2、关键（深度、卷积、循环）架构的置换不变性在介绍卷积和递归架构之前，首先讨论深度 FC 中的置换不变性和相应的匹配平均方法。在 FC 置换不变性的基础上扩展，得到递归定义的深度 FC 网络其中，n=1,...,N 表示层索引，π_0 是按照输入特征 x=x_0 排序的无歧义表征，π_N 表示输出类中对应的表征。σ(·) 为身份表征函数（或者是 softmax 函数，如果想要的是概率而不是逻辑值）。当 N=2 时，恢复得到一个与 FC 置换不变性一样的单隐藏层变量。为了对从 J 个客户机获得的深层 FCs 进行匹配平均，需要为每个客户端的每一层找到置换。然而任何连续的中间层对内的置换都是耦合的，这是一个 NP-hard 的组合优化问题。本文考虑递归（层内）匹配平均方法：假设有 {∏_(j,n-1)}，将 {(∏_(j,n-1))^T W_j,n} 插入上式中，从而找到 {∏_(j,n)} 并移动到下一层。与神经元不同，卷积 NN（CNNs）的不变性体现在通道（channel）不变性上。令 Conv（x，W）表示输入 x 的卷积运算，W 为权重。对权重的输出维度应用任何置换，以及对后续层的输入通道维度应用相同的置换，都不会改变相应的 CNN 的前向反馈。CNNs 的元素表示为：上式允许在通道内进行池操作。为了对第 n 个 CNN 层应用匹配平均，按照公式（2）转换输入形式为：其中 D 是 (∏_(j,n-1))^T W_j,n 的展平后的维度数。类似于 FCs，可以递归地在深度 CNNs 上执行匹配平均。递归结构（RNN）中的置换不变性与隐藏状态的顺序有关。递归结构与 FC 结构相似，主要区别在于隐藏层到隐藏层的权重 H∈ R^(L×L) 排列不变性，其中，L 是隐藏状态的数目。隐藏状态的排列同时影响 H 的行和列。对于一个经典 RNN h_t= σ(h_t1 H + x_t W)，其中 W 是隐藏权重的输入。为了解释隐藏态的置换不变性，对于任何 t，h_t 的所有维度都应该以相同的方式进行置换，即为了匹配 RNN，需要将欧氏距离相似的两个客户端的隐藏权重与隐藏权重对齐。本文的匹配平均 RNN 解是利用公式在输入到隐藏层的权重 {W_j} 中来找到 {∏_j}，隐藏层权重输入的计算方式与之前一致，联邦隐藏层到隐藏层的权重 H 计算为LSTMs 有多个单元格状态，每个状态都有其各自的隐藏到隐藏的和输入到隐藏的权重。在外匹配平均过程中，当计算置换矩阵时，将输入到隐藏权重的信息叠加到 S D×L 权重矩阵（S 是单元状态数，D 是输入维数，L 是隐藏状态数）中，然后如前所述平均所有权重。LSTMs 通常也有一个嵌入层，将这一层当作一个 FC 层来处理。最后，以类似于深度 FCs 的递归方式处理深度 LSTMs。3、FedMA 的完整算法流程首先，数据中心（中央服务器）只从客户端收集第一层的权重，并执行前面描述的单层匹配以获得联邦模型的第一层权重。然后数据中心（中央服务器）将这些权重广播给客户端，客户端继续训练其数据集上的所有连续层，同时保持已经匹配的联邦层冻结。然后，将此过程重复到最后一层，根据每个客户端数据的类比例对其进行加权平均。FedMA 方法要求通信轮数等于网络中的层数。具体流程见算法 1：实验分析图 1 展示了层匹配 FedMA 在更深的 VGG-9CNN 和 LSTM 上的性能。在异构环境中，FedMA 优于 FedAvg、FedProx（LeNet 和 LSTM 为 4，VGG-9 为 9）和其他基线模型（即客户端个人 CNN 及其集成）训练得到的 FedProx。图 1. 基于 MNIST 的 LeNet；基于 CIFAR-10 数据集的 VGG-9；基于 Shakespeare 数据集的 LSTM 上有限通信量的各种联邦学习方法的比较：（a）同构数据划分（b）异构数据划分FedMA 的优点之一是它比 FedAvg 更有效地利用了通信轮次，即 FedMA 不是直接按元素平均权重，而是识别匹配的卷积滤波器组，然后将它们平均到全局卷积滤波器中。图 2 给出了可视化的一对匹配的本地滤波器、聚合的全局滤波器和 FedAvg 方法在相同输入图像上返回的滤波器所生成的表示。匹配滤波器和用 FedMA 生成的全局滤波器能够提取输入图像的相同特征，即客户端 1 的滤波器 0 和客户端 2 的滤波器 23 提取马腿的位置，而相应的匹配全局滤波器 0 也提取马腿的位置。对于 FedAvg，全局滤波器 0 是客户端 1 的滤波器 0 和客户端 2 的滤波器 0 的平均值，这明显篡改了客户端 1 的滤波器 0 的腿部提取结果。图 2. 由局部训练模型、FedMA 全局模型和 FedAvg 全局模型的第一卷积层生成的表示最后，作者研究了 FedMA 的通信性能。通过将 FedMA 与 FedAvg、FedProx 进行比较，在数据中心（中央服务器）和客户端之间交换的总消息大小（以千兆字节为单位）和全局模型实现良好效果所需的通信轮数（完成一次 FedMA 过程需要的轮数等于本地模型中的层数）测试数据的性能。此外，还比较了集成方法（Assemble）的性能。本文在 VGG-9 本地模型的 J=16 客户端的 CIFAR-10 数据库和 1 层 LSTM 的 J=66 客户端的 Shakespeare 数据库上评估了异构联邦学习场景下的所有方法。实验确定了 FedMA、FedAvg 和 FedProx 允许的总通信轮数，即 FedMA 为 11 轮，FedAvg 和 FedProx 分别为 99/33 轮，用于 VGG-9/LSTM 实验。FedMA 在所有情况下都优于 FedAvg 和 FedProx（图 3），当在图 3（a）和图 3（c）中将收敛性作为消息大小的函数进行评估时，它的优势尤其明显。图 2. 两种联合学习场景下各种方法的收敛速度：在 CIFAR-10 上训练 VGG-9，J=16 个客户端；在 Shakespeare 上训练 LSTM，J=66 个客户端文章小结本文提出了 FedMA----一种为现代 CNNs 和 LSTMs 体系结构设计的分层联邦学习算法，它考虑了神经元的排列不变性，并实现了全局模型大小的自适应变化。本文证明了 FedMA 可以有效地利用训练后的局部模型，这也是联邦学习算法和架构主要考虑的问题。在后续工作中，作者考虑利用近似二次分配解（Approximate Quadratic Assignment Solutions）的方法引入额外的深度学习构建块，例如剩余连接和批处理规范化层，从而进一步改进 LSTMs 的联邦学习效果。此外，作者提出，探索 FedMA 的容错性并研究其在更大数据库上的性能非常重要，特别是针对那些即使在数据可以聚合的情况下也无法进行有效训练的数据库。作者介绍：仵冀颖，工学博士，毕业于北京交通大学，曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理，现从事电子政务领域信息化新技术研究工作。主要研究方向为模式识别、计算机视觉，爱好科研，希望能保持学习、不断进步。关于机器之心全球分析师网络 Synced Global Analyst Network机器之心全球分析师网络是由机器之心发起的全球性人工智能专业知识共享网络。在过去的四年里，已有数百名来自全球各地的 AI 领域专业学生学者、工程专家、业务专家，利用自己的学业工作之余的闲暇时间，通过线上分享、专栏解读、知识库构建、报告发布、评测及项目咨询等形式与全球 AI 社区共享自己的研究思路、工程经验及行业洞察等专业知识，并从中获得了自身的能力成长、经验积累及职业发展。

2020年中小学教育论文1、题名：我国中小学科学教育研究的现状与未来发展——基于2009～2018年期刊论文的分析摘要：本文通过对2009～2018年有关我国中小学科学教育核心期刊论文的梳理，借助Nvivo11.0对其研究主题进行质性分析.研究发现，在研究主题上，主要关注科学素养、聚焦科学课程改革的国际借鉴和跨学科探索以及重视科学教师培训.研究还发现我国中小学科学教育研究实践的内驱力不足，具体表现为：科学素养的内涵理解基于政策框架而非科学实质；科学课程全球化吸收增多，本土化课程开发与实践研究处于起步阶段；研究视角转向跨学科视域，但缺乏深度分析；理论研究与实践脱节.由此提出了几点展望：关注科学教育本质的研究；开展基于课堂实践的科学教育理论研究以及开展立足于本土需求与经验的科学教育研究。关键词：中小学； 科学教育； 科学教育研究链接：zhangqiaokeyan.com/academic-journal-cn_journal-shanghai-ecational-research_thesis/0201277449452.html?from=lbjh-20200728012、题名："社会事件"融入中小学教育的价值与路径摘要：当今社会处于转型期，社会冲突的加剧，社会问题的频发，已经深刻影响到中小学生.社会事件作为学校教育与现实生活联系的基点，是有待开发的教育资源.社会事件纳入中小学教育有利于激发学生的学习兴趣、培养学生的批判性思维、促进学生的社会化和增强学生的社会责任感."议题中心教学"作为跨学科的教学方法，有助于社会事件的选择和实施.关键词：社会事件； 中小学教育； 社会议题； 议题中心教学法链接：zhangqiaokeyan.com/academic-journal-cn_theory-practice-contemporary-ecation_thesis/0201277455359.html?from=lbjh-20200728023、题名：浅谈农村中小学优秀传统文化教育存在的误区及对策摘要：新课程改革背景下，农村中小学教育事业发展方向有所转变.传统的教育是知识的教育，而在新课标的课程改革中，农村中小学生的知识教育和情感教育都要求重视起来，中小学传统文化教育能够在学生的成长阶段给予良好的艺术熏陶，可以丰富和提高学生的素养.这些不但能够陶冶学生的情操，还能够缓解学生的学习压力，能够促进学生的全面发展，更好地将中国传统文化传承下去，这就要求教师在中小学日常课堂教学中，不断培养学生传统文化保护意识，提高学生的文化审美能力，这样才能达到最终的教育目标，更好地激发学生的学习的主动性和积极性.具体来讲教师要加强中小学传统文化课堂教学的高效性、策略性，从而能促进农村中小学传统文化教学的发展，将中国优秀的传统文化传承下去。关键词：中小学教学； 传统文化教育； 农村教育； 误区； 策略链接：zhangqiaokeyan.com/academic-journal-cn_examination-weekly_thesis/0201277458869.html?from=lbjh-2020072803中小学教育论文选题参考1、"非常时期"中小学家校协同心理健康教育体系的建构2.、中小学法治教育存在的问题及对策刍探3、教育公平视角下乡村中小学音乐教育现状的分析与思考4、农村中小学开展科学教育活动的现状及其对策研究5、信息化条件下中小学生的品德教育——另一视角的思考6、关于构建大中小学思想政治教育一体化建设沟通机制的思考7、基于核心素养背景下的中小学体育健康教育内容8、"阳光教育论"对中小学体育教育改革的启示9、浅谈心理学在中小学教育教学中的应用10、文化教育在中小学英语教学中的渗透研究11、大数据时代中小学英语教育应用性探究12、基于同课异构的中小学数学教师继续教育的探索与实践13、论我国中小学法治教育的理性价值及其实现——以"吴某弑母案"为切入点14、中小学教师教育技术实践能力培养的探索与研究15、农村中小学教育困境成因分析与对策更多论文选题，请到掌桥科研【zhangqiaokeyan.com/LBJH-2020072801】上浏览查看及论文下载。

2017年已经过去了，那么去年有哪些最值得关注的深度学习的论文呢，今天我们来列举一下，包括架构/模型、生成模型、强化学习、SGD & 优化及理论等各个方面，有些论文名扬四海，有些论文则非常低调。01 架构/模型今年的Convnet网络架构已经少得多，一切都稳定了。 有些论文肯定是在推动这项研究。 其中首先是安德鲁·布鲁克（Andrew Brock）的破解SMASH，尽管有ICLR的评论，但它已经在1000个GPU上进行了神经架构搜索。SMASH：基于超网络的模型结构搜索SMASH : one shot model architecture search through Hypernetworks我会把资料打包到最后DenseNets(2017更新版)是一个印象深刻又非常单纯的想法。TLDR是“计算机视觉，眼+皮毛=猫，所以万物互联（包括层）”密集的连接卷积神经Densely connected convolutional networks我会把资料打包到最后在CNNs，一个非常被低估的理念是小波滤波器组系数散射变换（conv+maxpool和ReLUctant组建小波理论）。不知何故，令人惊讶的是，这揭示了为什么一个ConvNet前几层像Gabor滤波器，以及你可能不需要培训他们。用Stephane Mallat的话，“我对它的工作原理非常吃惊！”见下文。缩放散射变换Scaling the Scattering Transform我会把资料打包到最后在维基百科上，Tensorized LSTM是新的SOTA，有人英语的编码限制是1.0,1.1 BPC（作为参考，LayerNorm LSTMs大约是1.3 bpc）因为新颖，我更愿意把这篇论文定为“超级网络的复兴之路”。序列学习Tensorized LSTMsTensorized LSTMs for sequence learning我会把资料打包到最后最后，无需多言。胶囊间动态路由Dynamic Routing Between Capsules我会把资料打包到最后EM路由矩阵胶囊Matrix capsules with EM routing我会把资料打包到最后02 生成模型我故意遗漏了英伟达关于GAN网络逐渐增大的令人颇为震惊的论文。先用自回归家庭–Aaron van den Oord的最新力作，vq-vae，是其中的一个文件，看起来明显的滞后，但想出背景渐变止损功能也是不小的壮举。我敢肯定，一堆的迭代，包括包在ELBO’ed Bayesian层中的ala PixelVAE将会发挥作用。神经离散表示学习Neural Discrete Representation Learning我会把资料打包到最后另一个惊喜来自并行WaveNetwavenet。当每个人都在期待着与Tom LePaine的工作成果保持一致，DeepMind给我们师生分离，并通过解释高维各向同性高斯/物流潜在空间，作为一个可以通过逆回归流自噪声整形的过程，。非常非常整洁。并行WavenetParallel Wavenet我会把资料打包到最后头号文件，没有人预料到- Nvidia公司制定了标准。GAN理论完全代替了Wassersteinizing （Justin Solomon的力作），仅保持KL损失。用数据分布的多分辨率近似摒弃了不相交的支持问题。这仍然需要一些技巧来稳定梯度，但经验结果不言自明。GAN逐渐增长Progressive growing of GANs我会把资料打包到最后而今年早些时候Peyre和genevay负责的法国学校定义了最小Kantorovich Estimators。这是Bousquet主导的谷歌团队，该团队曾写下了 VAE-GAN的最终框架。这篇WAAE论文可能是ICLR2018最顶级的论文之一。VeGAN手册The VeGAN cookbook我会把资料打包到最后Wasserstein自动编码器Wasserstein Autoencoders我会把资料打包到最后在变分推理面前，没谁比Dustin Tran从强化学习策略和GAN中借鉴到的思路更好，再次推动了先进的VI。层次式模型Hierarchical Implicit Models我会把资料打包到最后03 强化学习“被软件/ max-entropy Q-learning主导了一年，我们错了，这些年！Schulman证实了RL算法的主要的两个成员之间的的等价性。里程碑式的论文，”Nuff 称。策略梯度与Soft Q-learning的等价性Equivalence between Policy Gradients and Soft Q-learning论文下载地址：我会把资料打包到最后他有没有在非常仔细的用数学和重新做分区函数计算来证实路径的等价性？没有人知道，除了Ofir：缩小RL策略和价值之间的差距Bridging the gap between value and policy RL论文下载地址：我会把资料打包到最后另一篇被低估的论文，Gergely通过找出RL程式和convex 优化理论的相似点，默默的超越了所有人。今年IMHO有关RL论文的佳作，不过知名度不高。统一的熵规则MDP的观点A unified view of entropy-regularized MDPs论文下载地址：我会把资料打包到最后如果David Silver的Predictron因某种方式丢掉雷达在ICLR 2017被拒绝，那么Theo的论文就像是一个双重的观点，它以优美而直观的Sokoban实验结果来启动：想象力增强剂Imagination-Augmented Agents论文下载地址：我会把资料打包到最后马克·贝莱马尔（Marc Bellemare）发布了另外一个转型的论文 - 废除了所有的DQN稳定插件，并简单地学习了分发（并且在这个过程中击败了SotA）。 漂亮。 许多可能的扩展，包括与Wasserstein距离的链接。有分位数回归的RLA distributional perspective on RL论文下载地址：我会把资料打包到最后分布RL的分布视角Distributional RL with Quantile Regression论文下载地址：我会把资料打包到最后一个简单，但非常有效，双重whammy的想法。勘探用噪声网络Noisy Networks for Exploration论文下载地址：我会把资料打包到最后当然，如果没有AlphaGo Zero的话，这个列表还是不完整的。 将策略网络MCTS前后对齐的思想，即MCTS作为策略改进算法（以及使NN近似误差平滑而不是传播的手段）是传说的东西。在没有人类知识的情况下掌控Go游戏Mastering the game of Go without human knowledge论文下载地址：我会把资料打包到最后04 SGD & 优化对于为什么SGD在非凸面情况下的工作方式（从广义误差角度来看如此难以打败），2017年已经是一年一度的成熟了。今年的“最技术”论文获得者是Chaudhari。 从SGD和梯度流向PDE几乎连接了一切。 堪称遵循并完成“Entropy-SGD”的杰作：深度放松：用于优化深度网络的偏微分方程Deep Relaxation : PDEs for optimizing deep networks论文下载地址：我会把资料打包到最后贝叶斯认为这是Mandt＆Hoffman的SGD-VI连接。 如你所知，我多年来一直是一个繁忙的人，原文如此。SGD作为近似贝叶斯推断SGD as approximate Bayesian inference论文下载链接：我会把资料打包到最后前面的文章取决于SGD作为随机微分方程的连续松弛（由于CLT，梯度噪声被视为高斯）。 这解释了批量大小的影响，并给出了一个非常好的chi-square公式。批量大小，diffusion近似框架Batch size matters, a diffusion approximation framework论文下载地址：我会把资料打包到最后又一篇受Ornstein-Uhlenbeck启发的论文，得到了类似的结果，出自Yoshua Bengio实验室：影响SGD最小值的三个因素Three factors influencing minima in SGD论文下载地址：我会把资料打包到最后最后，又一篇Chandhari的论文，讲述SGD-SDE-VI三位一体：SGD执行VI，收敛到限制周期SGD performs VI, converges to limit cycles论文下载地址：我会把资料打包到最后05 理论我坚信在解释深度学习为什么有用方面，答案将来自谐波/二阶分析和信息论与基于熵的测量之间的交集。 Naftali Tishby的想法虽然因为最近ICLR 2018提交的内容引发了争议，但这仍然使我们更加接近理解深度学习。论通过信息论揭开深度网络黑箱Opening the black box of deep networks via information论文下载地址：我会把资料打包到最后论深度学习的信息瓶颈理论On the information bottleneck theory of deep learning论文下载地址：我会把资料打包到最后同样，来自ICLR2017的一篇漂亮的论文对信息瓶颈理论采取了一种变化的方法。深度变分的信息瓶颈Deep variational information bottleneck论文下载地址：我会把资料打包到最后今年已经有几十亿个生成模型，12亿个因子分解对数似然的方法，大都可以归在凸二元的下面。A Lagrangian perspective on latent variable modelling对潜变量建模的拉格朗日观点论文下载地址：我会把资料打包到最后最后这篇论文展示了惊人的技术实力，并且告诉我们，数学深度学习的军备竞赛仍然十分活跃！这篇论文结合了复杂的分析，随机矩阵理论，自由概率和graph morphisms，得出了对于神经网络损失函数的Hessian特征值的一个精确的定律，而图（graph）的形状只在经验上是已知的，这一点在Sagun等人的论文中有论述。必读。通过RMT看神经网络损失曲面几何Geometry of NN loss surfaces via RMT论文下载地址：我会把资料打包到最后深度学习非线性RMTNonlinear RMT for deep learning论文下载地址：深度学习资料：https://0x9.me/E5Qwi 免费领取

向时间要学习效率文/强哥对于河南省的高中生来讲，三年的高中生活是非常充实的，面对百万大军过独木桥的竞争，每一位学生都想进一切办法来提高自己的效率，成绩。在这七年的教学带班过程中，我也积累了一些行之有效的方法，在此和大家一起探讨。一、 如何向时间要潜力对于面临升学考试的广大中学生来说，考前的复习何其紧张。为了能考上理想的学校，不少同学每天都埋头于书山题海之中，经常“开夜车”到深夜。正像一位同学所说，“要想考上好学校就得拼时间”，正所谓“向时间要成绩”。可以说，这些同学的学习精神可嘉，但做法却未必可取。因为每天都全然不顾地埋头于书山题海之中，恰恰说明他们在学习上不善于利用时间，不会制定计划、统筹安排，学习没有质量、没有效率，只会用耗时间的方法求得心安。实际上，他们试图不浪费每一秒钟，结果反而是很多时间都没有用得其所。当然，时间是获得好的学习成绩的重要资源，一个学生在学业上的成败很大程度上取决于他对时间的利用。而成绩与时间又不是简单的正比关系，耗时多未必成绩好。不少同学为了提高学习成绩，总试图扩大自己的学习时间，不仅挤占了休息、锻炼、娱乐时间，甚至连老师上课的时间也用在看书上，“投入”可谓多矣！但由于头昏脑涨、精神疲劳等原因，时间的使用效率并不高，真正学好、学扎实的并无多少，“产出”何其少！不用说，他们的学习成绩也不会有大的起色。于是这些同学开始“愤愤不平”：为什么我整天除了学习就是学习，成绩还总不见提高，而班上有的同学又是玩球又是看课外书，学习时间并不多于我，最后却考了个好成绩呢？造成这种反差的原因有许多，但两者学习效益的不同是一个关键的因素。从现在开始不要光顾埋头于学习，要学会管理自己的时间，向时间要潜力，向方法要效益！你不妨从下面几点做起：1．不要逼迫自己学习每个人读书学习都有兴奋与抑制的时候，当你开始感到厌倦，学习效果很不好，需要逼迫自己看书，而且即便努力仍然很讨厌看书时，你就要适当地休息，做一点儿你喜欢的事情，不要强迫自己。如果你很轻松地对待自己的这种厌倦，通常过不了一两天，你就会重新拾起对复习的兴趣、正所谓“月有阴晴圆缺”，“潮起潮落”。不要对自己的厌倦大惊小怪，要接受它。反之，如果你看不进去书的时候，还在装模作样地学，一定会毁灭自己学习的信心。记住，要盯住更长远的目标，不要在乎一时的得失。2．领悟考试的意义，激发主动性一些考生考前复习时，总是把近期的考试当作唯一的目标，人在复习，可内心却对复习充满厌倦，心想这样的苦日子快一点过去吧。过去了一天，他们就对自己说：“终于又熬过去了一天，愿苍天保佑，不要再有这样的苦日子了。”他们完全把复习当作一种磨难，心中很苦。他们没有看到，人人都是这样吃苦走过来的，这种吃苦是自己漫长人生道路上的一种磨炼，是一个考验自我的机会，是很光荣的经历。考生们可以从相反的角度想一想，如果剥夺了你的考试机会，天天玩，天天享乐，会是一种什么样的结果，你愿意吗？你肯定会觉得人生无意义。所以，复习考试不是吃苦，而是在积累知识和做人的资本，是正常人发展的一个必不可少的内容。3．接受自己的自卑与不完满许多同学浪费时间、学习效率不高，是因为心灵经常被消极的情绪所占满，整天想自己的不足和弱点，“无论如何努力，还是在班上的中下水平”，“我都比平时努力两三倍了，怎么还是考不了第一名？”其实，不光你有这样的想法，其他人也在这么想，这么想说明你有上进心，说明你还想通过努力达到更高水平。所以，可以允许自己这样责备自己，但不能总是看见自己的不足。心理健康的人在这种时候，会不由自主地想到，“自己已经付出了这么多的努力，干得不错”，“我有理由为自己取得的现有成绩而自豪”。每天在找自己的差距的同时，找一找自己的长处和优点，要善于看到自己的成绩。4．别对自己要求过高许多同学之所以不能有效地复习考试，主要是对自己的期望过于完美，总想去吃那些高高在上的果子，结果面对这些不属于自己能力所及范围内的果子，他们只有自责和分心。而善于利用时间的人，不在够不着的果子上面浪费时间，而是打算着如何吃到跳起来恰好够得着的果子，他们衡量着角度和高度，不断地往上跳。他们没有时间自责和幻想，因为他们所有的精力都用于实现这一目标上了。5．对时间的利用要具体而实际一些同学总发“毒誓”：“一定要好好学！”可实际上却总是在浪费时间。原来他们对时间和效率有一种不合理的想法，认为只有安静下来时的整块儿时间才是最“出活儿”的时候。他们被动地等待着这样的时间，可这种时间往往很少。实际上，时间就在你眼前，往往那些不发誓的学生最会利用时间。你看，他们在路上，在候车时，在散步时，都知道如何利用这些零散时间做一些对考试有利的事情。由于他们行动了，所以没有时间焦虑。二、如何有效地进行时间管理临近升学考试，一些考生往往心情非常急躁，不知道怎样利用时间。有的坐在那里半天什么都没看进去，有的整天在学，却不见成绩提高。因此，最重要的任务是进行有效的时间管理。时间管理就是管理自己，它包括主观行为上的自我管理和环境的管理。1．创造一个良好的学习心境学习时有良好心境，是提高学习效率的重要条件。心理学上曾做过这样一个有趣的实验：让水平相同的两班学生解答同样的问题，不论解答的成绩如何，老师对一班学生都说：“这么难的题目，你们答得这么好，真难得！”而对另一班的学生则说：“这么简单的题目，你们竟然答得这么差！”过后，再以同样难度的试题考他们，结果受到赞扬的那一班学生获得了意想不到的好成绩，而另一班的成绩还不如前一次。可见，良好的情绪状态对大脑活动有重要的影响。学会控制自己的心境，是提高学习效率、取得学习成功的重要条件。因此，你在学习之前，可用5分钟左右的时间放松一下，想一想自己以前学习上取得成功的高兴事，展望一下美好的未来，这样很快就能进入最佳学习状态。2．合理分配时间，注意劳逸结合，善于交替用脑时间对每一个人来说都是公平的，而用同样的时间所产生的学习效果，对不同的人来说却往往相差很大。这有一个合理安排时间的问题。比如，早晨是记忆的黄金时间，利用这段时间记忆外语单词、课文及语文中的字词，背诵一些内容，会有较好的效果；而上午、下午和晚上较长的时间，可用来复习数、理、化等偏重于思维理解的科目。因学习是由大脑的不同部位支配的，变换学习的方式和内容可以使大脑皮层的某个部位由抑制状态转为兴奋状态，从而解除神经细胞的疲劳，使大脑得到休息。一般来说，学习一门功课的时间以1～2小时左右为宜，换学另一门功课时，中间最好休息5～15分钟，这样可使大脑得到适当的休息，从而提高学习效率。3．学会根据心境及大脑状态安排复习内容一般来说，人在心境不好或大脑不太兴奋时，学习比较复杂或不感兴趣的内容，往往难以进入状态，学习效率较低。这时候可以采取先从比较容易的科目、自己比较感兴趣的内容学起，经过一段时间，待心境、大脑状态好转后，再转学较难的、不太感兴趣的内容。相反，如果开始时，心境及大脑状态都比较好，则应先复习较难的、不太感兴趣的内容，然后，再复习较容易的、有趣的内容，正可谓“因境而学”。4. 作好学习的准备开始学习前，应把有关的学习用具提前准备好，不要到已进入学习状态后再停下来去找东西，这样会很浪费时间。因为在找完东西后，还需要一段时间才能安定下来重新进入学习状态。所以，要尽量避免学习过程中断，排除各种干扰，提高时间利用率。5．创造一个良好的环境管理自己还包括改变自己的学习环境，如果环境改变了，人的心态也就改变了。如记忆枯燥的公式，可以到安静的公园；复习较难的数学题，可以到图书馆或自习教室，那里的人都在用功学习，会给自己造成压力，带来学习的氛围。三、什么时间学习效果最好生理学家研究认为，一天之内有四个学习的高效期，如果使用得当，可以轻松自如地掌握、消化和巩固知识。第一个学习高效期：清晨起床后，大脑经过一夜的休息，消除了前一天的疲劳，脑神经处于活动状态，没有新的记忆干扰。此刻无论认还是记印象都会很清晰，学习一些难记忆但必须记忆的东西较为适宜，如外语、定律、历史事件等。有时即使强记不住，大声念上几遍，也会有利于记忆。所以清晨是一个学习记忆高效期。第二个学习高效期：上午8点至10点，人的精力充沛，大脑易兴奋，严谨而周密的思考能力、认知能力和处理能力较强，此刻是攻克难题的大好时机，应充分利用。第三个学习高效期：下午6点至8点，也是用脑的最佳时刻，不少人利用这段时间来回顾、复习全天学过的东西，加深印象，分门别类归纳整理，也是整理笔记的黄金时机。第四个学习高效期：入睡前一小时。利用这段时间来加深印象，特别对一些难于记忆的东西加以复习，则不易遗忘。除以上一般性的学习时间规律外，对于不同的人来说，还有自己独特的学习时间规律和习惯。为提高学习效率，要善于发现并充分利用自己独特的最佳时间段，同时，要养成在固定的时间进行学习的习惯。另外，临近考试正值天热时节，应尽量利用好早晨两个小时和晚上两个小时，此段时间空气凉爽，学习效率肯定不错。

近日，一篇题为《关于屁的社会学研究》的硕士毕业论文在网上流传，引发争议。有网友“讥讽”：寒窗苦读那么多年，还真是研究了个“屁”。也有网友读后评论称，看似无意义的被嗤之以鼻的事物，“深究起来，是严肃的事”。据了解，该论文写于2007年，作者系华中师范大学社会学在职硕士高建伟。彼时，高建伟不仅凭借这篇论文通过硕士论文答辩，还被评为“优秀”。(6月16日 澎湃新闻)《关于屁的社会学研究》的硕士毕业论文被传上网后，招来了不少网友的讥讽。实际上，网友并没有认真看这篇论文，不少网友甚至没有看论文，看到的只是这篇硕士毕业论文的标题、作者名等等一些简单内容，就对这篇论文嗤之以鼻。实际上，这篇论文研究的不仅是“屁”这个生理现象，更是背后存在的社会现象。这篇论文学术态度端正，没有止于简单的就事论事，而是运用社会学的理论对“屁”进行分析。高建伟的研究另辟蹊径，这篇论文是一篇有创新价值的论文。正因如此，这篇论文才会被评为“优秀”。现实中，一些学生选择写论文时，更容易陷入同质化的窠臼，有的学生是偷懒，毕竟大家都研究的课题，更为熟悉，更好上手，有的学生甚至就是为了方便抄袭，这也是学术抄袭成风的原因之一。这么来看，《关于屁的社会学研究》就更显可贵。这背后是学术创新。而学术研究正是需要多一些这样冷门、另类的研究，这样才更有利于推动学术研究的发展。而像这样的“另类研究”也有一些，比如此前《网络会话中“呵呵”的功能研究》《乌有之猫：云吸猫迷群的认同与幻想》《八角茴香对卤鸡肉挥发性风味的影响极其作用机制》等论文都曾引发热议。这样的另类论文并非是学术研究的“浊流”，反倒是一股“清流”。这样的创新论文多多益善，但从现实来说，这样的创新论文、创新研究又太少了。一些网友对这种创新论文、另类论文大惊小怪，甚至予以质疑。一方面是对学术创新欠缺了解，对此，需要舆论对此类创新研究、独立研究多一些理解与包容，营造良好的舆论环境。另一方面，网友的调侃与质疑，也折射了社会对于学术论文质量的担忧。研究了个“屁”的调侃，不过是对学生论文、学术研究空洞无物的焦虑。论文质量下降、学术抄袭现象成风，确实是普遍现象。对此，教育部门、高校等相关方要能“两手抓”，一方面要鼓励学术创新，鼓励多一些《关于屁的社会学研究》这样的创新研究;一方面还要严把论文质量关，对于抄袭现象严惩不贷，把那些真正言之无物的学术研究或抄袭之作扫进垃圾堆。文/戴先任