欢迎来到加倍考研网! 北京 上海 广州 深圳 天津
微信二维码
在线客服 40004-98986
推荐适合你的在职研究生专业及院校
斯坦福博士韩松毕业论文:面向深度学习的高效方法与硬件高压电

斯坦福博士韩松毕业论文:面向深度学习的高效方法与硬件

选自Stanford机器之心编译参与:路雪、蒋思源韩松,2017 年斯坦福大学电子工程系博士毕业,师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构,他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文,ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文,对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用,博士期间创立了深鉴科技,2018 年将任职 MIT 助理教授。本文对韩松博士的毕业论文做了介绍。第一章 引言本文,我们协同设计了适合深度学习的算法和硬件,使之运行更快更节能。我们提出的技术能够使深度学习的工作负载更加高效、紧密,然后我们设计了适合优化 DNN 工作负载的硬件架构。图 1.1 展示了本文的设计方法。打破算法和硬件栈之间的界限创造了更大的设计空间(design space),研究者获得之前从未有过的自由度,这使得深度学习能够实现更好的优化。在算法方面,我们研究如何简化和压缩 DNN 模型,以减少计算量和内存的占用。在 ImageNet 上,我们在不损失预测准确度的情况下将 DNN 压缩了 49 倍 [25,26]。我们还发现模型压缩算法能够去除冗余、防止过拟合,可以作为合适的正则化方法 [27]。在硬件方面,压缩后的模型具备提速和降低能耗的极大潜力,因为它所需的算力和内存减少。然而,模型压缩算法使计算模式变的非常规,很难并行化。因此,我们为压缩后的模型设计了一种定制化硬件,设计模型压缩的数据结构和控制流程。该硬件加速器的能量效率比 GPU 高出 3400 倍,比之前的加速器高出一个数量级 [28]。该架构的原型在 FPGA 上,且已用于加速语音识别系统 [29]。图 1.1:本文重点是协同设计适合深度学习的算法和硬件。本文回答了两个问题:哪些方法可以使深度学习算法更加高效,哪些硬件架构最适合这类算法。图 1.2:论文主题贡献:正则化训练、模型压缩、加速推理第二章 背景本章首先介绍什么是深度学习以及它的工作原理和应用;然后介绍我们实验所用的神经网络架构、数据集、在数据集上训练架构的框架。之后,我们介绍压缩、正则化和加速方面之前的研究。第三章 神经网络剪枝现代深度神经网络使用非常多的参数以提供足够强大的模型,因此这种方法在计算量和内存上都需要足够的资源。此外,传统的神经网络需要在训练前确定与修正架构,因此训练过程并不会提升架构的性能。而若直接选择复杂的架构,那么过多的参数又会产生过拟合问题。因此,选择适当容量(capacity)的模型和消除冗余对计算效率和准确度的提升至关重要。为了解决这些问题,我们发展了一种剪枝方法(pruning method)来移除冗余并保证神经网络连接的有效性,这种方法能降低计算量和内存的要求以提升推断的效果。这种方法关键的挑战是如何在模型剪枝后还保留原来的预测准确度。我们的剪枝方法移除了冗余连接,并仅通过重要的连接学习(下图 3.1)。在该图的案例中,共有三层神经网络,剪枝前第 i 层和 i+1 层间的连接为密集型连接,剪枝后第 i 层和 i+1 层间的连接为稀疏连接。当所有与神经元相联结的突触都被移除掉,那么该神经元也将移除。神经网络剪枝将密集型神经网络转化为稀疏型神经网络,并且在减少了参数与计算量的情况下完全保留预测准确度。剪枝不仅提高了推断速度,同时还降低了运行大型网络所需要的计算资源与能源,因此它可以在电池受限的移动设备上使用。剪枝同样有利于将深度神经网络储存并传递到移动应用中。图 3.1:对深度神经网络的神经元与突触进行剪枝。在初始化训练阶段后,我们通过移除权重低于阈值的连接而实现 DNN 模型的剪枝,这种剪枝将密集层转化为稀疏层。第一阶段需要学习神经网络的拓扑结构,并关注重要的连接而移除不重要的连接。然后我们重新训练稀疏网络,以便剩余的连接能补偿移除的连接。剪枝和再训练的阶段可以重复迭代地进行以减少神经网络复杂度。实际上,这种训练过程除了可以学习神经网络的权重外,还可以学习神经元间的连通性。这与人类大脑的发育过程 [109] [110] 十分相似,因为生命前几个月所形成的多余突触会被「剪枝」掉,神经元会移除不重要的连接而保留功能上重要的连接。在 ImageNet 数据集中,剪枝方法可以将 AlexNet 的参数数量减少 9 倍(6100 万降低为 670 万)而没有准确度上的损失。VGG-16 同样有类似的现象,参数总量可以减少 13 倍左右(1.38 亿降低为 1.03 千万)而完全没有准确度损失。我们还试验了更多高效的全卷积神经网络:GoogleNet(Inception-V1)、SqueezeNet 和 ResNet-50,它们不具有或有很少的全连接层。在这些实验中,我们发现在准确度降低前它们有相似的剪枝率,即 70% 左右的全卷积神经网络参数可以被剪枝。GoogleNet 从 700 万参数降低到 200 万参数,SqueezeNet 从 120 万参数降低到 38 万参数,而 ResNet-50 从 2550 万参数降低到 747 万参数,这些网络在 ImageNet Top-1 和 Top-5 准确度上都完全没有损失。在本章节以下部分中,我们提供了如何剪枝神经网络和再训练模型以保留预测准确度的方法。我们还展示了剪枝后模型在商业化硬件上运行所产生的速度与能源效率提升。第四章 量化训练与深度压缩本章节介绍了用于压缩深度神经网络的量化训练(trained quantization)技术,但它与前一章所介绍的剪枝技术相结合时,我们就能构建「深度压缩」[26],即一种深度神经网络的模型压缩流程。深度压缩(Deep Compression)由剪枝、量化训练和可变长度编码(variable-length coding)组成,它可以压缩深度神经网络数个量级而没有什么预测准确度损失。这种大型压缩能使机器学习在移动设备上运行。「深度压缩」是一种三阶段流程(图 4.1),它可以在保留原始准确度的情况下减小深度神经网络的模型大小。首先我们可以移除冗余连接而剪枝网络,这一过程只需要保留提供最多信息的连接(如第三章所述)。下一步需要量化权重,并令多个连接共享相同的权重。因此只有 codebook(有效权重)和索引需要储存,且每个参数只需要较少的位就能表示。最后,我们可以应用可变长度编码(Huffman 编码)来利用有效权重的不均匀分布,并在没有训练准确度损失情况下使用可变长度编码表征权重。我们最重要的观点是,剪枝与量化训练可以在不相互影响的情况下压缩神经网络,因此可以产生惊人的高压缩率。深度压缩令存储需求变得很小(兆字节空间),所有的权重都可以在芯片上缓存而不需要芯片外的 DRAM。而动态随机储存器不仅慢同时能耗还比较高,因此深度压缩可以令模型更加高效。深度压缩是第六章高效推断机(efficient inference engine/EIE)的基础,其通过压缩模型实现了显著的速度和能源效率提升。图 4.1:深度压缩的流程:剪枝、量化学习和可变长度编码表 4.1:深度压缩在没有准确度损失的情况下节约了 17 倍到 49 倍的参数存储需求。表 4.9:使用不同更新方法比较均匀量化和非均匀量化的结果。-c 仅更新形心(centroid),-c+1 同时更新形心和标签。ResNet-50 的基线准确度分别为 76.15% 和 92.87%。所有结果都经过再训练。图 4.10:非均匀量化的表现要好于均匀量化。图 4.10 和表 4.9 比较了均匀量化和非均匀量化的性能。非均匀量化指的是相邻编码的距离不为常数。量化训练是非均匀量化的一种形式,因为其不同编码的距离并不相同。对于非均匀量化(本研究),基线 ResNet-50 所有层级的参数可以压缩为 4 比特而没有准确度损失。然而对于均匀量化,基线 ResNet 所有层的参数只能压缩到 8 比特而没有准确度损失(压缩到 4 比特会产生 1.6% 的 Top-1 准确度损失)。非均匀量化可以很好的捕捉到权重的不均匀分布,而均匀量化不能很好的实现这一点。第五章 DSD: Dense-Sparse-Dense Training现代高性能硬件的出现使得训练复杂、模型容量巨大的 DNN 模型变得更加简单。复杂模型的优势是它们对数据的表达能力很强并且能捕捉到特征和输出之间的高度非线性的关系。而复杂模型的劣势在于,比起训练数据中所需要的模式,它们更容易捕捉到噪声。这些噪声并不会在测试数据中生成,从而使模型产生过拟合和高方差。然而,只是简单的减少模型容量会导致另一个极端:欠拟合和高偏差(机器学习系统不能准确捕捉特征和输出之间的关系)。所以,偏差和方差很难同时优化。为了解决这个问题,我们提出了 dense-sparse-dense(DSD)训练流,以正则化深度神经网络,防止过拟合并达到更高的准确度。传统的训练方法通常是同时训练所有的参数,而 DSD 训练法会周期性的修剪和恢复神经连接,训练过程中的有效连接数量是动态变化的。剪枝连接允许在低维空间中进行优化,捕捉到鲁棒性特征;恢复连接允许增大模型的容量。传统的训练方法只在训练开始的时候将所有权重初始化一次,而 DSD 训练法允许连接在周期性剪枝和恢复的中有多于一次的机会执行初始化。DSD 的一个优势是最后的神经网络仍然拥有和初始的密集模型同样的架构和维度,因此 DSD 训练不会产生任何额外的推断成本。使用 DSD 模型进行推断不需要指定专门的硬件或专门的深度学习框架。实验证明 DSD 可以可以提高多种 CNN、RNN 和 LSTM 在图像分类、生成文字描述和语音识别任务的性能。在 ImageNet 上,DSD 提升了 GoogleNet Top-1 准确度 1.1%、VGG-16 Top-1 准确度 4.3%、ResNet-18 Top-1 准确度 1.2%、ResNet-50 Top-1 准确度 1.1%。在 WSJ』93 数据集上,DSD 把 DeepSpeech 和 DeepSpeech2 的错误率(WER)分别降低了 2.0% 和 1.1%。在 Flickr-8K 数据集上,DSD 将 NeuralTalk BLEU 的分数提高了 1.7 以上。图 5:DSD(Dense-Sparse-Dense)训练法中迭代进行剪枝和恢复权重的过程。第六章 EIE:用于稀疏神经网络的高效推断机6.1 介绍第三、四、五章介绍了三种提高深度学习效率的方法,本章着重介绍高效实现这些方法的硬件,「高效推断机」(EIE)[28]。该机器可以在稀疏的压缩模型上直接执行推断,节省内存带宽,实现大幅加速和能耗节约。通过剪枝和量化训练 [25] [26] 实现的深度压缩能够大幅降低模型大小和读取深度神经网络参数的内存带宽。但是,在硬件中利用压缩的 DNN 模型是一项具有挑战性的任务。尽管压缩减少了运算的总数,但是它引起的计算不规则性对高效加速带来阻碍。例如,剪枝导致的权重稀疏使并行变的困难,也使优秀的密集型线性代数库无法正常实现。此外,稀疏性激活值依赖于上一层的计算输出,这只有在算法实施时才能知道。为了解决这些问题,实现在稀疏的压缩 DNN 模型上高效地运行,我们开发了一种专门的硬件加速器 EIE,它通过共享权重执行自定义的稀疏矩阵乘法,从而减少内存占用,并在执行推断时实现大幅加速和能耗节约。EIE 是处理单元(processing element/PE)的一种可扩展数组(scalable array)。它通过在处理单元上交织(interleave)矩阵的行来分配稀疏矩阵并实现并行计算。每个处理单元在 SRAM 中存储一个网络分区,与子网络共同执行计算。EIE 利用了静态权重稀疏性、动态激活向量稀疏性、相对索引(relative indexing)、共享权重和极窄权重(4 比特/extremely narrow weights)。图 6.1:压缩 DNN 模型在 EIE 上运行。EIE 架构如图 6.1 所示。EIE 以压缩稀疏列(compressed sparse column,CSC)格式存储权重不为零的稀疏权重矩阵 W。EIE 只在权重和激活值都不为零的情况下执行乘法。EIE 以游程编码(run-length encoded)格式存储每个权重的地址索引。在量化训练和共享权重之后,每个权重只占用 4 比特,它们可访问由 16 个寄存器实现的查找表以解码成 16 比特权重。为评估 EIE 的性能,我们创建了行为级仿真和 RTL 模型,然后将 RTL 模型综合、布局布线,以提取准确的能量和时钟频率。将 EIE 在九个 DNN 基准上进行评估,它的速度分别是未压缩 DNN 的 CPU 和 GPU 实现的 189 和 13 倍。EIE 在稀疏网络上的处理能力为 102 GOPS/s,相当于在同等准确度的稠密网络上 3 TOPS/s 的处理能力,且仅耗散 600mW 的能量消耗。EIE 的能耗分别比 CPU 和 GPU 少了 24,000 倍和 3,400 倍。EIE 的贡献如下:稀疏权重:EIE 是第一个用于稀疏和压缩深度神经网络的加速器。直接在稀疏压缩模型上运行可使神经网络的权重适应芯片上 SRAM,比访问外部 DRAM 节省 120 倍的能耗。通过跳过零权重,EIE 节省了 10 倍的计算周期。稀疏激活值:EIE 利用激活函数的动态稀疏性来节约算力和内存。EIE 通过避免在 70% 的激活函数上的计算节约了 65.16% 的能量,这些激活函数在典型深度学习应用中的值为零。权重编码:EIE 是第一个用非统一量化、极窄权重(每个权重 4 比特)利用查找表执行推断的加速器。与 32 比特浮点相比,它获取权重节约了 8 倍的内存占用,与 int-8 相比,它节约了 2 倍的内存占用。并行化:EIE 引入了在多个处理单元上分配存储和算力的方法,以并行化稀疏层。EIE 还引入架构改变以达到负载平衡和优秀的扩展性。第七章 结论深度神经网络改变了大量 AI 应用,也正在改变我们的生活。但是,深度神经网络需要大量的计算量和内存。因此,它们很难部署到计算资源和能源预算有限的嵌入式系统中。为了解决该问题,我们提出了改善深度学习效率的方法和硬件。图 7.1:论文总结本文从三方面研究如何提高深度学习的效率:利用深度压缩实现更小的模型大小、利用 DSD 正则化实现更高的预测准确度,以及利用 EIE 加速实现快速、能耗低的推断(图 7.1)。这三个方面遵循相同的原则:利用神经网络的稀疏性进行压缩、正则化和加速。论文地址:https://stacks.stanford.e/file/druid:qf934gh3708/EFFICIENT%20METHODS%20AND%20HARDWARE%20FOR%20DEEP%20LEARNING-augmented.pdf百度AI实战营·深圳站将于 10 月 19 日在深圳科兴科学园国际会议中心举行,AI 开发者与希望进入 AI 领域的技术从业者请点击「阅读原文」报名,与百度共同开创人工智能时代。

李秋实

两同年毕业硕士学位论文现雷同,相关高校启动调查

本文转自【澎湃新闻】;澎湃新闻近日接到网友反映称,电子科技大学电子与通信工程领域2007届毕业生贾桂林2007年11月提交的硕士学位论文《基于CAN总线的汽车组合仪表研究》和武汉理工大学信息工程学院通信与信息系统专业2007届毕业生付胜波2007年4月提交的硕士学位论文《基于CAN总线的汽车组合仪表研究》,两篇论文高度雷同。 澎湃新闻经比对发现网友反映属实。贾桂林在接受澎湃新闻采访时称,读在职研究生要求不是很高,硕士学位论文确实参考了别人的资料。付胜波则表示,硕士学位论文是本人原创。目前,两学校相关部门均就此事向澎湃新闻作出回复。其中,成都电子科技大学研究生院表示,已启动对贾桂林学位论文是否抄袭的调查。 付胜波论文(左)和贾桂林论文。澎湃新闻从中国知网下载了上述两篇论文。论文显示,付胜波硕士学位论文的指导教师为武汉理工大学的黄涛副教授,贾桂林硕士学位论文的指导教师为成都电子科技大学副教授朱红和陕汽集团宝鸡华山车辆公司的高工孙克俭。 澎湃新闻比对发现,上述两篇论文从标题、摘要到目录都几乎完全一致。正文经比对,也出现大面积雷同。武汉理工大学付胜波的硕士学位论文比成都电子科技大学贾桂林的硕士学位论文提交早7个月。 6月9日下午,武汉理工大学党委宣传部一位相关负责人就此事回复澎湃新闻称,黄涛教授表示,付胜波的硕士学位论文是在一个科研项目下完成的。在黄涛的全程指导中,没有发现付胜波存在抄袭的情况。付胜波本人也承诺不存在论文买卖的情况。 6月10日,成都电子科技大学研究生院通过邮件回复澎湃新闻称,学校已按“电子科技大学研究生学位论文作假行为管理办法”的规定,启动了对贾桂林学位论文是否抄袭的调查。当日,成都电子科技大学党委宣传部副部长张娜表示,调查需要一些时间,有结果会向记者通报。 澎湃新闻注意到,贾桂林在其硕士学位论文的致谢中写道,感谢四川信息职业技术学院的各级领导给我这次学习机会,感谢关心、支持我完成学业的所有同事。澎湃新闻查询四川信息职业技术学院官网发现,四川信息职业技术学院汽车工程系主任名为贾桂林。 6月9日,澎湃新闻记者电话联系到贾桂林本人。贾桂林表示当时是读在职研究生,要求不是很高,确实参考了一些别人提供的资料。一些资料是当时陕汽集团宝鸡华山车辆公司的高工孙克俭提供的。具体提供的哪一部分,时间太长已记不清了。贾桂林表示,这其中没有涉及到钱的问题。 6月9日上午,澎湃新闻辗转联系到付胜波本人。付胜波表示硕士学位论文是本人原创,并介绍了论文从确定题目到写作完成的过程。他表示,汽车电子是导师黄涛的主攻方向,CAN总线是黄涛的研究方向之一,因此选择这个题目做硕士学位论文。付胜波印象深刻的是,写论文时还曾和同学用导师黄涛的汽车做试验测量信号。 付胜波表示,硕士学位论文是2007年元旦左右完成的,第一版内容比较多,80页左右。论文第一版完成后,曾发给同学和导师看,导师提出修改意见要求删减一些。论文修改过程中曾先后到武汉理工大学鉴湖校区周边的打印店打印过几次论文。“如果说自己的论文被泄漏,有可能是在打印店。因为论文最终版本同学没有看过,只有打印店有。”付胜波回忆。 6月10日,澎湃新闻电话咨询中国知网客服。一位客服介绍,每年高校学生毕业后,学校会将硕士、博士学位论文提交给中国知网,中国知网整理这些论文约需要一个月到两个月时间,学校正常提交的情况下,最快8月或9月可以查询到当年的硕士、博士学位论文。在中国知网查询到当年学位论文的具体时间,取决于学校何时将论文提交给中国知网。 付胜波的硕士学位论文于2007年4月提交,5月付胜波参加答辩,6月毕业。也就是说,在2007年底前,付胜波的硕士学位论文有可能从正规渠道下载获取。 付胜波和贾桂林论文雷同部分具体如下。 付胜波论文(左)中多一项“攻读硕士学位期间发表的学术论文”,目录其余部分,贾桂林和付胜波论文完全一致。 付胜波论文(左)和贾桂林论文(右)比对。 付胜波论文(左)和贾桂林论文(右)比对。再比如,贾桂林在其硕士学位论文2.2小节“脉冲信号采集测量模块硬件设计”中写道:根据 S3C44BOX 控制器的输入电平要求,送入S3C44BOX 控制器的脉冲量(开关量)均应在 3.0V~3.6V 之间,故模块处理电路将车速、转速传感器输出的脉冲信号经光电耦合器 6N137 进行电平转换为3.3V后分别送至S3C44BOX 控制器的EINT0和EINT1 单元引脚。EINT0/EINT1 引脚由1变0时,开始计数,EINT0/EINT1 引脚由0变1时,停止计数。计数过程中用查询方式测试 EINT0/EINT1引脚的电平,高电平时,由定时器自动计数;测试到低电平时,表明计数结束,S3C44BOX 控制器可以取计数值并计算计数结果。这样,EINT0/EINT1 引脚信号的高电平脉宽可由定时器 0/1 计数得出。采用这种硬件设计不仅保证了计数的速度,也保证了计数的精度。 付胜波硕士学位论文中,2.2小节“脉冲信号采集测量模块硬件设计”写道:根据 S3C44BOX 控制器的输入电平要求,送入S3C44BOX 控制器的脉冲量(开关量)均应在 3.0V~3.6V 之 间[8],故模块处理电路将车速、转速传感器输出的脉冲信号经光电耦合器 6N137 进行电平转换为3.3V后分别送至S3C44BOX 控制器的EINT0和EINT1 单元引脚。EINT0/EINT1 引脚由1变0时,开始计数,EINT0/EINT1 引脚由0变1时,停止计数。计数过程中用查询方式测试 AIN0/AIN1引脚的电平,高电平时,由定时器自动计数;测试到低电平时,表明计数结束,S3C44BOX 控制器可以取计数值并计算计数结果。这样,EINT0/EINT1 引脚信号的高电平脉宽可由定时器 0/1 计数得出。采用这种硬件设计不仅保证了计数的速度,也保证了计数的精度。 上述两段中,除去贾桂林论文中“计数过程中用查询方式测试 EINT0/EINT1引脚的电平” 和 付胜波论文中“计数过程中用查询方式测试 AIN0/AIN1引脚的电平”这两处表述不同外,付胜波论文中还多一处引注——“应在 3.0V~3.6V 之间[8]”的“[8]”,其余完全一致。 付胜波硕士学位论文参考文献中的[8]为Sumsung Inc,S3C44BOX Datasheet,2000。贾桂林硕士学位论文中则没有这一项内容。 澎湃新闻注意到,付胜波硕士学位论文的参考文献为46项,贾桂林硕士学位论文参考文献有28项。而贾桂林硕士学位论文中的28项参考文献,全部可在付胜波论文的参考文献中找到。如贾桂林论文参考文献第22项为“丁曙光,倪国华,李冰冰 嵌入式操作系统C/OS-Ⅱ在数控系统中的应用”,付胜波论文参考文献第27项为“丁曙光,倪国华,李冰冰 嵌入式操作系统C/OS-Ⅱ在数控系统中的应用研究.组合机床与自动化加工技术,2005(10):41-44”。 上述两条文献不同的是,付胜波写明了引用文献的期刊名称、出版日期和页码范围等相关信息。对比来看,付胜波硕士学位论文中参考文献的引用信息标注更为详细。

人不

两同年毕业硕士学位论文现雷同 相关高校启动调查

来源:经济日报近日接到网友反映称,电子科技大学电子与通信工程领域2007届毕业生贾桂林2007年11月提交的硕士学位论文《基于CAN总线的汽车组合仪表研究》和武汉理工大学信息工程学院通信与信息系统专业2007届毕业生付胜波2007年4月提交的硕士学位论文《基于CAN总线的汽车组合仪表研究》,两篇论文高度雷同。澎湃新闻经比对发现网友反映属实。贾桂林在接受澎湃新闻采访时称,读在职研究生要求不是很高,硕士学位论文确实参考了别人的资料。付胜波则表示,硕士学位论文是本人原创。目前,两学校相关部门均就此事向澎湃新闻作出回复。其中,成都电子科技大学研究生院表示,已启动对贾桂林学位论文是否抄袭的调查。澎湃新闻从中国知网下载了上述两篇论文。论文显示,付胜波硕士学位论文的指导教师为武汉理工大学的黄涛副教授,贾桂林硕士学位论文的指导教师为成都电子科技大学副教授朱红和陕汽集团宝鸡华山车辆公司的高工孙克俭。澎湃新闻比对发现,上述两篇论文从标题、摘要到目录都几乎完全一致。正文经比对,也出现大面积雷同。武汉理工大学付胜波的硕士学位论文比成都电子科技大学贾桂林的硕士学位论文提交早7个月。6月9日下午,武汉理工大学党委宣传部一位相关负责人就此事回复澎湃新闻称,黄涛教授表示,付胜波的硕士学位论文是在一个科研项目下完成的。在黄涛的全程指导中,没有发现付胜波存在抄袭的情况。付胜波本人也承诺不存在论文买卖的情况。6月10日,成都电子科技大学研究生院通过邮件回复澎湃新闻称,学校已按“电子科技大学研究生学位论文作假行为管理办法”的规定,启动了对贾桂林学位论文是否抄袭的调查。当日,成都电子科技大学党委宣传部副部长张娜表示,调查需要一些时间,有结果会向记者通报。澎湃新闻注意到,贾桂林在其硕士学位论文的致谢中写道,感谢四川信息职业技术学院的各级领导给我这次学习机会,感谢关心、支持我完成学业的所有同事。澎湃新闻查询四川信息职业技术学院官网发现,四川信息职业技术学院汽车工程系主任名为贾桂林。6月9日,澎湃新闻记者电话联系到贾桂林本人。贾桂林表示当时是读在职研究生,要求不是很高,确实参考了一些别人提供的资料。一些资料是当时陕汽集团宝鸡华山车辆公司的高工孙克俭提供的。具体提供的哪一部分,时间太长已记不清了。贾桂林表示,这其中没有涉及到钱的问题。6月9日上午,澎湃新闻辗转联系到付胜波本人。付胜波表示硕士学位论文是本人原创,并介绍了论文从确定题目到写作完成的过程。他表示,汽车电子是导师黄涛的主攻方向,CAN总线是黄涛的研究方向之一,因此选择这个题目做硕士学位论文。付胜波印象深刻的是,写论文时还曾和同学用导师黄涛的汽车做试验测量信号。付胜波表示,硕士学位论文是2007年元旦左右完成的,第一版内容比较多,80页左右。论文第一版完成后,曾发给同学和导师看,导师提出修改意见要求删减一些。论文修改过程中曾先后到武汉理工大学鉴湖校区周边的打印店打印过几次论文。“如果说自己的论文被泄漏,有可能是在打印店。因为论文最终版本同学没有看过,只有打印店有。”付胜波回忆。6月10日,澎湃新闻电话咨询中国知网客服。一位客服介绍,每年高校学生毕业后,学校会将硕士、博士学位论文提交给中国知网,中国知网整理这些论文约需要一个月到两个月时间,学校正常提交的情况下,最快8月或9月可以查询到当年的硕士、博士学位论文。在中国知网查询到当年学位论文的具体时间,取决于学校何时将论文提交给中国知网。付胜波的硕士学位论文于2007年4月提交,5月付胜波参加答辩,6月毕业。也就是说,在2007年底前,付胜波的硕士学位论文有可能从正规渠道下载获取。付胜波和贾桂林论文雷同部分具体如下。付胜波论文(左)中多一项“攻读硕士学位期间发表的学术论文”,目录其余部分,贾桂林和付胜波论文完全一致。↑付胜波论文(左)和贾桂林论文(右)比对。↑付胜波论文(左)和贾桂林论文(右)比对。再比如,贾桂林在其硕士学位论文2.2小节“脉冲信号采集测量模块硬件设计”中写道:根据 S3C44BOX 控制器的输入电平要求,送入S3C44BOX 控制器的脉冲量(开关量)均应在 3.0V~3.6V 之间,故模块处理电路将车速、转速传感器输出的脉冲信号经光电耦合器 6N137 进行电平转换为3.3V后分别送至S3C44BOX 控制器的EINT0和EINT1 单元引脚。EINT0/EINT1 引脚由1变0时,开始计数,EINT0/EINT1 引脚由0变1时,停止计数。计数过程中用查询方式测试 EINT0/EINT1引脚的电平,高电平时,由定时器自动计数;测试到低电平时,表明计数结束,S3C44BOX 控制器可以取计数值并计算计数结果。这样,EINT0/EINT1 引脚信号的高电平脉宽可由定时器 0/1 计数得出。采用这种硬件设计不仅保证了计数的速度,也保证了计数的精度。付胜波硕士学位论文中,2.2小节“脉冲信号采集测量模块硬件设计”写道:根据 S3C44BOX 控制器的输入电平要求,送入S3C44BOX 控制器的脉冲量(开关量)均应在 3.0V~3.6V 之间[8],故模块处理电路将车速、转速传感器输出的脉冲信号经光电耦合器 6N137 进行电平转换为3.3V后分别送至S3C44BOX 控制器的EINT0和EINT1 单元引脚。EINT0/EINT1 引脚由1变0时,开始计数,EINT0/EINT1 引脚由0变1时,停止计数。计数过程中用查询方式测试 AIN0/AIN1引脚的电平,高电平时,由定时器自动计数;测试到低电平时,表明计数结束,S3C44BOX 控制器可以取计数值并计算计数结果。这样,EINT0/EINT1 引脚信号的高电平脉宽可由定时器 0/1 计数得出。采用这种硬件设计不仅保证了计数的速度,也保证了计数的精度。上述两段中,除去贾桂林论文中“计数过程中用查询方式测试 EINT0/EINT1引脚的电平” 和 付胜波论文中“计数过程中用查询方式测试 AIN0/AIN1引脚的电平”这两处表述不同外,付胜波论文中还多一处引注——“应在 3.0V~3.6V 之间[8]”的“[8]”,其余完全一致。付胜波硕士学位论文参考文献中的[8]为Sumsung Inc,S3C44BOX Datasheet,2000。贾桂林硕士学位论文中则没有这一项内容。澎湃新闻注意到,付胜波硕士学位论文的参考文献为46项,贾桂林硕士学位论文参考文献有28项。而贾桂林硕士学位论文中的28项参考文献,全部可在付胜波论文的参考文献中找到。如贾桂林论文参考文献第22项为“丁曙光,倪国华,李冰冰 嵌入式操作系统C/OS-Ⅱ在数控系统中的应用”,付胜波论文参考文献第27项为“丁曙光,倪国华,李冰冰 嵌入式操作系统C/OS-Ⅱ在数控系统中的应用研究。组合机床与自动化加工技术,2005(10):41-44”。上述两条文献不同的是,付胜波写明了引用文献的期刊名称、出版日期和页码范围等相关信息。对比来看,付胜波硕士学位论文中参考文献的引用信息标注更为详细。

德溢乎名

张晓帆:一个决定将47万奖金全部投入科研的博士生

作者 | 陈彩娴作为2020年谷歌博士生奖研金中全球唯一一位在移动计算领域获奖的博士生,张晓帆自认为“称不上是一个学霸”。他曾就读于广州市执信中学,与2003年被保送至清华大学并成为首位获得全球计算机视觉顶会CVPR“最佳论文奖”的中国学者何恺明是校友,后考入电子科技大学通信与信息工程学院,保送本校研究生,又在2016年拿到伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系的全奖PhD offer。在申请谷歌博士生奖研金的proposal中,张晓帆希望利用移动设备提供高质量且私密安全的AI服务,从资源受限的移动设备中释放更强大的AI能力。尽管与大多数专业背景为计算机科学(Computer Science)的申请者相比,张晓帆对AI算法的掌握也许略逊色,但他的提案与所取得的阶段性成果最终打动了谷歌奖研金评选委员会,在众多博士生中脱颖而出,成为谷歌在北美与欧洲地区评选的30名获奖博士生之一。相比学霸的头衔,张晓帆更愿意将自己的科研之路形容为:踏实、乐观且目标坚定的求知之旅,在这个过程中,“解决问题使我感到快乐。”1ECE的第二位获奖者自谷歌博士生奖研金在2009年设立以来,伊利诺伊大学厄巴纳-香槟分校(UIUC)一共有12名博士生入选,其中10名来自CS专业,2名来自电气与计算机工程系(ECE),而张晓帆恰是ECE入选的第二位博士生。谷歌博士生奖研金在全球范围内按区域评选,主要分为四大地区:北美与欧洲地区,澳大利亚与新西兰地区,东亚地区,非洲与印度地区。而在北美与欧洲地区主要有三轮评选:学院/学校/区域评选,获得学校提名的候选者最后成功入选的几率也只有不到10%。根据谷歌的规定,每个学校的提名人数不能超过4名。如果最终提名为3-4人,则第3名与第4名候选者必须备注自己来自“underrepresented group”,即在美国学术圈不占主流的人群,包括:女性,黑人或非裔美国人,美国印第安人或阿拉斯加原住民,拉丁美洲西班牙语国家公民或拉美移民,夏威夷土著或太平洋岛民,残疾人。UIUC最终提名4位博士生,而张晓帆是学校推荐的前2名候选者之一。他没有辜负学校与导师的期望,成为UIUC在2020年的唯一入选者。在与AI科技评论的访谈中,张晓帆回忆自己在今年4月初便得知自己获奖的心情:很惊喜,也觉得非常荣幸!刚收到邮件,我就立马跟推荐我参加评奖的三位老师分享了这个好消息。因为Google PhD Fellowship的竞争非常激烈,我很感谢谷歌对我在现阶段研究的肯定与支持。张晓帆提到的三位老师,指的是他在UIUC-ECE的博士生导师陈德铭教授,以及UIUC与IBM联合创办的认知计算系统研究中心(C3SR)的两位负责人:胡文美教授与熊瑾珺教授。据了解,谷歌将资助入选者在读博期间的所有学费与学杂费,提供两年研究补贴(每年35k美元,折合人民币约47万,在每学年内分9个月支付),以及与谷歌研究导师一起共事的机会。对此,张晓帆谈到,博士生本就是“低收入群体”,这笔奖金可以帮助他在一定程度上解决研究经费的问题。博士生是需要交学费的。博士生可以通过在学校做助教,由系里出资免去学费,或是成为科研项目的研究助理,学费由项目承担。获得Google的奖研金之后,我能更加自主地选择我的研究方向,选择一些研究周期更长的研究项目。在申请谷歌奖研金的proposal(Efficient Hardware/Software Co-Design Methods to Unleash Full AI Capabilities for Mobile Devices)中,张晓帆明确地提出了自己的研究目标:使用高能效软硬件协同设计的解决方案,使AI算法与硬件加速器完美结合,提高移动设备的AI应用能力。在确保移动端能高效运行AI应用的同时,该研究也要保证使用数据的安全性。因此,他期待能够与来自计算机体系结构、隐私与安全及其他AI领域的研究员合作。除了张晓帆之外,UIUC曾入选谷歌博士生奖研金的大陆学子还包括:王宏宁,2012年入选,本科与硕士就读于清华大学计算机系,现为弗吉尼亚大学助理教授;任翔,2016年入选,本科就读于浙江大学计算机系,现为南加州大学助理教授;商静波,2017年入选,本科就读于上海交通大学ACM班,现为加利福尼亚大学圣迭戈分校助理教授。2比大多数人更早决定读博我在本科大四就已经决定要读博,做科研。张晓帆的高中就读于大神辈出的执信中学。提起校友何恺明,尽管如今同是AI领域的追梦人,张晓帆不掩其崇拜之情:“当年没能一睹大神风采。我进执信时,他已经保送清华了。”张晓帆的本科与硕士就读于电子科技大学通信与信息工程学院,直到读博期间,研究深度神经网络加速器时才开始跟踪何恺明的工作,今年暑期在Facebook实习时才与何恺明有了一些交集。如今十多年过去,张晓帆谈起母校执信中学,印象最深刻的便是其独特的地理位置与建筑风格,以及被执信学子称为“青蛙服”的绿油油的校服。“一看就是执信的学生。”执信的学生张晓帆就读于执信中学本部校区。执信本部位于越秀区(原为东山区)执信南路,周围是繁华的越秀商圈,每天上学都会体验到一种强烈的反差感:校园外是大城市的喧嚣,而校园内则是红墙绿瓦的古建筑,充满书香气。“就觉得:执信确实是一个学习的地方。”执信校园尽管只是就读于普通班(当时分重点班与普通班)的中等学生,张晓帆回忆起在执信中学的学习时光,仍觉得是非常快乐的:一是校园环境特别好,二是校园管理、教师团队等软件设施非常完善。学生的课余时间比较丰富,补课的时间比较少,可以自主分配时间去做自己感兴趣的事情。执信学子在高中便能体验到非常丰富的社团活动。虽然高中的课业也很重,但老师给予了学生极大的信任,相信学生有能力去掌握自己的时间。后来在电子科技大学度过七年本硕时光,尽管本科期间拿到校级与国家级奖学金,保送研究生,张晓帆仍认为自己谈不上是一位“学霸”,“因为本科有不少课程还是挺难的,需要花不少时间学习,考试复习的时候也没有很轻松。”在他看来,不过是:付出了努力,并取得了一些成功。他的第一篇科研论文始于本科大四时期。确定保研后,张晓帆便加入电子科技大学通信学院李广军教授的研究团队,开始参与4G通信核心模块的硬件加速器设计。那是他第一次正式参与科研项目。张晓帆(后排左二)与研究生项目组成员4G通信涉及到众多信号处理的步骤,张晓帆设计的模块是负责加速信号处理,提高数据传输速度。大四整一学年,他都在进行这个研究,最后设计方案取得了不错的加速效果。张晓帆及团队成员将项目成果拓展成一篇名为《基于低硬件复杂度, 高速 CORDIC 的 SVD 模块设计与实现》的期刊论文,投稿到《电子学报》上,最终被收录。这次的项目成果点燃了张晓帆对科学研究的兴趣。“就觉得科研很有意思,有很多可以挖掘与探索的知识,我也很享受解决问题的快乐与成就。那时候就已经打算要读博。”在研究生阶段,张晓帆获得国家奖学金、唐立新奖学金、优秀硕士毕业论文等荣誉。3唯一的外校博士生2016年,陈教授团队录取的博士生中,外校学生只有张晓帆一人。其余博士生都是自本科与/或硕士开始便在UIUC就读的学生。比如说,UIUC第一位获得谷歌博士生奖研金的ECE博士生Raymond Yeh便是本科、硕士与博士都是在UIUC的ECE专业一路读上来的。Raymond Yeh在2018年获得谷歌博士生奖研金,与张晓帆同在CSL实验室(Coordinated Science Lab)。张晓帆在UIUC的博士生导师为陈德铭教授。在申请UIUC的博士之前,张晓帆便与陈德铭教授有过一面之缘。陈德铭教授是FPGA、EDA(电子设计自动化)、人工智能、异构计算等领域的著名学者,因在FPGA 高层综合方面作出的研究贡献入选IEEE Fellow, 其研究方向与张晓帆在读博期间想要研究的方向非常契合。2015年年底,陈德铭教授来成都参加一个学术会议,张晓帆作为活动组织方的学生代表,负责带领陈教授在会后参观当地景点,游玩之余顺便交流了一些关于技术发展的看法,以及自己在研究生期间所做的工作。同时,陈德铭教授也对张晓帆提出了一些问题。“当时以为就是很普通的聊天,现在想想,那时候应该是我的第一轮博士面试。”事实上,在申请博士时,张晓帆并不敢“妄想”得到UIUC的offer,而是将其作为一个冲刺的学校。但幸运的是,陈德铭教授早前已对他有一些印象,因此申请博士生时相对顺利一些,并拿到全奖offer。张晓帆拍摄的UIUC校园景色上文提到,本科大四就决定读博的张晓帆比大多数学子更早找到自己的学习方向。但读博从来就不是一件轻松的事。尤其是对于拿全奖offer的博士生来说。一般来说,博士生的前两年会有资格考试,只有通过资格考试才能留下来继续完成学业。因此,学生一边需要高质量地完成指定数量的专业课程,经历高密度的作业和课程考试并获取不错的绩点,在另一边还需要注重知识积累,及时完成科研任务以准备博士资格考试。“第一年的压力是最大的。”张晓帆说道。一边是繁重的学业,一边是进度紧张的项目,加之换了环境,所以第一年会特别焦虑。此外,导师对博士生的要求也非常严格。“导师会给你定一个特别高的目标并鼓励、帮助你向目标方向努力,当你花费几年时间不断钻研并在该方向上取得成果的时候,你其实已经开始具备一名博士应有的素质了。博士毕业也是水到渠成的事情。”孤独感与焦虑感在博士生群体中是一个普遍现象。2019年《Nature》第五次博士生调查结果显示,39%以上的博士研究生有抑郁或焦虑症状,这一数据是正常人群的6倍以上。博士要解决的问题是那种还没有被解决的问题,因为如果有人已经有成熟的解决方案了,你的研究也就失去了意义。所以你会很容易产生这种感觉:其实这个问题并不能被解决,因为在此之前还没有人能解决它,也不见得你可以立马解决。怎么克服呢?张晓帆分享了自己的解决经验:“一是调整心态,但调整心态并不能保证生产力,所以另一个方法就是多泡在实验室里,呆久一点才回家。”张晓帆拍摄的UIUC校园景色此外,他认为充满不确定性的研究过程是非常磨炼一个人的心性的:“你必须沉下心来,去剖析你正在研究的问题,慢慢去发掘有哪些地方是可以被进一步改进的。”一番挣扎、焦虑、自我怀疑过后,熬过第一年,第二年的焦虑感会减少许多:一是已经习惯这种高强度的学习状态,二是工作渐渐取得了成果,也开始变得有信心。张晓帆强调坚持的意义:“如果你能找到工作的意义,你并不会有太多心思去想那些让你焦虑的事。”如今步入博士五年级,张晓帆回想过去几年的学习经历,总结自己每天绝大部分的时间都是在做和科研密切相关的事情:1)和导师、同学讨论想法,2)设计实验,3)分析结果,(要是结果糟糕就要回到第一步),4)撰写paper等,(要是投稿被拒也要回到第一步),如此周期循环。此外,博士生很难有规律的作息时间,DDL前几天熬夜是难免的。不过,张晓帆还是乐观地说:“但我们ECE领域也有一个好处,就是远程工作比较方便,不一定非要呆在实验室,换个地方还是能接着工作。”科研之路漫长且艰难,光有信仰是不够的,还要有鲜花。后来,在导师、同窗与个人的努力下,张晓帆从2018年开始高频发表顶会与期刊论文。直到今天,张晓帆总共发表了30篇论文,其中一作与共同一作共13篇。因学业成绩优异,他在2020年还获得了ECE以表彰优秀国际学生设立的奖学金Sundaram Seshu International Student Fellowship。4论文高产的背后张晓帆开始对AI产生兴趣,是在UIUC读博之后。在本科期间,他研究的是对单个核心模块作数字逻辑设计与优化,研究生阶段,他的研究从模块设计上升到系统级别设计,研究的是片上多核系统。后来,他在博士期间接触到的第一个项目,是搭建一个用于描述输入图片的深度神经网络硬件加速系统,他也因此开始接触AI与深度神经网络。张晓帆谈到:“虽然本硕期间学习的多是通信专业课程,比如通信系统、信号处理与计算机组成原理等等,但这些课程的基础知识其实与之后的AI研究有一些共通之处。”读博之后,张晓帆一直致力于AI应用相关的研究。在2018年,AI科技评论公众号就报道了张晓帆的一项发表于CVPR的工作。他与来自北京邮电大学的科研人员一同提出一种适用于密集人群计数的空洞卷积神经网络模型 CSRNet。该网络模型摆脱以往广泛应用于人群计数的多通道卷积网络方案,在大幅削减网络参数量和网络训练难度的同时,显著提升了人群计数的精度和人群分布密度图的还原度。这项研究有利于避免公共场合中因人群拥挤而产生的踩踏事件。此外,得益于简单、规整的网络结构,CSRNet 对硬件实现更加友好,可以被高效地部署在物联网设备中。人群计数场景如今,他将研究重点转向AI与系统、硬件的结合。他提到,目前AI应用对计算资源与存储的需求极大,但移动设备的资源与功耗预算极其稀缺。比方说,如果使用电池,许多设备就不能使用性能比较高的处理器。张晓帆的解决方法是:使用AI算法与硬件加速器协同设计,为不同的移动应用场景设计最合适的解决方案,而不是简单地对算法或者硬件做单方面的优化。这样的话,资源稀缺的移动设备,比如手机,摄像头,无人机等,也能运行高质量的AI应用。他在这方面最新的研究成果是SkyNet,为低功耗嵌入式设备提供了高质量的物体识别与物体跟踪解决方案。这项成果发表在今年的AI与系统会议Conference on Machine Learning and Systems (MLSys)。张晓帆在这方面的研究成果已经发表在多个顶级会议上。其中,DNNBuilder(一种先进的深度神经网络加速器自动化生成工具)获得了2018年国际计算机辅助设计会议(ICCAD)颁发的 William J. McCalla最佳论文奖;SkyNet及其加速器设计在来自全球 110 支参赛队伍中脱颖而出,赢得由国际设计自动化会议(DAC)主办的低功耗目标识别系统设计大赛FPGA与GPU组别双冠军。图注:DAC 2019 大会正、副主席为 UIUC 团队颁发低功耗目标检测系统设计挑战赛冠军奖状(左起为大会主席 Robert Aitken、博后研究员郝聪、博士生张晓帆、 陈德铭教授、C3SR 负责人熊瑾珺及胡文美教授和大会副主席李卓)他的主要研究课题还包括了AI加速器及相关自动化工具的设计。他希望通过更高效的AI加速器和更全面的自动化工具,加速AI从算法设计到最终硬件部署的时间,以满足不断快速发展的AI应用的需求。张晓帆在今年的两个EDA领域顶级会议合共有4篇论文被收录。其中发表在DAC的论文《Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions》提出一种可微的深度神经网络与加速器联合搜索框架,为嵌入式设备提供更高效的AI解决方案。此外,另一篇发表于ICCAD的论文《DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator》则探索了一种可用于FPGA的新型加速器结构范式,能进一步提高硬件加速器的资源利用效率和扩展性。他将自己取得目前学术成果的原因归纳为以下四点:1、导师的榜样力量张晓帆直言对研究生与博士导师的崇拜:“他们有一些共同点,就是对工作的要求非常高,要求非常严格,耳濡目染之下也会变得对一些细节很固执。”比方说,张晓帆提到被陈德铭教授“逮到办公室里一字一句修改论文”的情景:写完论文后,我自己已经很满意,拿给导师看后,他还是能够看出很多需要改进的地方。哪怕我已经在不断进步了,他还是能够看出自己的不足。把我逮到他的办公室里,坐在电脑边上一个字一个字地修改。不断改,改到满意,达到导师标准的才是合格的。张晓帆也十分理解导师的意图:“教授是过来人,又看了那么多论文,他肯定知道一篇好的论文应该达到怎样的标准。”此外,导师给予的指导性意见也非常多。他们的实验室一周开一次例会。除了周例会以外,还有项目与子项目的例会,频繁时每周会与导师聊三回。图注:2018年ICCAD最佳论文合作作者合影(左到右)熊瑾珺教授,陈德铭教授,张晓帆,胡文美教授,王均松(IBM高级研究员),林咏华(IBM杰出工程师,时任IBM中国研究院院长)2、C3SR的工作经历C3SR(IBM-ILLINOIS Center for Cognitive Computing Systems Research)是UIUC与IBM合作成立的研究中心。在获得谷歌奖研金之前,该中心为张晓帆提供了他的大部分研究经费与实验设备。作为学界与业界共同建设的研究中心,C3SR聚集了来自学校与IBM的权威专家。张晓帆在中心一起共事的导师,除了陈德铭教授,还有另一位来自ECE的胡文美教授(计算机体系结构、编译技术、并行处理领域著名学者,IEEE/ACM Fellow),以及来自IBM的资深研究员、ECE兼职研究教授熊瑾珺。据张晓帆介绍,C3SR每周都会有一个例会:“每一次例会就是学界与业界的思想碰撞。与业界的专家接触,能讨论出不少新想法。”3、实验室的团队科研氛围张晓帆认为自己非常幸运,在研究生与博士阶段都遇到了非常好的团队成员。“同窗之间交流地愉快,心态调整也会快,科研也会快乐。”图注:2019年,张晓帆(后排左四)与C3SR师生参与由MIT-IBM Watson AI Lab举办的AI Research Week学术交流活动。4、自我的修炼张晓帆将个人的因素排在最后一位。“一直在这个领域深耕,比较容易出成果。”他认为,自信、乐观与坚持是读博的“三大法宝”。只有具备了这三大法宝,才能在读博的过程中扛过一次又一次的打击,不断被打倒、又不断站起来。此外,读博大多需时至少五年。对任何人来说,五年都是一段非常宝贵的时光。一旦决定读博,便要克服一切困难,咬牙坚持下去。“可以不断用一些阶段性的成果来激励自己。”与本硕学习有所差别的是:博士生要独立做研究,自己决定自己的研究方向。“一开始是导师帮忙选择适合的研究方向,因为对行业不了解,所以由导师分配能胜任的工作。之后看的文章多了,就能感觉到行业要往哪里发展,或是小的领域要在哪里突破,摸索到自己的研究方向后,跟导师商量,给出自己的理由,导师同意后就可以开始投入研究。”至于如何获取新知识、判断行业的研究动态,张晓帆的主要学习渠道有:1、读文章,关注自己领域的几个重要会议与期刊,偶尔刷arXiv上发表的新论文;2、关注UIUC举办的一些学术讲座与其他云学术会议。3、关注一些科技公众号,比如AI科技评论。4写在最后读博是选择了一条孤独的路。对比同龄人的选择,张晓帆知道,读博并不是大多数人的选择。本/硕毕业后进企业与选择读博,这两种选择的追求是不一样的。博士在读生本就是低收入群体,“刚刚够花而已”。面对市面上那些冷冰冰的薪资数字,比如本科毕业的学生可能已经当到了VP、而你才刚博士毕业找工作,或者硕士毕业后工作三四年,技术工程师的年收入也能达到或超过一些公司给博士毕业生的收入水平,张晓帆的态度颇为达观:“如果要比收入的话,越比越伤心,因为比你有钱的人太多了。一味比收入的多少,也会容易抹杀掉自己在某个领域上的潜力。读博是一个不留后路的决定。”另一方面,我们也可以找一些让自己开心的数据,比如华为天才少年计划…你永远可以找到你想要的数据。再谈后悔与否已无太多意义。回顾自己选择做科研的决定,以及获得奖励与肯定的经历,张晓帆总结:“也算对自己的博士学习有所交代了吧。”张晓帆个人主页:https://zhangxf218.wixsite.com/mysite[赠书福利]在10月19日头条《专访吴军:未来10年,AI的发展方向是应用,不会出现重大的理论突破》留言区留言,谈一谈吴军博士对你的启示,或你对信息技术发展的理解。AI 科技评论将会在留言区选出 10 名读者,每人送出《信息传》一本。活动规则:1. 在留言区留言,留言点赞最高的前 10 位读者将获得赠书。获得赠书的读者请联系 AI 科技评论客服(aitechreview)。2. 留言内容会有筛选,例如“选我上去”等内容将不会被筛选,亦不会中奖。3. 本活动时间为2020年10月19日 - 2020年10月23日(23:00),活动推送内仅允许中奖一次。NeurIPS 2020论文接收列表已出,欢迎大家投稿让更多的人了解你们的工作~

莫为则虚

「重工的课」它正在创造一个新的时代——嵌入式技术

重工的课嵌入式技术在银行网点、商业街你会遇到乖巧可爱的机器人为大家服务,而这些小机器人能像人类一样为大家提供导购、查询等服务,这得益于机器人控制系统的嵌入式计算机,今天就为大家介绍《嵌入式技术》这门课程。万物互联的时代已经来临,人与人之前的通信,人与人之间的协同,物与物之间的相连无处不在,嵌入式正在创造一个新的时代。1什么是嵌入式?以应用为中心,以计算机技术为基础,软硬件可按照需求进行定制,从而满足特定功能、性能、成本、体积和功耗等设计指标的系统。2应用场合:军事、医疗、工业、运输、通信、气象以及生活的方方面面。具体说有智能家居系统、智能医疗系统、物联网系统、汽车电子等等。3特点:功能专一、功耗低、专业性强、可定制让冷冰冰的机器有了灵魂,而这个灵魂可以被人类以简单便捷的方式操控,而你,就是这个灵魂的创造者。课程简介:《嵌入式技术》是自动化、电子信息工程、机器人工程、物联网等专业必修的学科(专业)基础课。课程的基本特点是具有很强的系统性、实践性,既要熟悉基本概念,又要熟悉设备的工作原理,还要掌握设备驱动的编程方法和多种调试手段,它对于构建专用计算机控制系统的结构、性能分析,掌握系统的开发、设计具有非常重要的地位,对于培养学生硬件设计、软件编程、测试、维护具有非常重要的作用。课程亮点:实践环节多、理论实际联系强、对口学科技能竞赛多、学生参与度高、教学评价好。课程评价:课程成果展示:任课教师:钱雅楠,电子信息学院教师,毕业于重庆大学,硕士,讲师。承担教育部产学合作协同育人项目2项,市级教改项目1项,市级大学生创新创业训练项目3项,校级科研项目1项。已出版专著1部,发表学术论文5篇,其中中文核心期刊2篇,申请发明专利2部。曾获省级教学竞赛三等奖3项,校级教学竞赛一等奖1项,2次院级“教学质量奖”,指导学生参加学科技能竞赛获市级奖5项,多次获得“优秀指导教师”称号。

大劈棺

用忠诚点亮复兴之路——访中国虚拟仪器之父应怀樵

作为中国虚拟仪器之父,他被誉为离诺贝尔奖最近的中国科学家之一。作为中关村与联想、方正等比肩拓荒现代信息与计算机产业的"创一代",尽管年事已高,历经"五次中风、四次心梗"的生命挑战,他依旧痴心不改,戮力耕耘在科研一线,培育新人、主编论著,就AI产业动态与趋势发表真知灼见。中国虚拟仪器之父应怀樵教授而在这位耄耋老者的心中,始终涌动着一个无悔的青春梦想——以中国人在虚拟仪器领域取得的创新成果问鼎诺奖。几十年来,他和他的团队完成自主创新技术131项,20余项达到国际领先水平,10项为突破世界性难题的原创新技术,更凭借在虚拟仪器领域领先国际的创新优势,打破了国外仪器的市场垄断,提高了中华民族的话语权和学术地位,为国家节省外汇数亿美元。他说:"向诺奖冲刺,不仅是一个科学家的荣誉,更是中华民族屹立于世界民族之林的时代要求,是新时代中国科学工作者不可推卸的神圣使命。"与共和国风雨同舟应怀樵的求学与科研之路,始终紧扣着国家之富强与民族之希望。1941年7月,应怀樵出生于浙江绍兴,这里人文底蕴深厚,近现代以来,涌现出革命志士秋瑾、文学巨匠鲁迅、大教育家蔡元培、科学家马寅初等彪炳史册的杰出人物。在蔡元培曾担任校长的小学里,应怀樵接受了优良的启蒙教育,奠定了为中华崛起而读书的远大理想。新中国成立后,百废待兴,特别是在西方冷战思维阴云的笼罩下,在科技领域尤其是在高科领域培养中国的优秀人才,具有重大战略意义。1959年,应怀樵考入浙江大学,就读于工程物理系理论物理专业;不久之后,应国家发展需要,被调整到数学力学系应用力学专业;1964年毕业后,他被分配到中国铁道科学院,致力于高速列车风洞课题研究,并到清华大学工程力学系流体力学专业实习,学习风洞测试和数据分析技术;1965年他参与了我国西部罗布泊核试验基地原子弹和氢弹的核爆炸防护工程研究,学习原子弹爆炸测试技术,接触了振动噪声和频谱分析;1967年6月17日,我国第一颗氢弹成功,应怀樵亲临罗布泊试验场,测得氢弹爆炸作用下地铁振动加速度数据,并自行开始数字化,数字积分的数字制造研究工作。扎根这些重大国家战略工程实践,应怀樵将现代数字计算机技术与信号处理分析融会贯通,在振动和频谱分析领域屡有创建,提出用"数字积分取代硬件的模拟积分,用计算机的DFT分析取代频谱分析仪"的理念,成为中国数字制造(软件制造)和中国虚拟仪器研究的拓荒者。回顾早年的求学之路,应怀樵说自己就像一名低头砍柴的"樵夫",按照国家要求,5次转换专业,5次无悔出发,但科技强国、为中华崛起而读书的青春梦想始终如一。正是他,早在1979年11月中国杭州全国核试验防护工程学术会(机密级)上,他就创新性地提出"软件制造仪器"的虚拟仪器核心原创概念,比1986年美国NI公司"软件是仪器"的概念早了7年;1983年东方所成立时,他就提出"把实验室拎着走"和"卡泰仪器"的概念,如今已经成为现实;2009年他在桂林全国第三次虚拟仪器大会上提出基于互联网+云计算+大数据+VI技术+人脑工程+嵌入式软硬件的"云智慧仪器"和"互联网+测试"的云智慧测试时代的概念,也已成为现实;2012年他在北京第十五届国际科博会上提出"云智慧科技时代的第三次工业革命正在走来"--从"软件制造仪器"到"软件制造一切"的新概念并正在成为当前科技领域最新潮流与热点。如今,在全球贸易保护主义与单边主义抬头之际,他更疾呼,世界科学界尤其是中美等大国应以人类福祉为依归,携手并肩共同创造。他强调,中美共同创造:"软件制造"就是AI,软件是计算机和机器人的大脑,因此是软件制造了AI,决定了AI。而且AI与"软件制造一切"是十分相似的概念。回首半个多世纪的风雨跋涉,正是这份赤子般的忠诚与夸父般的坚韧,使应怀樵的生命足迹始终无悔跋涉在中国式虚拟仪器VI和人工智能AI的科研重镇与前沿,成为他魂牵梦萦、不竭奋进的情怀所向与动力泉源。以速度与精度攻坚国际难题文革结束,百废待兴。1978年1月,英姿勃发的应怀樵走上讲坛,在昆明召开的中国力学学会土岩爆破会议上,他发表了《地下结构爆炸震动加速度的测试和分析》一文,证明了用数字积分求得难以测量的地铁下沉残余位移和DFT取代频谱分析理念成功的论文。这是中国数字制造和虚拟仪器理念早期成功的里程碑,也是国内外VI和AI发展史上的一个重要节点。文革结束,百废待兴。青年科学家应怀樵以振动噪声与信号处理领域一系列突破性成果,受到钱学森、茅以升等科学界泰斗级人物的勉励。著名科学家、被誉为"中国航天之父""中国导弹之父",曾任中国科学技术协会主席的钱学森在随后出版,刊载了这篇重要论文的《土岩爆破文集》前言中写道:这些成果只是科技进步中的一小步骤,却关系如何高速度地把我国建成为社会主义现代强国的深远历史意义。正是怀着这样一份丹心报国的赤子之心,应怀樵始终奋进于时代改革发展探索的最前沿。1979年应怀樵编著的《振动测试和分析》由中国铁道出版社出版,1983年应怀樵编著的《波形和频谱分析与随机数据处理》出版,两书中就有用算法和软件代替仪器的振动参量变换,用计算机计算的成功实例内容。早在1983年,为了克服无法使用磁带记录仪与信号分析仪的问题,应怀樵创建了北京东方振动和噪声技术研究所(简称"东方所"),几十年艰苦跋涉,攻克了一道道世界性难题并填补了多项国内空白。最为业界称道的是对"传递函数的测试及实时控制和反演关键技术与超高精度频率计算方法"的成功突破,为提高虚拟仪器测量精度和范围开创了新途径,被业界誉为达到足可问鼎诺贝尔物理学奖的世界性成果。几十年来,应怀樵始终瞄准国际学术前沿。在率先提出"云智慧仪器实验室"与"云智慧科技时代、软件制造一切、定义一切、重构未来"的基础上,他建议国家建立云智慧医疗中心和云智慧教育中心、云智慧安全中心、云智慧交通中心等,为我国抢占高科技制高点,推动科学仪器与科学实验的发展,集聚高智慧,推广高新技术,达到世界领先水平,制订出科学合理的研究计划和战略步骤。应怀樵也因其卓越贡献屡获殊荣:2001年获得全国优秀科技工作者荣誉称号;在2007年全国第二届虚拟仪器大会上被誉为中国虚拟仪器之父;被评为科学中国人2009年度人物等。2006年3月6日,他提出将中国的传统24节气中的"惊蛰节"设为东方所创新节,极大地增强了东方所的文化凝聚力。基于自主创新的深刻体悟,近年来,应怀樵向国家领导人写信建言,并在多种重要场合向各界呼吁将"惊蛰节"上升为中国人的创新节。在他看来,唯有将创新基因植入国人心中,才能内生为国家创新驱动战略的文化动力。做改革开放的光荣见证作为改革开放的亲历者、见证者与"创一代"。1983年应怀樵创办东方所。从微薄的300元工资起家,开创出年产虚拟仪器和云智慧仪器产值3000多万元、累计产值2亿多元的民营高科研究所的斐然业绩。应怀樵说,这是一个中国科学家对诺贝尔精神的最好礼赞,我们不仅要创新科技,更要把创新成果植根于民生福祉。作为创业家,几十年来,应怀樵以东方所为战略起点,不断加强学术团队与研发推广体系建设,与清华大学、北京大学、中科院力学所等高校和科研院所合作,联合指导博士后、博士、硕士研究生三十余名,并担任浙大、西交大、北邮、江苏大学、合肥工大、华北电大、华中科大、东北大学等八所高校的兼职教授,为国家培养出大批急需的专业人才,以及行业高端人才。东方所的研究团队也扩大到近百人,拥有博士、硕士数十名,成为虚拟仪器领域一支中坚力量。领先国际的科研优势,使东方所打破了国外仪器的垄断,提高了中华民族的话语权和学术地位。目前,东方所的产品广泛应用于国防军工、航天航空等许多部门,参与完成长三火箭、长五火箭、长七火箭、神舟飞船发射平台、原子核反应堆、核潜艇、水电站、港珠澳跨海大桥、高铁、地铁等上百项国家重大工程项目测试。据估算,若在国内全面推广,其经济价值按我国2007年仪器产值估算,按软件取代硬件30%~50%计算,每年将产生600多亿到1000亿元/年的巨大价值,将为促进技术变革和推动新兴产业形成,造福国计民生将发挥重大作用。香港《文汇报》曾报道指出:"软件制造仪器将有助于节约地球资源、节省能源、材料消耗也可大幅度削减,这项发明虽然只有'35岁',已经使人类受益匪浅。"并指出,软件制造一切、定义一切,重构未来的云智慧科技时代将使21世纪进入第三次工业革命的云智慧科技时代。它像2009年诺奖得主高锟教授的"光纤通信"引发了通信革命,像2014年诺奖得主赤崎勇和中村修二的兰光LED引发第二次照明革命一样,软件制造仪器、让软件制造一切、定义一切必将重构全世界的未来,给人类带来极大的福祉。眺望未来,应怀樵满怀深情地告诉记者:软件制造仪器到软件制造一切的发展将有多远还不得而知,但它年轻有为,前途无量,其经济效益和社会效益是无法估量的,"软件制造一切、定义一切",将不仅仅是一场数十万亿美元的饕餮大餐,更将见证中华民族世纪崛起的复兴之路。有评论指出,"软件制造一切"的新概念将会对社会、国家各行各业及一切带来颠覆性变革,颠覆世界经济、军事、政治的现有格局,各行各业均会发生重大的变革和改变,已经成为影响世界和人类文明的新思想,无论是现在亦或是将来,都在潜移默化中改变着我们的生活,推动着"智能一切AI+"时代的到来。

赤壁上

找一份高薪的AI工作有多难?

编者按:本文来自微信公众号“量子位”(ID:QbitAI),编辑整理:千平,36氪经授权发布。“秋招的AI岗位竞争激烈吗?”AI岗位这几年一直大热,而知乎上这个问题最近同样很热,陆续吸引了200多个回答,已经有5000多人关注,接近200万浏览。这个问题看似是在谈招聘,其实更是在谈人工智能相关方向的学生,应该如何更好的自我提升,如何为未来做好准备。量子位获得了微调、Dr.Frankenstein、Beili、陈晓智、Ender等用户的五篇高质量回答授权。他们从各自不同的角度,给出了精彩且中肯的观点。我们转载如下,略作编辑。重点是你有多少必杀技前一阵子心血来潮去某研究机构面试,面的是不限方向的「机器学习研究员」。前半段聊得很顺利,主要介绍我开发过什么库写过什么论文,想要继续做什么。面试的中段面试官问:“那你的这个方向用深度学习怎么做?”我很老实,说这个方向暂时无法大规模应用深度学习,某些因素还不成熟。对方显得很失望,强调他们需要每个人都做深度学习研究,发深度学习相关的会议,因此这个机会自然也就泡汤了。讲这个故事的目的是为了说明:AI领域的岗位正在朝精细化发展,而候选人的竞争力更多的是和岗位的「契合度」,而不是你本身有多好。这要求候选人的技能下沉,能在岗位上解决实际问题。再早几年,这个行业的招聘是走粗放模式的,只要你会ABCDE,学历不错,那么欢迎你。但这几年随着热潮回归理性,以及企业变得越来越“精明”,它们已经逐渐明白了需要什么样的人,明白了AI相关的岗位本身就不是靠员工数量,而是靠质量取胜的。比如做手机上图片识别的,它的目标候选人就是明白如何把成熟的识别模型部署到手机上的人,而不需要一个自然语言处理的大牛,也不需要一个对机器学习理论研究很深的专家,更不需要一百个普通程序员。这不是说你不够好,而是说你不适合。而大部分人的求职是公司导向的,知名公司一个不落下,使用“鸟枪法”。而不是技能导向,寻找和自己相关性高的雇主。所以在这个回答下你会看到两种截然相反的看法:AI相关的工作很难找,为什么我条件这么好也被拒AI相关的工作遍地都是,我水平一般照样斩获很多录取抛开所谓的个例不谈,我猜测出现相反结论的原因可能是因为大家对于「契合度」的关注程度不同,就是你面试的岗位和你的经历与经历有多大的相关性,你是否可以很快为团队做出贡献。我猜测不少面试不顺利的人可能都属于有了广度,缺少深度,也就是“万金油”。比如某个候选人可能是:TF也会用一些,NLP的项目做过2个,刷过两个Kaggle,人脸检测学过教程,Cousera上的证书也拿过几个。这就属于缺乏特点,和所面试的岗位之间关联性不够强,竞争时自然后力不足。对于明白自己喜欢和了解的领域是什么的人来说,只要朝契合度高的方向使劲就好了。而对于只有了知识广度,却还没有确定自己的发力方向的人来说,最重要的是明白:你的特点是什么,你有什么优势,你打算怎么利用这个特点脱颖而出。换句话说,「你和别人有什么不同」。从我自己面试别人的经历来看,最重要的是你有什么长处,而不是你的技能有多均衡。越是有经验的业内人士越是看候选人的长处,而忽视短板,与木桶原理相反。「什么都会一点」=「什么都不擅长」。随着行业进入进一步细分和专业化,靠刷刷题,调调包,做几个相关项目,上几门课程,就能进大厂和明星创业公司的机会只会越来越低。我们都需要开始思考发力点,就是你与别人有所区别的地方,争取成为一个「小领域的专家」。即使无法成为专家,找亮点也比追求全面开花要好,比如:对A领域感兴趣,是否可以在A领域发一些有意义的论文对A领域感兴趣,是否有实现A领域缺失的经典算法,并封装以供他人使用并获得关注编程能力很强,尝试做偏向底层的设计,比如保证机器学习算法在移动设备上高效运行明白自己的擅长的技能在什么公司有用武之地,专注于这些雇主说到底,任何风口行业都有降落的时候,求职本身就是“小马过河”,your mileage may vary。同时随着行业逐渐成熟,中高端岗位的求职重点肯定会朝专业性和契合度上发展。所以重点不是你会多少武功可以表演,而是你有多少必杀技可以一招毙命。“竞争十分激烈啊”最近又去实习,吃饭的时候听leader调侃:刚才视频面了一个小时,我让他写个线性目标的sgd优化的伪代码,我把目标函数写给他,他在视频里写了个import tensorflow as tf…loss = …optimizer = …TM的用tf的优化器我要你写啊……老子是让你推啊……其实面试官就是希望他能就原理做一下简单推导,我没有表述完整,面试官后来解释了要他推一下公式,写下来,mini batch怎么更新,更新什么写一下伪代码,可他写不出来。leader稳定了下情绪:刷了十几份简历,全是这样的,除了deep learning、tf/pytorch啥都不会。我笑抽,道:你得拿学校筛筛啊……他:笑个屁,都是你们学校的……由此可见,竞争十分激烈啊……最全应聘指南感觉是比较激烈,但是也没有想的那么惨烈~~面过腾讯优图、阿里中台、腾讯AI lab,其实了解下来,大厂还是很缺人的!!!像腾讯优图、AI lab, 阿里IDST,AI lab,这几个热门部门一直都在疯狂招人,只是很多候选的同学背景不match,而不是你实力不行(当然基础不扎实的同学请好好补课)~~大厂很多时候招人,有一个很重要的背景就是希望校招的同学能够快速上手业务,帮助产出。如果你只是发发paper,了解些不痛不痒的模型,知道个大概的机器学习原理, 那面试官怎么可能对你感兴趣呢?最后招进来,也没办法跟老板交差的。据我了解,对于一些部门大力投入的业务,有些都不设HC上限的,只是很多时候都招不到一个合适的候选人,因为大家动不动就说我用过各类深度学习或者机器学习的算法库,但是一问细节,都是浮在表面,这让面试官如何继续下去呢?还有一部分同学,看起来paper很多,但是一问motivation,其实就是修修补补,这种paper对于产品落地没有太大的意义,面试官反而会去拷问一些基础知识了,而最后很多发paper的同学往往基础知识都不够扎实…..但是投AI 的同学真的实在太多了(大家可以考虑下转型)。。。曾听mentor说投算法实习的有2000个候选人,最后一般录取3个左右。。。(想想这比例,大家还是好好练好基本功,再投AI比较合适呀)所谓快速上手业务我觉得从三个角度来说比较合适:1、业务需求型假设你负责的算法是CV / NLP 或者推荐中的一种吧,那么leader交给你一个project的时候,不可能整套算法的输入和输出都是确定的,那么这个时候你要去明确输入是哪些? 输出又是哪些?(这些可能需要跟leader沟通,有些也可能需要跟开发或者PM沟通),明确之后,有哪些可以做baseline的算法?接着,针对你的这个业务场景你想用哪些算法尝试?作完对比以后,如何做badcase分析?在写周报时,如何描述你做了什么,有什么问题,后续你初步的解决方案又有哪些?这一连串的步骤连起来并且在有限的时间内完成,这就是快速上手业务;2、业务探索型现在leader交给你一个预研性的project,组内没有人做过,那么你能否通过github, stackoverflow, reddit, 或者 paper 等各种渠道,尝试2到3种你认为可行的方案,而不是直接google一下,问下同事,看下论文,直接反馈说,不行,这个太难了;3、业务成熟型组内这快业务比较成熟,比如大厂在做推荐的任务时,都有成套的框架和组件,那么你能否及时用好(比如说,一个月到两个月的时间完成从数据接入到数据输出的整个流程,以及其中的难点,时间耗点和可改进点),在做月度汇报时,不是说我熟悉了什么,而是我发现了什么,我觉得有哪些可以改进的地方,你下一步尝试的时间和预期等等,这样也是所谓的快速上手业务。(这其中调参的目的是提升效果,但是你还得对数据有较高的敏感性,并要学会从leader的角度去考虑我该如何与其他部门对接,准备哪些材料,更好的用好现有的组件和算法)关于面试和具体技术的涉及范围:有不少同学问到面试的范围和coding的要求,分硕士和博士补充吧 (只针对应届同学)一、硕士主要看部门、方向、业务和你所了解方向的掌握程度。1、大厂基本的coding+leetcode是基础(c++或java必须掌握一项,python等脚本语言必须掌握一项。所谓掌握,我的面试体验是:拿C++举例,你对其中的多态、容器、垃圾回收等要有清晰的了解,让你举个例子或者做个描述必须得信手拈来) ,那caffe、tensorflow、pytorch、mxnet,你至少要玩过一项,这一项随便问个模型你得知道输入是什么,参数有哪些,输出是什么吧。再加上你的论文、项目、比赛或者实习经验,这是面试的加分和可谈判项。那后续的面试套路基本就是machine learning(原理+推导)+ deep learning (举例+理解,例如过拟合的解决方法,dropout的梯度求解,cnn的梯度求解等)+ 你的具体方向中的SOTA(state-of-the-art)模型(CV / NLP/ 语音 等)。对业务考察也比较关注,就拿推荐系统来说,xgboost / lightGBM这些基本的你都得会,包括怎么用,怎么做特征选择,怎么用大数据框架等,默认你都要有一定程度的涉猎(因为面试官在这行摸爬滚打至少3年以上了,看简历看多了要求自然水涨船高,这些让我们应届生的确有些头疼【想想,你在学校怎么会轻易接触上千万甚至上百亿的数据呢,所以基本都是懵逼状态,这里给大家说个小窍门,核心思想就是我认为可以先怎么样怎么样,然后再怎么样怎么样,要有个大致的解决思路,方案不一定要对,但一定要有你自己的想法和尝试】);2、创业公司(或者小型独角兽)简单粗暴,两轮leet code中等难度的面试题,因为公司面临的是生存问题,没有时间和空间让你以摸索的方式搞产品,所以中等的代码输出能力是必须的。我面过上海的一家B轮公司,一个小时6道算法题,这对于我这种半路进入AI的同学,基础知识又不是足够扎实的同学来说的确是当头一棒,所以锻炼可持续性的开发能力是非常重要的(基本思路就是搞通一门语言,再对例如贪心、动态规划、BFS、DFS、搜索、字符串、图、数组、链表、二叉树等类型的数据结构与算法有深入的了解);3、巨星独角兽重点考察两个,一个是代码输出能力(面向算法和面向业方向的),一个是学习能力,前者是一面的通过点,后者是二面通过点。这里代码会对例如SGD的并行实现、CNN的伪代码实现、drop out的反向梯度实现、tensorflow的源码等进行考量(可实现+free bug是coding能力很强的面试官喜欢的,思路和内存消耗以及并行化是博士面试官喜欢的)。学习能力主要考察智商,以及根据你硕士期间做的事情来进行衡量;二、博士主要看重点会议论文 + 对业务的理解 + 一定的代码输出能力(MATLAB 、R这种也算)(我自己不是博士,只能看些身边工作的博士经历来说几句吧)1、基本3-4篇顶会是进入大厂一线AI算法团队的门槛;2、剩下的就是考察你后面三年之内出顶会paper和对业务帮助的能力了(我也不知道怎么考察,大概会让你谈谈思路和想法吧,或者直接跟你说我们有个场景,你打算怎么做之类的);3、没有顶会的博士一般进入大厂二线的算法团队,在已有的公司业务上进行算法迭代和优化(至于大厂算法部门哪些是一线团队哪些是二线团队,大家上脉脉上一问便知);4、代码这部分博士好像都不怎么问leetcode 了,至少概率比较小,这个要看面试你的总监或者高管是什么风格的,如果对方是ACM背景的大神,那可能还是会给你出道算法题。。。5、总而言之,博士大部分都是圈子里的人,套路大概都很清楚,最后就是在做一个最优match的匹配问题,所以会有取舍吧;Ps,你的老板和实验室大致决定了你最后能去的团队水平。。。(大厂基本对国内牛逼的一线老师和团队都是实时跟踪的,所以有个好老板对于博士太重要了,这有连带作用呀)。招聘者说在我看来,我期望招到的候选人大致分两类:第一类候选人是某个方向的专家。他们在某个方向(比如detection/parsing/3D)有很深的理解和实践经验,掌握该领域最好的几种方法,从算法原理(为什么work)到代码实践(如何work)都了然于胸,且能针对实际问题独立设计相应的算法方案。这类人,非常紧缺。今年一个比较明显的体会就是有顶会paper的人比往年更多了。如果是往年,我们会期望他们有独挡一面的能力,然而今年感觉有点差距。具体体现在,有的候选人虽然有一两篇paper,但对自己做的事情却也理解不深,或实际动手能力比较欠缺。这点比较遗憾。第二类候选人有非常强的动手能力。他们不一定要有独立设计算法方案的能力,但一定要有过硬的实践能力。比如能较好的复现一些paper;在嵌入式平台上优化过模型而不仅限于跑GPU;或者在自己做过的项目中做过一些比较扎实的改进(真知灼见)而不仅限于跑开源代码。这类人,相对没那么紧缺。即使这样,由于太多人往AI领域转了,至少90%的候选人都达不到第二类要求,导致招聘筛人工作量剧增。关于AI科学家的幻觉对于这个问题,Ender更推荐他之前写的这篇文章。(其实这是一篇吐槽,本来的标题是“不要用民科的心态对待AI”)因为AI概念如此之火。从各种BP和公司宣传看,老板们纷纷转型AI公司,从只缺一个程序员变成了只缺一个AI专家;从不同职位收的简历来看,对于广大的同学们,最热门的职业理想从前几年的产品经理变成了AI专家,那么关键的问题就来了,到底什么是AI专家?从前我在大公司招聘的时候,最怕的是没有任何工作经验和相关背景的同学,上门就说做科学家,反问对方做了什么准备,小朋友理直气壮的说,我就是等着进来你们培养我的。觉得自己只差进入牛的AI公司(或者牛AI学校,研究院)有AI牛人给个机会手把手的教,是第一大幻觉。有些小朋友心气很高,就算让他进了谷歌FB,他也会觉得怎么谷歌的科学家都在做数据测试啊,去阿里腾讯解决业务问题一定更好;去了BAT会觉得怎么只会糙快猛,部门互相撕逼,重复造轮子,技术水平上不去啊,还是再读个博士吧;到了学校里发现怎么缺数据缺资源,都在研究茴字的24种写法……直到被不同地方虐一圈,才有个理性的认识。当然也有像王垠同学这样的,每个地方吐槽一遍,举世皆浊我独清的做了网红。作为各种牛棚里看着大牛们长大的人,我没有见到哪个计算机科学的牛人不是首先靠着自己极其的努力成长起来的。清华张钹院士的得意弟子朱军从本科开始发KDD和ICML,每天早上一早从清华骑车到MSRA坐到晚上12点回清华,除了去打两局台球,几乎不停歇的写代码,他的系统工程能力非常强,是微软学术搜索系统的核心成员,理论上也做了很深的研究,后来去CMU跟着Eric Xing做的也非常好,回清华做教授。我们这级的达哥,林达华教授(他写的MIT牛人说数学体系,隔几年都会被人翻出来转几次,对了,现在是商汤的联合创始人,刚刚帮汤老师出了人工智能的中学教材),大学几乎不上课,研究生和博士生的导师都非常牛,他们都感叹林达华这样的学生特别省心,是自己做系统,自己推着自己做研究,只需要大方向上点拨一下就可以了。师傅领进门,学艺靠个人,指望学校或者公司帮你成为专家不现实,谷歌10万人,BAT都好几万人,你能找来解决AI问题的有几个人?还有些同学的幻觉是觉得AI专家做的事情,应该是研究算法,机器学习嘛,应该是跑模型调算法,只要负责研究优化目标就好了嘛。那这样算的话,只有去大学和研究院了。计算机科学的特点是,数据量和业务复杂程度会决定你问题的复杂程度,很多同学在学校里的project,大多是理想化状态下小数据集上的原型,离工业级别的应用,有着巨大的鸿沟,这需要真实世界里一路踩坑的血泪经验磨砺,哪个现在成功的大公司不是当初一路拉网线拼服务器,一点一点优化出来的。当世赫赫有名的计算机科学家谷歌的Jeff Dean,不就是负责system和infrastructure的么,现在他讲的Google Brain, Knowledge Graph也都是在强大的系统上来的。以前MSRA徐谷做了一个关于大规模图像去重的报告,我印象非常深刻的是always get your hands dirty。在互联网级别的数据上面,所谓的各种算法,都变成花拳绣腿,重要的是系统,系统,系统!对底层数据理解,对商业目标清楚。无论是MSR还是Google X, Yahoo Labs,里面厉害科学家的动手能力非常的强。Facebook招了很多牛PhD写PHP,外面有些尊贵的同学颇受不了。计算机首先是一门engineering的学科,这里的开发不分贵贱,重要的是你能够解决问题,革命成功靠的不是28个半布尔什维克。第三个幻觉是,从头造锤子才是有挑战性的人工智能。这是我深恶痛绝的,公司不是研究院,AI不是空中楼阁,你修炼的也不是屠龙术。现在各种开源项目和系统都非常成熟了,你在一个烧着投资人钱的商业公司里从头写一套OpenCV,重新发明一遍SVM,觉得这样才有意思,对不起,请回到30年前的学校里去。你必须有产品sense,而产品的本质是解决问题。以前沈向洋老师经常说的三好学生招人标准,数学好,编程好,态度好。对现在有志于投身AI时代的同学们来说,最重要的是看待人工智能的态度,纸上得来终觉浅,找到一个可以解决问题的地方,和专家们一起,靠自己挽起袖子去躬行。要么系统能力特别强,要么能理解商业,最终AI专家的价值,取决于他能够解决问题的大小。对于想找AI专家的老板们,先想清楚你的业务问题,AI并不是解决战略无能的灵丹妙药,找几个纸上谈兵的专家来解决问题,彼此过高的期望只怕会互相伤害。

神者勿齿

卓越校友心得:生活,学习,科研之路

文章是我院07计科的王国栋同学在硕士毕业的时候写给学弟学妹的一封信。今天看来,依然很有参考价值。王国栋同学2011年从我院毕业后在南京信息工程大学读研,而后出国在奥地利读博,2019年1月博士毕业后就开始了在奥地利维也纳科技大学的博士后以及在英国剑桥大学访问学者的工作与生活。王国栋同学在本文中谈到了考研、读研、出国、科研等方面的许多建议。希望给大家一些帮助。文章阅读约需十到十五分钟。主要观点有:考研不要吝啬花钱,但是要花在刀刃上,材料要少而精;对我们来说计算机科学应该专注于使用计算机解决问题;读研时最大的收获在于懂得如何去发现问题,解决问题;同学们一定要努力争取向外走向外看,争取多参加学科专业比赛,多了解外面的世界的发展动向。注意:文末有彩蛋。前言自2007年从成功学院本科毕业至今,没有时间常回母校看看,一则刚到南京,一切都显得那么陌生,每天都有上不完的课,而这些课程又让我非常“震惊”,我也只能用“震惊”这个词来形容我当时的真实感受,因为我突然发现之前自己对“计算机科学”这个词的了解是那么狭隘,也也发现自己之前做的那些所谓项目是多么小儿科,于是我一狠心选修了南京信息工程大学(图1是南京信息工程大学的大门)研究生院提供的所有课程,每天从早上8点一直上到晚上8点,幸好当时多选修课程不需要交学费,不然我就惨了,呵呵。图1 南京信息工程大学正大门另外一个原因则是,我的硕士导师要求比较严格,基本上每天除了上课以外,剩余的时间都要待在实验室做项目,看论文,因为研二和研三没有课程,更是要全天在实验室。那时真是非常痛苦,因为英文参考文献完全看不懂,就算勉强看懂,一篇论文都要一个星期才能看完,而且导师还要求每个星期至少要背三篇新概念上的文章,有段时间,我经常在凌晨惊醒,然后马上爬起来做笔记,记下一些自己对一些数学方法的理解,几近神经病啊,呵呵,其实主要原因还是觉得自己本科学的应付不了这边的研究生课程,心里面总是害怕。老师上课讲的内容,有一段时间,对我来说就是天书,真的一点都不夸张,完全听不懂。慢慢地,等自己一切适应了,导师又疯狂地要求我们做各种项目,所以真的没有时间。一直到今年年初,研究生三年级下半年,要做毕业论文了,才放下手里面的活,准备毕业论文。写写论文,聚聚会,时间匆忙而过,本来是打算今年八月份去英国的一个大学做博士,但是因为家里面临时有点情况,一直拖到现在才办签证,买机票,错过了英国大学的开学时间,现在只能去奥地利那边之前联系好的一个导师了。萍姐之前打过电话给我,说学校校庆让回去看看,本来是打算回的,凑巧的是那几天导师安排我预答辩,没有回来,心里面一直愧疚。之前也有几个学弟学妹联系过我,咨询过考研的事儿,也有个学妹之前报考南京理工大学进展的不顺利,不过最后算是有个好的归宿,去北方读研了。心里面积攒了一些想法,算是跟大家分享一下。1 考研的那些事儿1.1 考研之国内不想多说考研的方法论什么,其实市面上有很多的培训机构和考研书籍,买一两本看看或者报个班就知道怎么回事儿了。对于考研,我只能说,不要吝啬,尤其是复习资料,一本好的复习资料也许很贵,但是值得,别等你考不上了又埋怨你没有上过补习班,什么别人上了什么特别的班。同时,希望大家不要买那么多的资料,人民币再贬值那也是人民币啊,何况是爸妈的血汗钱,另外买太多的资料你真的没有时间全部做完。因此,总的来说资料少而精很重要。关于考研别的事情,就是选学校了。其实,我很烦那些所谓的专家给你讲的什么什么策略,一则,他们好多人当时上研究生的情况跟现在不一样,另外,他们好多人都一直在一个学校趴着,一直到上到博士毕业。所以,我都很少关注这些人的所谓“金玉良言”。我始终坚信“实用最好,有机会要超越”,意思是,每个人一定要在考研前弄清楚自己的情况,不要看别人报什么985,211自己也非要报考这些学校,你报了未必能考上,所以一定要选一个自己一次能考上的学校,既然努力了就要有成果,不要去做炮灰。那有的同学就说了,那我本科是三本,研究生再不上个211,985那还上什么研究生,有什么意义。我的回答说,如果你打算上个211,985研究生毕业就算了,那你还是别上了,意义不大。因为现在很多单位都查三代,即本硕博,更何况现在硕士研究生这么多,所以一个211,985学校的研究生优势没有多大,唯一的就是给你增加那么一点点的虚荣心,但是它能帮助你的生活又有多少?话说回来,如果有的同学基础好,是可以尝试报考985院校的,甚至中科院都没有问题,前提是报考院校一定要提前联系好导师,或者跟这些学校的研究生联系好,至少你应该在初试过线后联系他们,以确保你能在复试阶段公平对待,或者把握一些重要信息,这个是很关键的。1.2 考研之国外也许大家不太清楚一件事儿,就是国外现在有许多的大学提供奖学金给本科生读研,并且免除学杂费,甚至在有的国家本科生可以直接攻读博士学位,例如,美国,澳大利亚等。去国外的学校读博读研是不需要考试的,只需要平时的成绩,以及雅思或者托福成绩,如果去美国需要GRE,读商科需要GMAT成绩等等,只是考一次雅思/托福好贵啊,要1700RMB呢。一般雅思成绩考到7分(共9分)对本科生来说是很有优势的,不过6.5也没有问题啦。例如韩国的庆尚大学以及国立金乌工大学,现在就提供了这种类型的奖学金,项目是关于计算机网络的,见图2.图2 韩国庆尚大学不过申请日期已到,可以持续关注他们,也许他们明年还会招收新学生。欧洲也有很多国家招收带奖学金的硕士研究生,例如英国,荷兰,比利时,瑞典瑞士等等。大家可以上网关注一下。2 计算机科学之我见首先我想大声说,计算机不等于软件,不等于网络。我知道有很多的同学在考研或者申请学校的时候,关于专业报考,大多谈论的是,是做软件呢还是计算机网络呢,其实计算机已经发展这么多年,其基础框架和理论已趋于成熟,现在即便是做计算机基础理论研究的,也多不同于我们所想象中的那样,至少不同于我们所上的专业课那样,但终究,计算机它是一种计算工具,更多的时候我想,我们应该专注于使用计算机解决问题,关于计算机基础理论研究,就交给那些天才吧,我们这些平庸的人其实所做的工作,对于革新计算机作用不大,这是事实,无可否认。这种情况,同样适用于数学基础理论以及物理基础理论的研究。爱因斯坦所做的基础理论,虽已近百年,但它们的影响力至今无人能比,他的质能定理带领人类进入新纪元,开创了新天地。话说回来,现在学计算机都有哪些方向呢?我在仅作列举,详细内容可以自行百度。现在最火的要算机器学习(Machine Learning,ML)这个人工智能领域了,它强调机器的学习能力,智能化人类的生活,例如现在的无人机,无人驾驶的汽车,以及智能导航系统等。其实,ML没有大家想的那么高深,它多使用数学模型的方法来解决问题,这是与我们所学的软件工程最不同的地方。软件工程强调系统的逻辑与架构,鲜有数学模型出现,这一点可以从我们的专业课中体现,但实际情况是数学构成现代文明的基础,而计算机自身就是一种稍微高级的计算器,所以怎么能离开数学。ML的成功应用是数据挖掘,现在大家常常提起的什么我们进入了大数据时代啊等等,其潜在的含义就是数据挖掘在其中的应用。图像处理算是计算机领域目前最火的了,尤其是医学图像处理,这一点可以从欧洲以及北美每年大量招聘图像处理方面的硕士和博士可以看出,而且资助金额巨大。我曾经在江苏省大数据实验室待过一年,只是那时它不叫这个名字,而是视觉计算与机器人计算实验室。里面有个大牛叫做刘青山教授,他是南京信息工程大学信息与控制学院的院长,江苏省特聘教授与专家。刘教授在计算机图像处理方面是国内的专家,为人谦虚,如果有同学对计算机图像处理感兴趣,想报考南信大,找他绝对不会错!生物信息学也是最近比较热门的话题,其核心是利用计算机的方法进行生物信息处理,例如,DNA,RNA的信息处理等等。有很多同学对嵌入式和物联网感兴趣,只是这些方法与理论都相对陈旧,目前正在进行的是Cyber-Physical Systems(CPS,信息物理融合系统)的研究,物联网的概念已经提出很多年了,只是这个概念本身很空很抽象,让人摸不到头脑。CPS更加具体的提出了系统的结构和可能应用到场景,它是由德国联邦政府自然科学委员会提出的,欧洲现称之为第四代工业革命,Instrial 4.0.有的同学还是想做软件工程,但是,实话实说如果单纯读研去做软件工程,意义不大,更何况现在的软件方法都已转向使用数学方面来进行软件方面的设计与开发,例如,形式化验证,它提出系统运行时验证,用于分析基于状态的系统复杂行为研究。另外,我知道澳门大学和东南大学有些教师目前在多软件自动化,也很有意思,但它们不是做软件的,而是研究如何使软件工程自动化。南京大学计算机学院的教授在做软件智能化的研究,主要解决的问题是使软件能够自适应,自决策,自我修复等等。说起计算机网络,我自己了解不多,我知道南京邮电大学有些老师在做网络跨层优化机制方面的研究,很是有趣。它的确需要我们之前的计算机网络基础,但请注意跨出优化本身就是对计算机网络的革新,并不如我们当初认为的那样简单。意大利米兰大学有个课题组,他们专门做计算机网络方面的研究,其中一个有意思的研究方向就是基于博弈论的网络欺诈行为研究,注意这里的网络欺诈并不是指人为欺诈,而指网络自身,不同的网络终端接入网络会占用网络资源,如何合理分配资源是他们研究的重点。记得本科的时候学校给我们开了很多的Web课程,比如,JSP编程啊,Web程序设计啊等等。我们学了很多,到最后我们就做了一个网站。有段时间,我跑到南京大学,和他们软件学院的研究生和本科生交流过,他们在做Semantic Web,着实让我很意外,原来Web也可以玩的这么有意思。其实,这个Semantic Web的常见应用之一就是,我们百度的时候,百度的那个框下面会弹出很多相关的内容,或者你搜索一个东西后,服务器会返回一些东西给我们,但是这些内容都是按照相关性进行过排列的。有一次,我去找我们学校的一个女教授,请教一个问题,聊了许久,发现他们在做复杂网络方面的研究。请注意,这里的网络并不单指计算机网络,它亦表示社会网络以及其他复杂网络。我发现他们在使用我们本科学习的图论上面的数学方面研究微博上的以及其他社交媒体的内容,例如,可以通过建模一个区域的社交媒体分析最近的舆情动态等,这些都是很有趣的研究方向。我也联系过爱尔兰都柏林国立大学的Diane Payne研究员,她在这方面的研究卓有成效。我个人比较感兴趣的,也是我目前研究方向之一的就是智能计算(computational intelligence),它研究的内容核心是如何在逻辑编程或者方法无法解决问题的情况下来帮助计算机自主选择策略以解决问题。智能车与无人机很时髦,现在也很热,有打算读者方面研究生的同学需要有一点硬件基础和控制理论基础,如果会一些电路方面的理论就更好了。还有许多有趣的研究内容,我无法一一列举,只是想说明,计算机读研读博可以做的很多,它并不如我们之前所知的那样单调。3 科研之路一路走来异常艰辛,一是因为自己本科基础并不是很好,二则硕士导师的培养方式比较奇特,这让我很是辛苦,但经历过了,回过头来才发现一切都那么真实与美好。我的研究背景及其复杂,我在研究生三年,做过控制工程,超大型巡天望远镜的超低速控制(如图3),图3 南京紫金山天文台的大型天文望远镜做过图像处理,机器学习(图4),做过卫星资料同化,数据可视化,甚至磁悬浮都做过,图4 图像处理项目之一仿真图第三年才真正开始自己的研究方向的工作,复杂系统行为验证与自适应方法研究,但是我还是要感谢我的硕导总是在我最困难的时候帮助我,教导我,启发我,让我快速成长起来。现在回想起来其实我觉得自己最大的收获在于懂得如何去发现问题,解决问题,而不是仅仅拿到一张硕士文凭。个人觉得研究生阶段,最重要的是去真正脱离本科阶段的教条主义,努力大胆实践,你会发现很多有趣的东西。科研并不如大多数人想的那样,并不是整天做在那里做一些理论研究,我相信很多人至今仍有这个看法。其实,如果你真正的懂科研是怎么回事,你才发现这样的生活才是最有意义的,因为你每天都在脚踏实地的做一些有助于人类发展的事情而你自己又能得到一些发展,岂不是很好。科研工作是需要基于实践,而不是在纸上推导一下公式,即便是没有实际的项目,那也需要进行仿真模拟,也类似于实际工作。因为国内有些学者的差劲表现让大家对科研工作产生这么多误解,真是不应该啊。4 关于南京信息工程大学以及其他大家可以到网上搜索一下南京信息工程大学,虽然是双非学校,但其实力在江苏本科院校里面属于中上游,河南省除了郑州大学以外,目前难有其它大学可以与其匹敌,这主要指科研能力方面。据我所知2013年南京信息工程大学的国家科研拨款是2亿左右,郑州大学大概在2.8亿左右,具体可能有差距,但是河南其它高校的科研资助均在5000万,有的学校只有几百万,甚至个别学校国家都没有拨款。南京信息工程大学以气象学而闻名全国,其中气象学专业全国第一,实力超过清华大学和北京大学,以及其他985学校,而学校的其他专业,例如大气科学也很不错,国内现在31省市的气象局局长,副局长以及中央气象局局长郑国光都是南信大毕业的学生。国外很多知名大学的教授都是南信大的毕业生,例如耶鲁大学终身教授李旭辉本硕毕业与南信大,加拿大皇家科学院院士陈镜明等等。讲这些东西,并不是为了给南信大打广告,而是想告诉大家,一个大学的发展全靠校友,校友厉害了,学校自然名气就上去了,校友混差了,学校也好不到那儿去。南信大在国外知名度很高,这全靠了之前出去的一批校友,他们在美国,加拿大以及欧洲都卓有成就,学校自然有光。每年校庆,很多校友都回母校聚会并捐赠一部分钱建立奖学金,资助优异生出国深造等等。5 一些建议我希望学弟学妹们能看到这些建议,因为这些建议都是为了他们。心里面一直有些想法,很久了,本是打算回母校一趟,谈一谈,可是终究不知道怎么开口,便作罢,也许写出来会更好。(1)成功学院发展至今,硬件已经可以了,但是唯一缺乏的就是大师,因为说实话成功学院的科研氛围并不浓厚,希望能有业界大牛加盟成功学院,带领一批青年教师,引导学生进行“研究式”学习,“科研式”学习,我相信成功学院会很快超过河南其它高校,超过那些本科二批的不是什么大问题。我自己在成功学院待过四年,我深知其实很多的同学其实都是可造之才,只是没有合适的环境来发展他们的天赋,如果有老师带领他们,首先教会他们科研的方法,加之多多参加各类全国大学生比赛,例如,智能车大赛,数学建模大赛以及各类科技竞赛,这些比赛会在很大程度上激发大家的兴趣。要知道,拿到这些奖项对于大家读研和读博是很有帮助的,尤其是科技竞技类,一旦拿到大奖,以本科身份申请国外的学校都很简单,就算是毕业了工作,我相信这些经验都讲有益于他们的工作。(2)希望学院能常常要求一些业界大牛到学院做讲座(不是礼仪讲座,更不是思想教育讲座),这样能增加同学对外面世界的了解,知道别人现在都在做什么工作。希望学院的老师动用自己的关系,能联系自己的朋友,能常常到成功学院做做学术报告,也许刚开始大家都听不懂老师讲什么,但是这种影响是潜移默化的,大家的日后成才必定于此有关。(3)这个建议也许不行,但是我还是写了出来,希望学院能设立奖学金,帮助成绩优异的同学出国深造,我相信这对增加学校的知名度,帮助同学们建立广泛的人脉关系以及更好的发展学校都是很有帮助的。我相信以后出名的校友,或者事业做的很好的校友,捐赠学校是自然而然的事情,现在还没有人捐赠只能说明大家都没有多么高的成就。(4)希望学校能做一个“成功校友论坛”,类似于中央电视台的“开讲啦”,邀请成功校友回校跟大家聚一聚,聊一聊自己的工作,学习,生活经历,多多拉近校友之间的感情,这都有助于同学们的工作,继续深造等等。后话写了很多,很累,就此结束,以后有机会再继续聊下去!!关于出国的事情,我已做了另外一个文档,纯是一些简单的介绍,都是基于我的经历,大家可以看一看,也许有帮助。王国栋于 2014年11月26日,夜彩蛋:明天我会在公众号发布王国栋同学写的出国留学的经验和建议,后天会在公众号发布王国栋同学最近五年的经验心得。敬请留意。

夫至人者

两年网罗13位扫地僧,阿里达摩院最新架构完整曝光

乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI谁在驱动达摩院?阿里达摩院,这是马云一手发起创办、并且是退休前最看重的人才聚集地。号称要 3 年投入超1000 亿人民币,重点进行基础科学和颠覆式技术创新研究。如今,2年已过,达摩院驱动下,阿里也有了新标签新定位:2019年云栖大会上,阿里巴巴宣称已经成为中国最大的AI公司。每天AI调用超1万亿次,服务全球10亿人,日处理图像10亿张、视频120万小时、语音55万小时及自然语言5千亿句。实际上,2年源流演变,达摩院正在承载起阿里巴巴前沿技术中台的角色。一方面是探索前沿技术和基础研究,另一方面则为诸多业务输出技术,比如在平头哥AI芯片诞生中就功不可没。但达摩院中究竟聚集了怎样一批“扫地僧”?他们又都有怎样的司职、履历?我们开动挖掘机,一一梳理。5大领域,13个实验室达摩院下方,一共分为机器智能、数据计算、机器人、金融科技、X实验室(量子计算)5大领域。其中,最为强大的领域是机器智能领域,下辖5大实验室,分别是:语音实验室、视觉实验室、语言技术实验室、决策智能实验室、城市大脑实验室。不仅人才众多,也有大量研究成果问世。官方信息,截止2018年,已经在各个顶会/期刊发表论文53篇,斩获了12项世界冠军。其次是数据计算领域,下辖计算技术实验室、智能计算实验室和数据库与存储实验室。机器人领域,目前只有智能交通实验室。金融科技领域有金融智能实验室、区块链实验室和生物识别实验室。X研究领域,号称是是达摩院探索科技领域最前沿的技术的阵地,目前下设量子实验室。院长张建锋,十三“扫地僧”达摩院的各大实验室,大部分都有顶尖业内专家掌舵。他们或是来自阿里巴巴体系内的研究机构,或者是新近招揽加入。至今,阿里巴巴达摩院架构已经初步搭建完成,形成了以院长张建峰为核心,13名业内顶级专家汇聚的强大阵容。他们分别是:智能研究领域:金榕、鄢志杰、任小枫、司罗、华先胜数据计算领域:元尊、周靖人、李飞飞机器人领域:王刚金融科技领域:蒋国飞、漆远、张辉X研究领域:施尧耘也不难发现规律,都是找到具体领域的大牛,再以大牛招揽小牛的方式,不断壮大架构。目前组织架构中的每一个人,都足够能打。金榕达摩院智能研究领域负责人,也是达摩院常务负责人,直接向张建锋汇报。而且金榕也是阿里开建研究院的功勋老将了。2014年,阿里在硅谷成立 iDST(数据科学与技术研究院),金榕是最早加入的大牛之一,并且统领iDST美国研发中心。金榕长期致力于统计机器学习,重点关注大数据分析及其在信息检索、电子商务等领域中的应用,比如手机淘宝中的“拍立淘”,就是出自金榕团队之手。履历方面,金榕本科毕业于天津大学,硕士毕业于北京大学,是卡耐基梅隆大学计算机博士。加入阿里巴巴之前,他是美国密歇根州立大学终身教授,曾担任NIPS、SIGIR等顶级国际会议领域主席,及KDD、AAAI、IJCAI等顶级会议高级程序委员会委员。还曾获得过美国国家科学基金会NSF Career Award,有超过200位诺贝尔奖得主都获得过这个奖金的资助。鄢志杰达摩院语音实验室负责人。2008年博士毕业于中国科学技术大学,长期担任语音领域顶级学术会议及期刊专家评审,并拥有多项美国及 PCT 专利。也是IEEE senior member、及CCF语音对话与听觉专业组委员,此前曾任微软亚洲研究院语音团队主管研究员。现在主攻智能语音技术研发,其带队研发的成果阿里巴巴智能语音入选MIT Technology Review 2019年“全球十大突破性技术”,是唯一上榜的中国公司。任小枫达摩院视觉实验室负责人,目前也是高德首席科学家。任小枫是杭州人,本科毕业于浙江大学计算机专业,然后在斯坦福大学获得硕士学位,在加州大学伯克利分校博士学位。目前还是华盛顿大学计算机科学与工程系客座教授。2013年开始任职于亚马逊无人零售店Amazon Go部门,领导计算机视觉算法团队,是亚马逊最年轻的资深主任科学家之一。2016年加入阿里巴巴,担任iDST首席科学家和副院长。司罗达摩院语言技术实验室负责人。本科硕士都就读于清华大学,2006年毕业于卡内基梅隆大学,获得博士学位,之后进入普渡大学计算机系任教。数年内发表100余篇论文,并在2012年成为普度大学计算机系终身教授。先后担任ACM信息系统(TOIS),ACM 交互信息系统(TIIS)和信息处理与管理(IPM)编辑委员会的副主编,多次在国际学术会议担任重要职务。2014年,司罗结束8年的学术生涯,加入阿里巴巴担任iDST NLP团队负责人,带队打造AliNLP平台。华先胜达摩院城市大脑实验室负责人。高中毕业于黄冈中学,毕业后考入北京大学,2001年从北京大学毕业,获得应用数学博士学位,之后加入微软工作十四年。先是在微软亚洲研究院写了200篇以上的论文,之后调岗去必应做图片搜索引擎,最后在微软美国研究院做图像识别方面的应用研究。2015年,被老领导王坚挖角,加入阿里巴巴iDST,担任副院长,目前主要主要研发城市大脑、工业视觉、智能健康、智能设计等相关视觉智能技术。曾获选国际电气与电子工程协会院士(IEEE Fellow)、美国计算机协会ACM2015年度杰出科学家、MIT TR35大奖(全球35位35岁以下的杰出青年创新人物)等荣誉,也曾担任ACM Multimedia大会的程序委员会主席。在在国际会议和期刊上发表论文250余篇,拥有60余项授权专利,将担任ACM Multimedia 2020联席大会主席。元尊达摩院计算技术实验室负责人,也是阿里平头哥首席科学家。1997 年本科毕业于清华大学电子工程系,之后在普林斯顿大学深造,分别在1999年和2002年获得电机工程系硕士和博士学位。2000年博士毕业后,在IBM担任微电子部门全球设计中心的咨询工程师。2003年,加入宾夕法尼亚州州立大学计算机系,于2008年获得终身教职,2012年提升正教授。之后加入AMD,负责组建和领导AMD北京研发中心的研究部门。2014年转入加州大学圣芭芭拉分校,担任电机与计算机工程系(ECE)正教授。发表了近300篇研究论文,获得多个国际会议的最佳论文奖,以及NSF CAREER award,中国国家自然科学基金会海外及港澳学者合作研究基金等。2014年获得IEEE Fellow的荣誉。研究领域主要包括计算机体系结构、集成电路设计、电子设计自动化、和嵌入式系统设计。发表过近300篇期刊和会议论文。元尊是中国在芯片硬件架构领域的代表性人物,荣誉等身,实现了UCSB名人堂大满贯。周靖人达摩院智能计算实验室、大数据智能计算和搜索推荐平台负责人。中国科学技术大学毕业,2004年在哥伦比亚大学获得计算机博士学位,前微软研发合伙人。拥有16项相关专利,并在国际多家权威期刊发表了50多篇顶级论文,2018年入选IEEE Fellow。2015年,加入阿里巴巴,现任阿里巴巴集团副总裁,负责达摩院智能计算实验室、大数据智能计算平台、搜索推荐事业部。研究领域包括基于大规模分布式系统的数据计算处理方法和机器学习算法平台。李飞飞达摩院数据库与存储实验室负责人。高中毕业于清华大学附属中学,之后就读于清华大学、南洋理工大学。2007年博士毕业于波士顿大学。2011年进入犹他大学大任教,之后成为计算机系终身教授。曾获ACM、IEEE、Visa、Google、HP、华为等多个奖项。获IEEE ICDE 2014 10年最有影响力论文奖、ACM SIGMOD 2016最佳论文奖、ACM SIGMOD 2015最佳系统演示奖、IEEE ICDE 2004最佳论文奖、美国NSF Career Award、2018年ACM杰出科学家等。担任多个国际一流学术期刊和学术会议的编委、主席。2018年5月正式加入阿里巴巴,成为数据库团队负责人,也是达摩院数据库与存储实验室负责人,也负责阿里云主要研究方向为新一代分布式数据库、非结构化数据管理、数据安全、智能化数据库等。王刚达摩院智能交通实验室负责人,菜鸟ET实验室联合负责人。本科毕业于哈尔滨工业大学(2005年),2010年在伊利诺伊大学香槟分校获博士学位,曾任新加坡南洋理工大学终身教授,人工智能顶尖期刊IEEE TPAMI编委,ICCV 2017和CVPR 2018领域主席。2016年,因在深度神经网络设计上的贡献,成为MIT评选出的10名亚洲区35岁以下青年科技创新人才得主之一。2017年3月加入阿里巴巴人工智能实验室,负责机器学习、计算机视觉和自然语言理解的研发工作。2018年,阿里确认布局自动驾驶,由王刚率队研究。蒋国飞达摩院金融科技研究领域负责人,生物识别实验室负责人,蚂蚁金服副总裁。毕业于北京理工大学、达特茅斯学院。2004年加入NEC,之后工作12年8个月。2017年2月加入蚂蚁金服前,担任NEC集团的副总裁,负责NEC美国研究院。发表160多篇顶级论文,曾获SIGKDD等会议最佳论文奖,研究领域有物联网、大数据、人工智能、云计算、计算机安全和软件定义网络等。漆远达摩院金融智能实验室负责人,蚂蚁金服蚂蚁金服首席AI科学家、副总裁。2005年博士毕业于麻省理工学院,之后在MIT计算机与人工智能实验室进行博士后研究工作。2007年加入普渡大学,2013年成为普渡大学计算机科学系和统计系的终身(副)教授。担任过机器学习权威杂志Journal of Machine Learning Research的执行编辑以及机器学习会议ICML的领域主席,并获得微软牛顿研究奖和美国科学基金NSF Career奖。2014年加入阿里巴巴,也是iDST的创始人之一。2015年转岗到蚂蚁金服,负责打造建立金融智能中台等业务。张辉达摩院区块链实验室负责人,蚂蚁金服区块链部门负责人。1996年本科毕业于湖南大学,1999年获中国科学院硕士学位,2005年博士毕业于美国南加州大学,读博期间曾在贝尔实验室实习。博士毕业后,加入NEC工作十多年,曾担任NEC Labs America部门主管,专注于高性能分布式系统与网络的研究以及产品开发,特别是P2P网络算法。2017年8月加入蚂蚁金服,负责区块链部门。现在也是IEEE Senior Member,发表40多篇顶级学术论文。施尧耘达摩院量子实验室负责人。福建晋江人,1993年高中毕业于泉州五中,之后考入北京大学计算机系。1997年毕业之后前往普林斯顿大学攻读计算机博士。毕业后,先是在加州理工学院的量子信息中心做博士后研究后,之后加入密歇根大学安娜堡分校,历任电子工程和计算机科学助理教授、副教授和正教授。研究涉猎量子信息科学的多个领域,包括量子计算复杂度、量子计算经典模拟和量子密码学。2017年9月加入阿里巴巴,负责量子实验室的筹建与领导。达摩院人才思路和启示核心一句话:找具体领域最牛的人,再大牛招小牛。在达摩院成立以前,阿里在2014年就开始建立iDST等企业内部研究组织,招揽学术领域大牛展开前沿研究。而金榕、漆远、闵万里、华先胜、任小枫等都是那一时期加入阿里的。但企业内部设立研究院,全球都有通病和挑战:如何平衡研究部门和产品部门的关系?因为研究部门通常不承担营收压力,也多与实际业务脱节,属于花钱部门。但产品部门也有技术研究团队,或者直接与研究部门紧密配合。于是时日一久,有营收会赚钱的产品部门,可能就会在话语权上占据上风。这也是企业研究院风光招揽学术大牛,但后来难免得而复失的核心原因。不过在阿里达摩院,这个问题现在被解决得不错。一方面,因为马云亲自重视,而且放话:“活得要比阿里巴巴长”、“服务全世界至少20亿人口”、“必须面向未来、用科技解决未来的问题”。而且阿里体量和营收能力,现在并不担忧投入。另一方面,从达摩院建立第一天起,马云就强调要做有用的研究,不搞纯研究,与实际业务结合。阿里自身的多元业务和经济体,也提供了跑马场。之前达摩院定位,或许还处于阿里自说自话阶段,但现在2周年之后,可以更加清晰看出演变形成的角色:前沿技术研究中台、顶级人才中台。这个“中台”,可以各个业务提供支撑。于是一些交叉任职和负责人重心变动的现象,也就见怪不怪。比如漆远,因iDST而加入,也是达摩院一员,但同时目前更知名的身份是蚂蚁金服首席AI科学家、副总裁。以及任小枫,如今虽然还在列达摩院官网,但重心已迁移至高德业务中。此外,阿里也在探索达摩院在“虚”与“实”之间的平衡。比如核心打造了天猫精灵的阿里AI实验室,最初隶属达摩院。但伴随天猫精灵业务进展和承担业绩营收考核,在2018年11月的阿里架构调整中,阿里AI实验室转入了集团创新业务事业群,负责人陈丽娟(浅雪)也转向CEO张勇汇报。最后值得注意的是,虽然已经汇聚了众多垂直领域大牛,但达摩院依然还有多个关键职位空缺,比如数据计算领域、机器人领域、X研究领域的各大负责人等等。达摩院在其官网明晃晃放着这些空缺,像是一种昭示——剧透还将进入的新领域和新方向。也像一种人才吸引的方式:仍有上车机会,仍然虚位以待。

君在

西安紫光国芯在IEDM 2020发表 异质集成嵌入式DRAM(SeDRAM)论文

近日,西安紫光国芯半导体有限公司(以下简称“紫光国芯”)在第63届国际电子器件大会(IEDM 2020)上公开发表了技术论文——《采用3D混合键合技术具有34GB/s/1Gb带宽和0.88pJ/b能效接口的异质集成嵌入式LPDDR4/LPDDR4X DRAM》(A Stacked Embedded DRAM Array for LPDDR4/4Xusing Hybrid Bonding 3D Integration with 34GB/s/1Gb 0.88pJ/b Logic-to-MemoryInterface)。该论文的发表,是紫光国芯在超高带宽、超低功耗DRAM方向技术积累和持续创新的最新突破。受限于传统计算机体系的冯-诺依曼架构,存储器带宽与计算需求之间的鸿沟(即“存储墙”问题)日益突出。采用硅通孔(TSV)技术的高带宽存储器(HBM)是业界给出的一个可选解决方案,但其每数据管脚的工作频率仍然较高(约4Gbps),存在功耗较大的缺点。比如HBM采用了x10um级微凸块(Micro-Bump)堆叠DRAM,其数据IO数量有限且寄生电容和功耗较大,进而限制了带宽的增加。西安紫光国芯依托多年对存储器和ASIC体系结构的深入研究,开发完成了异质集成嵌入式DRAM平台(SeDRAM),提供了业界最高的单位带宽和能效,并设计实现了完全兼容国际JEDEC标准的的4Gbit LPDDR4芯片。图1. SeDRAM技术流程示意图紫光国芯在论文中介绍了SeDRAM平台的实现流程(如图1):首先,流片生产不同工艺下的DRAM存储晶圆(DRAM Wafer)和搭载有外围电路的逻辑晶圆(Logic Wafer),并通过平坦化、曝光和刻蚀等异质集成工艺,在两张晶圆上分别制成用于后续步骤的接触孔(LTVIA和LBVIA);然后,将逻辑晶圆翻转,通过 Cu-Cu 互连的方式,将两张晶圆直接键合;最后,将逻辑晶圆减薄至约3um厚度,并从逻辑晶圆背面开口完成PAD制作。相比于HBM的微凸块(MicroBump)工艺,通过直接键合方式的异质集成工艺,接触孔可达110,000个/mm2,实现了百倍量级的密度提升,而且连接电阻低至0.5欧姆。从而实现了从逻辑电路到存储阵列之间每Gbit高达34GB/s的带宽和0.88pJ/bit的能效。图2. 采用SeDRAM技术开发的4Gb LPDDR4产品的晶圆(左)和版图(右)紫光国芯开发的4Gbit LPDDR4是业内首款异质集成的标准接口DRAM产品(如图2)。该产品为双通道,数据位宽X16,在每颗芯片中集成超过64,000个异质集成接触孔。在晶圆测试阶段,该产品表现出优异性能,读取时间超过测试机台能支持的最快时钟周期0.56ns。在颗粒测试阶段,该产品在包括高温(95℃),高压(VDD2=1.2v, VDD1=2v)以及低压(VDD2=1.05v, VDD1=1.65v)在内的多个测试条件下,通过了业界最高水平4266Mbps数据率的测试。该产品在高温测试条件下,保持时间达到96ms,与同等DRAM工艺下的传统平面产品相比更具优势。图3. 4Gb LPDDR4产品的读取时间测试结果(左)和数据保持时间测试结果(右)感谢武汉新芯和台湾力积电分别支持逻辑芯片及异质集成、和存储芯片代工合作,论文得以在IEDM 2020顺利发表,这是紫光国芯在超高带宽、超低功耗DRAM方向技术积累和持续创新的最新突破。通过4Gbit LPDDR4产品的开发,SeDRAM平台不仅为传统DRAM产品的开发提供了新路径,更为人工智能(AI)和高性能计算(HPC)等领域的高带宽、高能效需求提供了有效解决方案。