年,百度成立百度研究院及下属深度学习研究院IDL,将深度学习应用于语音识别和图像识别检索,以及广告CTR预测点击率预测,pCTR,其中图像检索达到国际领先水平。深度学习的方向还是不错的。目前,深度学习在生产场景中的应用越来越多。相信随着产业互联网的发展,深度学习方向的人才需求会逐渐释放。

源于人脑的深度学习,到底怎样学习的?

源于人脑的深度学习,到底是怎样学习的

摘要 深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别图像识别和检索自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题,近年来以层次化逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望,并在多个应用领域获得了成功。

深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石,已有多个针对不同深度模型的开源实现,GoogleFacebook百度腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法,深度学习引爆的这场革命,将人工智能带上了一个新的台阶,将对一大批产品和服务产生深远影响

1 深度学习的革命人工智能(ArTIficial Intelligence),试图理解智能的实质,并制造出能以人类智能相似的方式做出反应的智能机器。如果说机器是人类手的延伸交通工具是人类腿的延伸,那么人工智能就是人类大脑的延伸,甚至可以帮助人类自我进化,超越自我。人工智能也是计算机领域最前沿和最具神秘色彩的学科,科学家希望制造出代替人类思考的智能机器,艺术家将这一题材写进小说,搬上银幕,引发人们无限的遐想。

然而,作为一门严肃的学科,人工智能在过去的半个多世纪中发展却不算顺利。过去的很多努力还是基于某些预设规则的快速搜索和推理,离真正的智能还有相当的距离,或者说距离创造像人类一样具有抽象学习能力的机器还很遥远。近年来,深度学习Deep Learning直接尝试解决抽象认知的难题,并取得了突破性的进展。

深度学习引爆的这场革命,将人工智能带上了一个新的台阶,不仅学术意义巨大,而且实用性很强,工业界也开始了大规模的投入,一大批产品将从中获益。2006年,机器学习泰斗多伦多大学计算机系教授Geoffery Hinton在Science发表文章[1],提出基于深度信念网络Deep Belief Networks, DBN可使用非监督的逐层贪心训练算法,为训练深度神经网络带来了希望。

2012年,Hinton又带领学生在目前最大的图像数据库ImageNet上,对分类问题取得了惊人的结果[2],将Top5错误率由26%大幅降低至15%。2012年,由人工智能和机器学习顶级学者Andrew Ng和分布式系统顶级专家Jeff Dean领衔的梦幻阵容,开始打造Google Brain项目,用包含16000个CPU核的并行计算平台训练超过10亿个神经元的深度神经网络,在语音识别和图像识别等领域取得了突破性的进展[3]。

该系统通过分析YouTube上选取的视频,采用无监督的方式训练深度神经网络,可将图像自动聚类。在系统中输入cat后,结果在没有外界干涉的条件下,识别出了猫脸。2012年,微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同声传译系统[4],将他的英文演讲实时转换成与他音色相近字正腔圆的中文演讲。

同声传译需要三个步骤:语音识别、机器翻译和语音合成。这套系统是一站式流畅系统,流畅效果赢得了一致认可。深度学习是这个系统中的关键技术。2013年,谷歌收购了一家名为DNN研究的神经网络初创公司,该公司只有三个人,Geoffrey Hinton和他的两个学生。这次收购不涉及任何产品或服务,只是希望Hinton能把深度学习打造成为支撑Google未来的核心技术。


文章TAG:百度深度学习研究院 怎么样  深度  学习  人脑  百度  研究院  
下一篇