您的位置: 首页 > EXCEL技巧 > Excel综合 >

2018年深度学习的10个发展预测

时间:2018-01-04 整理:docExcel.net
我有一种预感,2018 年可能是一切都发生戏剧性变化的一年。2017 年深度学习取得的惊人突破将在 2018 年以一种非常有力的方式延续下去。2017 年的研究工作将会转移到日常的软件应用中。
像去年那样,我整理了一份 2018 年深度学习的预测清单。
1、大部分深度学习硬件初创公司会失败
许多深度学习硬件创业公司将开始在 2018 年最终交付他们的成品。大部分走向萧条,因为他们没有提供好的软件来支持新解决方案。这些公司拥有硬件作为他们的 DNA。不幸的是,在深度学习领域,软件也同样重要。这些创业公司大多不懂软件,也不理解开发软件的成本。这些公司可能会交付产品,但不会运行良久。
易实现的收缩阵列(systolic array)解决方案已经被采用,因此不会有 2017 年那样的 10 倍性能升级。研究人员将这些 tensor cores 不仅用于推断,还用于加快训练速度。
英特尔的解决方案将继续被推迟,而且可能会令人失望。记录显示英特尔无法在 2017 年中期发布,交付时间难以预测,这太迟了,而且会很糟糕。
谷歌将继续以 TPU 的开发项目给世界带来惊喜。或许,谷歌会通过将其 IP 授权给其他半导体厂商来涉足硬件业务。如果它继续成为除英伟达以外唯一真正的玩家,这将是有意义的。
2、基于新随机梯度下降(SGD)的元学习
2017 年,元学习领域的大量研究成果出现。随着研究群体对元学习的整体理解能力加强,随机梯度下降(SGD)的旧范式将被搁置,取而代之的是一种更有效的方法,兼具开发和探索性。
非监督学习的进步将是渐进的,但主要是由元学习算法驱动的。
3、生成模型驱动了一种新的建模方法
生成模型不断发展。目前,大多数研究都是在生成图像和语音方面进行的。不过,我们应当看到这些方法结合工具被用于复杂系统的建模。其中的一个应用领域是经济建模。
4、 自对弈 (Self-play)是自动的知识创造
AlphaGo Zero 和 AlphaZero 之间从零开始学习到 自对弈 学习是一次巨大的飞跃,在我看来,它和深度学习的到来有着同样的影响。深度学习发现了通用函数近似器(Universal Function Approximators)。强化学习 自对弈 发现了普遍的知识创造。
期待看到更多与 自对弈 (Self-play)相关的进步。
5、直觉机器将弥合语义鸿沟
这是我最大胆的预测。我们将弥合直觉机器和理性机器之间的语义鸿沟。
双过程理论(两个认知机器的概念,一个是无模型的,另一个是基于模型的)将会是更普遍的概念,即我们应该如何构建新的人工智能。在 2018 年,人工直觉的概念将不再是一个边缘概念,而是一个普遍接受的概念。
6、解释能力(Explainability)是无法实现的,我们只能假装
解释能力存在两个问题。更常见的问题是,解释对人们来说有太多的规则需要去掌握。第二个问题不太为人所知,那就是机器将会创造出完全陌生的概念,无法解释。我们已经在 AlphaGo Zero 和 Alpha Zero 的战略中看到了这一点。人类会观察到,此举是非常规的,但他们可能没有能力去理解这一举动背后的逻辑。
在我看来,这是一个无法解决的问题。取而代之的是,机器将变得非常善于 伪装解释 。简而言之,可解释的机器的目的是理解一个人能够自如地理解或能从直觉上理解的各种解释。然而,在大多数情况下,对人类来说,完整的解释是不可能的。
我们必须通过创造 假解释 来在深度学习中取得进展。
7、深度学习研究信息将减少
2017 年对于从事深度学习研究的人来说已经很困难了。提交到 ICLR 2018 会议的论文数量约为4,000 篇。一个研究人员每天要阅读 10 篇论文,仅仅是为了能与会议同步。
在这个领域,问题变得更加严重,因为所有的理论框架都在不断完善之中。为了在理论空间上取得进步,我们需要寻找更先进的数学知识,让我们有更好的洞察力。这将是一项艰苦的工作,因为大多数深度学习研究人员没有相应的数学背景来理解这类系统的复杂性。深度学习需要来自复杂性理论的研究人员,但这种类型的研究人员却很少。
由于论文太多,理论也不完善,我们只能看到今天我们所处的不受欢迎的状态。
此外,人工智能(AGI)的总体路线图也缺失了。这个理论很弱,因此,我们能做的最好的事情就是创建一个包含与人类认知相关的里程碑的路线图。我们只有一个源自认知心理学的推测理论的框架。这是一种糟糕的情况,因为来自这些领域的经验证据充其量只能是零星的。
深度学习研究论文在 2018 年可能会增加两倍或四倍。
8、工业化通过教学环境进行
深度学习系统的发展,是通过具体的教学环境的发展而实现的。我在这里和这里更详细地讨论这个问题。如果你想找到教学技巧的最高级形式,你只需要看看学习网络是如何训练的。我们都希望在这一领域取得更多进展。
预计将有更多公司披露其内部基础设施,以说明他们如何大规模部署深度学习。
9、对话认知产生
我们衡量 AGI 进展的方法是过时的。需要一种新的范式来解决现实世界中的动态(即非平稳)复杂性。我们应该在新的一年里看到更多关于这个新领域的报道。我将在 3 月 1 日至 2 日在阿姆斯特丹举行的信息能源 2018 上谈论这种新的对话认知范式。
10、对人工智能伦理使用的需求将会增加。
如今,人们越来越意识到自动化失控造成的意外会带来的灾难性后果。我们今天在 Facebook、Twitter、谷歌、亚马逊等网站上发现的简单自动化可能会对社会产生不必要的影响。
我们需要理解部署能够预测人类行为的机器的伦理道德。面部识别是我们掌握的最危险的能力之一。能够生成与现实难以区分的媒体的算法将会成为一个大问题。我们作为社会的一员,需要开始把人工智能仅仅作为一个造福社会的整体,而不是作为一种增加不平等的武器。
预计在接下来的一年里会有更多关于道德的讨论。然而,不要期待新的监管规定。在理解人工智能对社会的影响方面,政策制定者仍然落后。我不指望他们停止玩弄政治,开始解决社会真正的问题。美国人口已经成为众多安全漏洞的受害者,但我们还没有看到任何新的立法或倡议来解决这个严重的问题。所以不要屏住呼吸,我们的领导人会突然发现智慧。
准备迎接冲击,这就是我现在所拥有的一切。2018 年将是重要的一年,我们最好系紧安全带,准备迎接冲击。
Carlos E. Perez 是 人工直觉 和 深度学习 手册的作者,也是 Intuition Machine 公司的创始人。
库兹韦尔:2029年,机器将达到人类的智能水平 问题:库兹韦尔:2029年,机器将达到人类的智能水平
回答:...年,机器将达到人类的智能水平;到 2045 年,人与机器将深度融合,那将标志着奇点时刻的到来。” 库兹韦尔是《时代周刊》的封面人物,比尔·盖茨称赞他为“预测人工智能最准的未来学家”,过去 30 年,他对...
亚马逊AWS全球副总裁:云计算市场不会赢家通吃 问题:亚马逊AWS全球副总裁:云计算市场不会赢家通吃
回答:...享说,亚马逊 AWS 作为全球最大的公有云服务,其广度和深度遥遥领先于很多跨国公司,包括谷歌和微软。AWS 能提供超过 40 多种服务,存储和计算只是其中的两项。 凯尔曼认为,云计算是个数万亿美元的市场,不会出现赢家通...
Gartner预测2015年的十大IT战略发展趋势 问题:Gartner预测2015年的十大IT战略发展趋势
回答:Gartner Symposium/ITxpo 技术峰会正在 Orlando 举行,和往常一样,他们的 IT 专家已经分析出下一年信息技术的发展趋势的10个方向,战略性技术趋势早已被定义为对组织有着重要影响力的一个成分。下面一起来看看这些趋势的大体内容...
深度解析上海互联网产业为何沉沦 问题:深度解析上海互联网产业为何沉沦
回答: 腾讯科技-雷建平 3 月 5 日报道 曾经,上海为何出不了马云的讨论火热一时,这代表着上海上下希望发展好互联网的殷切希望。不过,8 年时间过去,上海不但没有出现马云,整个互联网产业发展反而让人忧虑。 近些年,上海...
吴恩达:不必担心机器人会掌控世界 问题:吴恩达:不必担心机器人会掌控世界
回答:...首席科学家吴恩达在论坛上发表了题为“人工智能与深度学习”的主题演讲,并在会后接受了新浪科技的采访。 吴恩达提到,“我们最近决定看看,以神经网络取代传统语音识别软件。世界走向移动设备,想象一下我...
深度对决,未来的苹果和谷歌到底哪家强 问题:深度对决,未来的苹果和谷歌到底哪家强
回答: 日前,前苹果公司 CEO 约翰·斯卡利称,他认为在科技领域中作出下一个重大创新的很可能不会是苹果公司,而会是谷歌等其他公司。他认为谷歌未来作出重大创新的可能性很可能高于苹果等公司,苹果还留在老路上,只是...
相关推荐: