Jeff Dean谈2020年机器学习趋势：多任务和多模态会有大进展

乾明 编辑整理

量子位 报道 | 公众号 QbitAI

2020年，机器学习将会往何处去？

加拿大温哥华举办的NeurIPS期间，在接受外媒VB采访时，Jeff Dean交出了自己的展望。

他认为，在多任务学习和多模态学习将会有很大进展，以及会出现更加有趣的设备，让机器学习模型的作用更好地发挥出来。

此外，他还谈到了如何利用机器学习构建AI芯片、以及谷歌对BERT的看法等等。

作为谷歌AI的掌门人，他的思考对于从业者来说，有极大的参考价值。量子位编译如下：

谈BERT：大家有点过分强调SOTA了

问：对BERT来说，今年是重要的一年。到处都是 BERT，还有各种各样的 BERT。BERT有什么变化？接下来会有什么样的变化？

Jeff Dean：BERT很有趣，是因为它建立在其他研究成果的进展之上。他在某种程度上取决于一年前完成的Transformer工作。

Transformer的工作，实际上是在处理早期基于LSTM的序列模型看到的问题。我认为，整个研究线索在实际生产机器学习模型方面非常有成效。

现在让我们去处理更加复杂的NLP任务，我们能够做得更多。在一堆/任意文本上，对预训练的BERT进行微调，对于许多 NLP 问题来说，这是一个很好的范例，我们希望能解决这些问题。

因此在谷歌内部，我们也在自己的产品中看到了不同的应用场景，比如我们最近在搜索引擎中应用了BERT来提高搜索质量。

我认为，你也应该在更加广泛场景中看到了这一点。我们仍然希望看到，能做更多上下文的模型。

就像现在，BERT和其他模型在数百个单词文本上工作得很好，但在上万个单词上就很难处理好了。

这是一个有趣的方向。我认为多模态模型非常有趣。可以用有趣的方式将文本与图像、音频或视频结合起来。

我们已经在这方面做了一些工作，社区的其他成员也做了一些工作，但我认为这在未来会变得更加重要。我相信，人们会基于BERT进行改进。

因此，基础研究也将继续下去。

问：是的，我看到了很多MT-DNN、 RoBERTta之类的东西。

Jeff Dean：是的，它们每个都有一个可爱的名字。但我确实认为，大家有点过分强调在某些特定问题上取得前所未有的、稍微好一点的、最先进的结果。

以及对完全不同的解决问题的方法有点缺乏欣赏。因为很难，这些方法可能没有达到最先进的水平，但它们是一个非常值得探索的领域。

问：比如鲁棒性？

Jeff Dean：是的，或者“是认为用完全不同的方式来解决一个问题很重要，并看到了希望”。如果人们追求这些方向，那将会很有趣。

问：而不是试图登上GLUE排行榜的榜首？

Jeff Dean：是的。

谈AI芯片：后摩尔定律时代，专用芯片很有效

问：在后摩尔定律的世界里，需要记住哪些东西？

Jeff Dean：用专门的芯片而不是用CPU来做非通用的计算，已经被证明非常有效。

比如TPU或者GPU，虽然有很多限制，但它们是围绕着机器学习计算需要做什么而设计的，相对于通用GPU，这带来了很大的性能优势。

因此，我们很难看到过去那种算力的大幅度增长，但我们正在通过专业化，来获得更大的架构优势。

问：对机器学习在创建机器学习硬件方面的应用，你能详细说说吗？

Jeff Dean：在将机器学习用到ASIC芯片设计方面，我们已经做了一些早期工作，尤其是晶体管布局和它们如何连接的。

基本上，现在在设计过程中，已经有一些工具可以帮助布局，但也需要有人工布局和布线专家，来完成多次迭代。

从你想要的设计开始，到把它放在一个芯片上，并在面积、功率和导线长度方面有正确的限制，同时还要满足所有设计规划或制作工艺，这通常需要一个多星期的时间。

所以事实证明，在一些工作中，我们可以使用机器学习来做更多的自动布局和布线。

我们基本上可以有一个机器学习模型，去针对特定芯片玩ASIC放置的游戏。我们内部一直在试验的一些芯片上，这也取得了不错的结果。

谈2020年：多任务学习和多模态学习会有大进展

问：你认为在2020年人工智能领域会出现哪些趋势或里程碑？

Jeff Dean：我认为，在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。

而且我认为，将会有越来越有效的设备（手机或其他类型的设备）出现，来让模型更有效地发挥作用。

此外，与人工智能原则相关的工作显然是重要的。但对于谷歌来说，我们是一个足够大的研究机构，我们有很多不同的推动力，很难说只有一个。

但总的来说，我们将进一步发展最先进的技术，进行基础的基础研究，以提高我们在许多重要领域的能力，比如NLP、语言模型或多模态的东西。

同时，我们也会与我们的同事和产品团队合作，为产品应用做一些研究，使他们能够构建有趣的功能和产品。

我们将做一些谷歌目前还没有，但用了机器学习会很有趣的应用，比如我们一直在做的芯片设计工作。

问：比如日常的机器人？

Jeff Dean：是的，我们在机器人研究方面做了大量的工作。我认为，让机器人在某种随意的环境中工作，真的是一个很难解决的问题。

但在过去的几年里，我们在这方面也取得了相当大的进展，我认为这也是一个有趣的研究方向。我们正在努力推进。

源报道链接：

https://venturebeat.com/2019/12/13/google-ai-chief-jeff-dean-interview-machine-learning-trends-in-2020/