手机浏览器扫描二维码访问
问题出在哪里?
吴恩达表述了困惑,也谈了谈易科内部的解决方向。
参会的一部分人赞同易科的解题思路,但谷歌方面却出现了不同的声音。
“为什么非要使用循环神经网络?”
谷歌的乌思克尔特本来正在休假,但因为对DL的交流感兴趣便报名过来,“为什么不试试自注意力Self-attention?我认为它对NLP领域将会有更优秀的改变。”
“Self-attention可以进行更好的并行计算能力,而不是像RNN那样进行顺序处理,它还能直接比较序列中任意两个位置的向量表示,这样就能更有效的捕捉和利用长距离依赖关系,但RNN不行!”
“RNN虽然理论上也能捕捉长距离依赖,但实际上往往因梯度消失或爆炸问题而难以实现!”
乌思克尔特研究的是谷歌的机器翻译改进方法,他的父亲就是计算语言学的教授,尽管刚开始进入谷歌时对语言翻译的工作很不喜欢,但最终还是专注于这一领域的研究,而他近期正在琢磨的便是“自注意力Self-attention”
在相关领域的改善。
吴恩达很快明白这位谷歌研究员的意思,也在几经思索后给予反驳:“自注意力没有显式地编码位置信息,这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异,而在自然语言的处理中,词语的语义又与位置紧密相关。”
“而且,自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量,这极可能导致过拟合。”
他这边刚说话,谷歌自家DL的席尔瓦也反驳了乌思克尔特提出的新路线,其中一个重要原因在于RNN的循环结构太符合大家对序列数据处理的理解,即当前状态依赖于过去的信息,而自注意力的全局依赖一看就不如RNN直观。
易科与谷歌的两大领导者都批评了自注意力Self-attention,但乌思克尔特并不服气,他直接登台阐述自己更多的想法。
而且,针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路,比如,引入位置编码,比如,进行多头注意力的研究。
有人觉得眼前一亮,有人觉得异想天开,还有人现场进行快速的分析和演算。
第一排的方卓极其茫然,他扭头询问旁边沉思的英伟达掌门人黄仁勋:“他们在讨论什么?”
“乌思克尔特说,GPU是最适合深度学习技术的硬件。”
黄仁勋给出一句总结。
方卓:“???”
他纳闷道:“我怎么完全没听到类似的表述?”
“因为自注意力Self-Attention更加强调并行处理,这是GPU更擅长的。”
黄仁勋笑道,“至于其他的,不重要,我们只要提取对我们有利的就好。”
方卓观察着现场的气氛,这已经不是知识的交流,更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是,等到晚上,方卓还是当面询问了这次参与辩论的吴恩达,想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
“方总,等我们想一想再写一份报告吧。”
他思考许久之后由衷地说道,“这样的交流或许应该多来几次,他那个自注意力,我现在想想,缺点也不是不能解决。”
方卓耐心的询问:“那我们应该做些什么?”
吴恩达回味今天的整场辩论,思考着不同人提出的不同想法,喃喃道:“或许,我们需要先试试一种新型软件,让它可以和计算机对话。”
方卓“嗯”
了一声,表达一贯的支持:“行,开始吧。”
吴恩达哭笑不得,真心地说道:“方总,你给我们的支持真的太优渥了。”
“我也就只能给我所能给的东西。”
方卓笑道,“试试呗,如果人手不够,那就国内再招招人,我是朴素的认知哈,既然能引起争论,新的东西就有可取之处。”
吴恩达竖起拇指,喜欢老板的这种支持。
只是,易科的现状并不是那么美妙。
他提出了这方面的小小担忧。
方卓不以为意地说道:“你们这些投入才多少钱,正好英伟达的一批GPU快到货了,先用看吧,我看黄仁勋今天笑得特别开心。”
甜心都想要(NPH)简介emspemspemspemsp…emspemsp…emspemsp次奥!她什么都没干!她昨天晚上被两个男人干了!!!!emspemsp那两个男人还都是她的新郎官!!!emspemsp这尼玛是个什么样的丧病世界啊!!!emspemsp不过在这男多女少的世界体验了一段时...
来自22世纪的顶级特工一朝穿越竟成了三个崽子的后娘。这三个崽子在未来都是超级大反派!还把她给抓了回去,抽筋剥皮!为了活下去,李瑾瑜决定要好好教导三个孩子,绝不能让自己下场凄惨!好在她有空间,一手发家致富,一手斗极品,只是捡来的那个男人有些古怪,本想富可敌国之后偷偷做咸鱼,却不曾想,又被男人给拉入更大漩涡之中...
蓝星资源枯竭,人类濒临灭绝,国运禁地降临。每个国家挑选三人进入禁地,选手与国家绑定,所获得的资源将百倍具现于现实。龙国三名选手绿色卷发萝莉,脚踩恨天高的白发花瓶女,以及一个头戴奶牛帽子,手上满是纹身的不良青年!看到代表本国的三名选手,几亿龙国观众直接傻眼。小萝莉,花瓶,不良青年?天要亡我龙国啊!其他国家纷纷嘲讽龙国气运已尽。然而,随着时间的推移,人们发现,小萝莉可腾空操纵万物,念动力碾压一切,白发花瓶手持银月唐刀杀敌如麻,犹如女武神!最为恐怖的是那个自称死亡外科医生的不良青年,手指转动间,竟能...
武大郎为何帅到出奇?潘金莲为何贤惠温婉?西门庆如何成为大善人?武植轻叹口气,看向旁边熟睡的潘金莲怎么都想不通,老子一个普普通通的穿越者,本来只想老婆孩子热炕头的过自己的小日子。怎么会忽然就成了潘金莲她相公了呢?...
介绍所向披靡收徒弟女帝叛逆弟子系统陈道玄在进入这个世界后,得到了一个新的传承,那就是每一次有人拜师都会得到丰厚的报酬,而且每次拜师都会有一万次的暴击率。大徒弟师父一句话,我愿意为师父杀戮天下!二徒弟师父到底有多强?三徒弟妈的,都说我是剑术最强的人,怎么连师父的百分之一都比不上呢?各大圣地纷纷道如果我们算是圣地的话,那么此人的实力,堪比天庭!天空中的众仙连我们都不如,恐怕早就成圣了吧!...
迷迷糊糊中,陈风似乎听到了一个声音。叮,滴血绑定成功,超神系统激活。一段精彩的超神人生从此开启。调戏调戏美女,没事开开公司。不知不觉间,陈风已经可以吊打全世界了,...