顶点小说

手机浏览器扫描二维码访问

第249章 弱小(第2页)

问题出在哪里?

吴恩达表述了困惑,也谈了谈易科内部的解决方向。

参会的一部分人赞同易科的解题思路,但谷歌方面却出现了不同的声音。

“为什么非要使用循环神经网络?”

谷歌的乌思克尔特本来正在休假,但因为对DL的交流感兴趣便报名过来,“为什么不试试自注意力Self-attention?我认为它对NLP领域将会有更优秀的改变。”

“Self-attention可以进行更好的并行计算能力,而不是像RNN那样进行顺序处理,它还能直接比较序列中任意两个位置的向量表示,这样就能更有效的捕捉和利用长距离依赖关系,但RNN不行!”

“RNN虽然理论上也能捕捉长距离依赖,但实际上往往因梯度消失或爆炸问题而难以实现!”

乌思克尔特研究的是谷歌的机器翻译改进方法,他的父亲就是计算语言学的教授,尽管刚开始进入谷歌时对语言翻译的工作很不喜欢,但最终还是专注于这一领域的研究,而他近期正在琢磨的便是“自注意力Self-attention”

在相关领域的改善。

吴恩达很快明白这位谷歌研究员的意思,也在几经思索后给予反驳:“自注意力没有显式地编码位置信息,这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异,而在自然语言的处理中,词语的语义又与位置紧密相关。”

“而且,自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量,这极可能导致过拟合。”

他这边刚说话,谷歌自家DL的席尔瓦也反驳了乌思克尔特提出的新路线,其中一个重要原因在于RNN的循环结构太符合大家对序列数据处理的理解,即当前状态依赖于过去的信息,而自注意力的全局依赖一看就不如RNN直观。

易科与谷歌的两大领导者都批评了自注意力Self-attention,但乌思克尔特并不服气,他直接登台阐述自己更多的想法。

而且,针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路,比如,引入位置编码,比如,进行多头注意力的研究。

有人觉得眼前一亮,有人觉得异想天开,还有人现场进行快速的分析和演算。

第一排的方卓极其茫然,他扭头询问旁边沉思的英伟达掌门人黄仁勋:“他们在讨论什么?”

“乌思克尔特说,GPU是最适合深度学习技术的硬件。”

黄仁勋给出一句总结。

方卓:“???”

他纳闷道:“我怎么完全没听到类似的表述?”

“因为自注意力Self-Attention更加强调并行处理,这是GPU更擅长的。”

黄仁勋笑道,“至于其他的,不重要,我们只要提取对我们有利的就好。”

方卓观察着现场的气氛,这已经不是知识的交流,更像是知识的火拼了。

他默默的收起自己在这种场合本就不多的存在感。

只是,等到晚上,方卓还是当面询问了这次参与辩论的吴恩达,想知道这场面红耳赤的讨论都有些什么东西。

吴恩达真的很难和方总解释发生了什么。

“方总,等我们想一想再写一份报告吧。”

他思考许久之后由衷地说道,“这样的交流或许应该多来几次,他那个自注意力,我现在想想,缺点也不是不能解决。”

方卓耐心的询问:“那我们应该做些什么?”

吴恩达回味今天的整场辩论,思考着不同人提出的不同想法,喃喃道:“或许,我们需要先试试一种新型软件,让它可以和计算机对话。”

方卓“嗯”

了一声,表达一贯的支持:“行,开始吧。”

吴恩达哭笑不得,真心地说道:“方总,你给我们的支持真的太优渥了。”

“我也就只能给我所能给的东西。”

方卓笑道,“试试呗,如果人手不够,那就国内再招招人,我是朴素的认知哈,既然能引起争论,新的东西就有可取之处。”

吴恩达竖起拇指,喜欢老板的这种支持。

只是,易科的现状并不是那么美妙。

他提出了这方面的小小担忧。

方卓不以为意地说道:“你们这些投入才多少钱,正好英伟达的一批GPU快到货了,先用看吧,我看黄仁勋今天笑得特别开心。”

热门小说推荐
黑尘世纪

黑尘世纪

未来的世界中人类由于不可调和的理念冲突分裂成为对立的泰伦和塞伯利安两个新种族爆发了以灭绝对方为目的的灭族战争,战败的泰伦一方为了弥补压倒性的战力差距生产了大量克隆士兵作为兵源,然而战争中克隆士兵大批叛变,泰伦战败的形势已经不可逆转,主角作为最后保持忠诚的克隆士兵参与了保存泰伦最后火种的计划。计划即将施行时敌对派系塞伯利安来袭,主角尽管努力抵抗依然没能保存下大多数准备冷冻储存挨过接下来几千年的泰伦人,绝望中最后一位泰伦生存者将自己的身体和主角对换寻求一死,主角成了唯一在战争中幸存下来的战败者。几千年后时光荏苒,主角在巧合下被新世界的人类唤醒,赫然发现世界文明已经退化成原始的形态,而原本与泰伦争夺地球的塞伯利安人也离开了地表在太空中对地上发生的一切呈观望态势,主角为了追寻自己冷冻睡眠这几千年地上都发生了什么,跟唤醒自己的冒险者一起踏上了一段身不由己的奇幻之旅。...

钦天监快出手吧国家瞒不住了

钦天监快出手吧国家瞒不住了

张晨穿越诡异世界,联手小哥,重铸钦天监!天不诛之妖,我钦天监来诛!地不填之堑,我钦天监来填!死亡公路,车祸频发!关注高速官方,立镇魂石,颂往生经!地铁塌陷,无法通车!关注城建官方,打七星钉,刻穷奇像!水库命案频发,闸门松动报警!关注水利官方,以青铜铸霸下,托铜棺沉于湖底!长江屠蛟,昆仑镇魔!西出蛮荒之地,东临海天之巅!凡九州之域,钦天监之辖,神魔皆避!...

穿成男主绿茶前妻后,她投怀送抱

穿成男主绿茶前妻后,她投怀送抱

年代团宠学霸萌宝 沈溪穿书后,发现自己是个抛夫弃子的恶毒女配角色。  原主是个下乡来的城里知青,嫁给男主后,得到回城的机会,果断抛夫弃子,跟城里的小白脸跑了。  沈溪了解剧情走向后,差点一巴掌拍死自己。  一双儿女那么可爱,她竟然嫌弃?  丈夫身材好,颜值好,她还嫌弃人家身强力壮?  霍明川看着越发温柔细致的媳妇儿,有点把持不住了。  乡下糙汉泥腿子vs城...

离谱你这陪玩把女老板全拿捏了

离谱你这陪玩把女老板全拿捏了

都市电竞日常直播陪玩代练无脑爽文林天穿越蓝星,这里全民都在玩王者。但没想到原主身患绝症,只剩七天可活。绑定游戏系统后,他成为无敌全能选手,且做任务就能加生命。任务1给女老板陪玩,获得好评加一天生命。任务2给女老板代练,完成单子加两天生命。任务3随着系统功能逐步解锁,他还获得了内含房车技能及各种道具的宝箱。陪玩撞车德华,在土鸡高地虐泉一打五。...

那些年,我们一起砍过的修仙者

那些年,我们一起砍过的修仙者

凡人流无系统与传统仙侠写法不同,不喜勿入那一年,七岁的男孩儿带着妹妹踏入了修仙界,然后,修仙的全疯了!  出来修仙,你天赋好不好,宝贝多不多,有没有机缘,这些都不重要,但你一定要记住,有一个人你不能惹。  虽然这个人并不是什么修仙之人。  但是他的刀,比光还快,快到你根本来不及调动灵力。  他的拳,比天还重,重的可以一拳让这个世界停止自转。  他的嘴,比我还贱,贱的可以让烈阳流泪,让皎月燃烧。  他是谁?他是一个没有修仙天赋,却在修仙界练武的靓仔。  多年以后,修仙界一众大佬们问他林大靓仔,你一个练武的为啥非要跑到修仙界呢?  少年笑嘻嘻的回答道我只是没有修仙的天赋而已,但我超喜欢在修仙界玩耍的,那里面个个都是人才,说话又好听,还有各种花里胡哨的特殊才华,哎哟我超喜欢里面的。  修仙大佬们集体绝望喜欢?喜欢你提着把刀砍了半个修仙界?各位书友要是觉得那些年,我们一起砍过的修仙者还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...

下山打法师

下山打法师

书中自有黄金屋,山下林立豪华城。自幼生在蜀山,下山的林白沐渐渐被现代吸引。击败法师弘扬道法是重任,赚取钱财品尝美食是天命。至于魔法师?顺带着打打也就算了!好了,这个城市的美食已经品尝过了,去下一个城市吧!好的大哥哥!等等我!领着一只被卖了估计也帮数钱的萝莉,林白沐开始了华夏天国的旅途。(一个山上长大的孩子下山,走进了魔法世界的故事)...

每日热搜小说推荐