手机浏览器扫描二维码访问
问题出在哪里?
吴恩达表述了困惑,也谈了谈易科内部的解决方向。
参会的一部分人赞同易科的解题思路,但谷歌方面却出现了不同的声音。
“为什么非要使用循环神经网络?”
谷歌的乌思克尔特本来正在休假,但因为对DL的交流感兴趣便报名过来,“为什么不试试自注意力Self-attention?我认为它对NLP领域将会有更优秀的改变。”
“Self-attention可以进行更好的并行计算能力,而不是像RNN那样进行顺序处理,它还能直接比较序列中任意两个位置的向量表示,这样就能更有效的捕捉和利用长距离依赖关系,但RNN不行!”
“RNN虽然理论上也能捕捉长距离依赖,但实际上往往因梯度消失或爆炸问题而难以实现!”
乌思克尔特研究的是谷歌的机器翻译改进方法,他的父亲就是计算语言学的教授,尽管刚开始进入谷歌时对语言翻译的工作很不喜欢,但最终还是专注于这一领域的研究,而他近期正在琢磨的便是“自注意力Self-attention”
在相关领域的改善。
吴恩达很快明白这位谷歌研究员的意思,也在几经思索后给予反驳:“自注意力没有显式地编码位置信息,这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异,而在自然语言的处理中,词语的语义又与位置紧密相关。”
“而且,自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量,这极可能导致过拟合。”
他这边刚说话,谷歌自家DL的席尔瓦也反驳了乌思克尔特提出的新路线,其中一个重要原因在于RNN的循环结构太符合大家对序列数据处理的理解,即当前状态依赖于过去的信息,而自注意力的全局依赖一看就不如RNN直观。
易科与谷歌的两大领导者都批评了自注意力Self-attention,但乌思克尔特并不服气,他直接登台阐述自己更多的想法。
而且,针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路,比如,引入位置编码,比如,进行多头注意力的研究。
有人觉得眼前一亮,有人觉得异想天开,还有人现场进行快速的分析和演算。
第一排的方卓极其茫然,他扭头询问旁边沉思的英伟达掌门人黄仁勋:“他们在讨论什么?”
“乌思克尔特说,GPU是最适合深度学习技术的硬件。”
黄仁勋给出一句总结。
方卓:“???”
他纳闷道:“我怎么完全没听到类似的表述?”
“因为自注意力Self-Attention更加强调并行处理,这是GPU更擅长的。”
黄仁勋笑道,“至于其他的,不重要,我们只要提取对我们有利的就好。”
方卓观察着现场的气氛,这已经不是知识的交流,更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是,等到晚上,方卓还是当面询问了这次参与辩论的吴恩达,想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
“方总,等我们想一想再写一份报告吧。”
他思考许久之后由衷地说道,“这样的交流或许应该多来几次,他那个自注意力,我现在想想,缺点也不是不能解决。”
方卓耐心的询问:“那我们应该做些什么?”
吴恩达回味今天的整场辩论,思考着不同人提出的不同想法,喃喃道:“或许,我们需要先试试一种新型软件,让它可以和计算机对话。”
方卓“嗯”
了一声,表达一贯的支持:“行,开始吧。”
吴恩达哭笑不得,真心地说道:“方总,你给我们的支持真的太优渥了。”
“我也就只能给我所能给的东西。”
方卓笑道,“试试呗,如果人手不够,那就国内再招招人,我是朴素的认知哈,既然能引起争论,新的东西就有可取之处。”
吴恩达竖起拇指,喜欢老板的这种支持。
只是,易科的现状并不是那么美妙。
他提出了这方面的小小担忧。
方卓不以为意地说道:“你们这些投入才多少钱,正好英伟达的一批GPU快到货了,先用看吧,我看黄仁勋今天笑得特别开心。”
江离穿越过来,发现没有金手指,只能老老实实的修炼,五百年后,他成为九州最强者,突然出现一个系统,说能帮宿主从练气期逆袭成为九州第一人。江离看着第一个任务,陷入沉思。请宿主打败你的堂哥(练气六层)。你这...
一觉醒来,苏长空穿越到了兵荒马乱妖魔横行的世界,武道资质平平,但苏长空发现,只要自己寿命增长,天赋潜能就能随之无限提升!五禽戏模仿虎鹿熊猿鸟等动物,习之可强身健体,身手敏捷,百病不生!龟息真定功仿生气功,如千年老龟呼吸吐纳,纳气久闭,延年益寿!天蚕神功天蚕九变,破茧成蝶,返老还童,打通生死玄关,每次蜕变都是一次重生!修养生拳法,练长生之气!长生路上多尸骸,苏长空走上了...
梦中修仙,秦天获得无上医术与炼丹等传承,而那些家族缺依然把他当做窝囊废上门女婿看待。欺软怕硬?恶名打压?不存在的!敢狂,敢装,敢裱的人,必将踏入脚下!...
...
(无cp无脑爽文)女主霸道中二神经病大反派,女主不是人!没有人的三观,坏的冒烟,正义之式勿进,圣母勿进。走渣男的路,让渣男无路可走。能动手绝不废话。极品绿茶黑莲花信手拈来,只有你想不到的,没有她做不到的。凤凰男遇到人渣女主哭着喊着求离婚,种田文世界女主反手埋了受伤的人渣皇子,随手救人要不得。团宠文里被打脸的女配,女主拒绝争宠,廉价的亲情,不要也罢,我自美丽高贵。宠妾灭妻的王爷?直接刀了他,从源头解决问题当个作威作福的寡妇王妃。挡箭牌贵妃?把皇帝玩成身宽体臭的胖子,皇帝死不瞑目。一胎五宝世界的炮灰前妻?再送霸总三十个孩子,让他养到破产。娱乐圈被黑的影后?不好意思,转行当狗仔了,影后谁爱当谁当。被夺取气运的天命之女?极品绿茶黑莲花了解一下?渣男男主被骗感情挖金丹,死不瞑目。清穿四福晋,穿越女仗着知道历史抢位置,反手把史书印成一万本,所有人都知道了。...
含恨而终,浴火重生,谁能想象如今名扬天下美艳倾城的董清胧本是怨气冲天的恶鬼?她原本携恨欲报,但是一头撞进他的怀里后,只想好好跟他在一起。美色误人,大概就是如此。清胧阿衍,坏人好多呀,人家很怕呢萧衍说话就说话,动手动脚干什么!?所以,脸红到耳朵尖却愣是抱着人不撒手的那个不是你?...