亚洲精品美女久久久久99,日产精品高潮呻吟av久久,欧美三級片黃色三級片黃色,精品剧情v国产在线观看

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？

來源：程序員客棧

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標簽：

推薦

財富更多》

動態(tài)更多》

熱點

婷婷四虎东京热无码群交双飞视频| 麻豆av一区二区天美传媒| 香蕉久久国产AV一区二区| 国产suv精品一区二区62| 两性午夜刺激性视频| 久久精品人人槡人妻人| 亚洲国产成人手机在线电影| 粗大的内捧猛烈进出看视频| 男女啪啪做爰高潮无遮挡| 色欲色av免费观看| 无码人妻精品一区二区三区东京热| 亚洲中文字幕国产综合| 丰满无码人妻热妇无码区| 精品欧洲av无码一区二区男男| 日日做夜狠狠爱欧美黑人| 久久精品人妻中文系列| 免费国产午夜视频在线| 午夜寂寞视频无码专区| 韩国三级中文字幕hd久久精品| 特级a欧美做爰片第一次| 久久99精品久久久久久动态图| 国产国产人免费视频成69| 中国亚洲呦女专区| 国产精品久久久久久av福利| 亚洲高清成人aⅴ片777| 亚洲青青草原男人的天堂| 国产好爽…又高潮了毛片| 欧美性猛交xxxx乱大交3 | 国产精品成人99久久久久| 一本久久综合亚洲鲁鲁五月天 | 无码一区二区三区av在线播放| 久久99热狠狠色精品一区| 欧美乱妇高清免费96欧美乱妇高清 | 亚洲一区无码中文字幕乱码| 无码少妇精品一区二区免费动态 | 亚洲国产老鸭窝一区二区三区| 天海翼一区二区三区高清在线 | 久久久久青草线蕉亚洲| 日本成a人片在线播放| 日韩精品无码成人专区av| 又色又爽又黄的视频软件app|