大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？|全球短訊
發(fā)布時間：2023-06-11 02:49:41
文章來源：程序員客棧
Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
【資料圖】
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關(guān)鍵詞：
最近更新
- 大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？|全球短訊2023-06-11
- 世界消息！伍詠薇美得太高調(diào)，玫紅色連衣裙大秀曼妙身材，高挑時髦又有氣場2023-06-11
- 連衣裙帶來甜美氣息，詮釋出時髦氣息，曼妙身材盡顯2023-06-11
- 世界熱文：沈陽和上海：繁華程度差距小嗎？2023-06-11
- 焦點速讀：東莞：從小縣城到經(jīng)濟中心城市2023-06-11
- 白宮再拋“橄欖枝”、競爭對手接連“投誠”，特斯拉充電有望“一統(tǒng)北美”2023-06-11
- “女生曝光疑被偷拍”事件，多方回應(yīng)2023-06-11
- 河南：關(guān)于做好2023年軍隊院校招收普通高中畢業(yè)生政治考核工作的通知 焦點快報2023-06-11
- 【熱聞】耀華中學紅橋?qū)W校7月招生 計劃招收140人2023-06-11
- 推廣共享用電 新疆電力試點解決“短時用電大問題”-全球快看點2023-06-11
- 中國商業(yè)航天發(fā)展大會聚焦商業(yè)航天產(chǎn)業(yè)發(fā)展-全球微頭條2023-06-11
- 要聞速遞：蘇州化工醫(yī)院下午體檢嗎（蘇州化工醫(yī)院）2023-06-11
- 腎活檢能查出什么?。I活檢）2023-06-11
- 每日時訊!洋槐樹枝熬水有什么功效（洋槐樹）2023-06-11
- 北京人遺址傳說（北京人遺址）2023-06-11
- 全球頭條：電腦中缺失maxnetbackburner.dll文件應(yīng)該怎么處理2023-06-11
- 2023年高考“交卷” 福建省實現(xiàn)平安高考2023-06-11
- 今熱點：輻射松是什么木頭（輻射松）2023-06-11
- 蘇州化工醫(yī)院下午體檢嗎（蘇州化工醫(yī)院）2023-06-11
- Netflix訂戶數(shù)量大幅上升，打擊密碼共享成果顯現(xiàn)2023-06-11
- 環(huán)球簡訊:歐陽靖維護歐陽娜娜：跟她合作絕對是我的榮幸2023-06-11
- 浙江一鐵路旁工廠起火逼停列車 現(xiàn)場黑煙滾滾火光沖天！所幸無傷亡！|全球快看點2023-06-11
- 白鵝潭萬象城奠基開工 廣州三大地標綜合體兩個已官宣_環(huán)球熱頭條2023-06-11
- 新動態(tài)：95汽油1噸等于多少升_1噸等于多少升2023-06-11
- 牛肉餅的家常做法_牛肉的家常做法-簡訊2023-06-11
- 第12屆金交會開幕，現(xiàn)場簽約總金額超3500億元 天天新消息2023-06-11
- 速看：環(huán)衛(wèi)母親與高考兒子相擁而泣刷屏，普通人改變命運的努力打動人心2023-06-11
- 熱資訊！直擊2023中國經(jīng)濟傳媒大會丨中國經(jīng)濟體制改革會副會長樊綱：消費需求一時難以擴大，短期內(nèi)仍寄希望于投資需求2023-06-11
- 新資訊：專訪金元浦：從“拎著走”到“沉浸式”，文化與科技融合將產(chǎn)生倍數(shù)效應(yīng)2023-06-11
- 發(fā)繁體 滿江紅（發(fā)繁體）2023-06-11
熱門推薦HOT
-
以技術(shù)和實力支持巴哈大賽 東風
近日，第七屆中國汽車工程學會巴哈大賽(簡稱巴哈大賽)在湖北襄陽落下帷幕。該項賽事是繼中國大學生方程式汽車大賽(FSC)成功舉辦之后，中國
-
“整車+后市場”一體化解決方案
近年來，受國際能源價格大幅上漲影響，發(fā)揮壓艙石作用的新疆煤炭抓住契機，融入到全國統(tǒng)一大市場，有效緩解了國內(nèi)能源供應(yīng)偏緊形勢。隨之而
-
一切源于可靠 東風商用車潛心客
近日，備受矚目的東風天龍GX上市發(fā)布會暨東風天龍中國卡車駕駛員大賽(第6季)暨東風陽光杯(第2屆)全國商用車維修技能競賽總決賽在車城十堰隆
-
數(shù)字場景再創(chuàng)佳績 東風商用車以
隨著科技進步，新一輪產(chǎn)業(yè)變革蓬勃興起。數(shù)字化發(fā)展，是互聯(lián)網(wǎng)時代向大數(shù)據(jù)時代、后數(shù)據(jù)時代的必由之路，抓住數(shù)字經(jīng)濟的發(fā)展新機遇，是實現(xiàn)
-
中國夢·郵政情 東風商用車攜手
5月19日，由國家郵政局、中華全國總工會指導，中國郵政快遞報社主辦的第五屆中國夢·郵政情 尋找最美快遞員活動揭曉發(fā)布會在北京國際會議
-
2023款輕卡家族燃情上市 慶鈴五
明月出天山，蒼茫云海間。5月21日，耀世登場·擎鈴未來慶鈴五十鈴2023款ELF輕卡家族在克拉瑪依煥新上市。憑借智能、效能、全能的產(chǎn)品優(yōu)勢，
-
百公里油耗27L，東風天龍GX全場
2023年5月15日，國產(chǎn)高端重卡東風天龍GX全場景干線接力實測圓滿收官。歷時6天，途徑成都-恩施-潛山-上海-武漢-十堰，全場景驗證盆地、高原
-
為了卡友“高興而來” 東風天龍
5月10日，東風天龍GX成都-上海-十堰全場景干線實測拉開序幕，本次實測的重頭戲，不僅在于東風天龍GX的全方位展示，更是圍繞著百公里油耗的
-
數(shù)字轉(zhuǎn)型，勇摘桂冠！東風商用車
近日，由國家互聯(lián)網(wǎng)信息辦公室、國家發(fā)展和改革委員會、工業(yè)和信息化部、國務(wù)院國有資產(chǎn)監(jiān)督管理委員會、福建省人民政府等共同主辦的第六屆
-
簽約百臺東風天龍牽引車 東風商
5月11日，峰捷(湖北)供應(yīng)鏈有限公司、東風商用車有限公司與荊門中澤汽車有限公司在湖北十堰共同簽署了采購100臺東風天龍牽引車的戰(zhàn)略合作協(xié)
猜你喜歡LOVE
四季旅行·光影云南｜呈貢月季花又開
四月到十月，云南昆明呈貢區(qū)的街頭1700余株月季爭相綻放，穿過呈貢一條
環(huán)球看點！貴州綏陽：勞動勵心智 實
6月9日，學生在貴州省綏陽縣中小學勞動教育綜合實踐基地農(nóng)耕文化教育館
陜西省地震應(yīng)急救援綜合演練在西安舉
6月9日，陜西省抗震救災(zāi)指揮部、陜西省應(yīng)急管理廳、陜西省地震局主辦，
每日快訊!西秀：刺梨產(chǎn)品搭乘高鐵走
“產(chǎn)業(yè)發(fā)展欣欣向榮的現(xiàn)狀，和安順市西秀區(qū)開通高鐵帶來的便利密不可分
當前報道:貴州省檢察機關(guān)堅持以檢察
全省檢察機關(guān)堅持以檢察辦案促進生態(tài)環(huán)境保護5年受理審查起訴破壞環(huán)境