日期:2023-06-14 14:59:35 來源:文匯網(wǎng)
【導讀】第163期文匯講堂“數(shù)字強國”系列將于6月20日下午開啟,報名火熱進行中(詳見文末鏈接),第一期《AIGC驅(qū)動生產(chǎn)力躍升與良好未來塑造》將聚焦大模型及其未來十年。今經(jīng)授權(quán),摘要刊發(fā)預熱稿1,由著名經(jīng)濟學家朱嘉明為《大模型時代:ChatGPT開啟通用人工智能浪潮》所作長篇序文。
近日,業(yè)界頻繁舉行大模型和通用人工智能關(guān)聯(lián)論壇。5月底,小蠻腰科技大會暨AIGC人工智能峰會上,成立了AGI(通用人工智能)50人論壇;6月11日,由《通用人工智能》(中譯出版社2023年7月出版)新書發(fā)布暨《邁向通用人工智能新時代》研討會舉辦。而6月9日至10,由智源研究院主辦、定位于“AI內(nèi)行頂級盛會”的“北京智源大會”同樣聚焦大模型發(fā)展。163-1期主講嘉賓即為北京智源人工智能研究院副院長兼總工程師林詠華女士。
(資料圖片僅供參考)
《大模型時代》,龍志勇、黃雯著 中譯出版社2023年7月出版
“嘗試找到如何讓機器使用語言、形成抽象和概念、解決現(xiàn)在人類還不能解決的問題、提升自己,等等。對于當下的人工智能來說首要問題是讓機器像人類一樣能夠表現(xiàn)出智能。”
——達特茅斯會議對人工智能(AI)的定義
ChatGPT是人類科技史上的里程碑事件,在短短幾個月席卷全球,速度超過人類最狂野的想象。ChatGPT證明了通過一個具有高水平結(jié)構(gòu)復雜性和大量參數(shù)的大模型(foundation model,又稱為“基礎模型”)可以實現(xiàn)深度學習。大模型是大語言模型(Large Language Model,LLM),也是多模態(tài)模型,或者是生成式預訓練轉(zhuǎn)換模型。GPT是大模型的一種形態(tài),引發(fā)了人工智能生成內(nèi)容(Artificial Intelligence Generated Content,AIGC)技術(shù)的質(zhì)變。現(xiàn)在,與其說人類開始進入人工智能時代,不如說人類進入的是大模型時代。我們不僅目睹,也身在其中,體驗生成式大模型如何開始生成一個全新時代。
何謂大模型?從數(shù)據(jù)中找出規(guī)律和模式并預測未來
人工智能的模型,是以數(shù)學和統(tǒng)計學作為算法基礎的,可以用來描述一個系統(tǒng)或者一個數(shù)據(jù)集。在機器學習中,模型是核心概念。模型通常是一個函數(shù)或者一組函數(shù),可以是線性函數(shù)、非線性函數(shù)、決策樹、神經(jīng)網(wǎng)絡等各種形式。模型的本質(zhì)就是對這個函數(shù)映射的描述和抽象,通過對模型進行訓練和優(yōu)化,可以得到更加準確和有效的函數(shù)映射。模型的目的是為了從數(shù)據(jù)中找出一些規(guī)律和模式,并用這些規(guī)律和模式來預測未來的結(jié)果。模型的復雜度可以理解為模型所包含的參數(shù)數(shù)量和復雜度,復雜度越高,模型越容易過擬合。
人工智能大模型的“大”,是指模型參數(shù)至少達到1億以上。但是這個標準一直在升級,目前很可能已經(jīng)有了萬億參數(shù)以上的模型。GPT-3的參數(shù)規(guī)模就已經(jīng)達到了1750億。
除了大模型之外,還有所謂的“超大模型”,通常擁有數(shù)萬億到數(shù)十萬億個參數(shù),被用于解決更為復雜的任務,如自然語言處理中的問答和機器翻譯、計算機視覺中的目標檢測和圖像生成等。所以,超大模型的訓練和調(diào)整需要極其巨大的計算資源和大量數(shù)據(jù),更加復雜的算法和技術(shù),大規(guī)模的投入和協(xié)作。
如果從人工智能的生成角度定義大模型,與傳統(tǒng)的機器學習算法不同,生成模型可以根據(jù)文本提示生成代碼,還可以解釋代碼,甚至在某些情況下調(diào)試代碼。在這樣的過程中,不僅可以實現(xiàn)文本、圖像、音頻、視頻的生成,構(gòu)建多模態(tài),而且還可以在更為廣泛的領(lǐng)域生成新的設計,生成新的知識和思想,甚至實現(xiàn)廣義的藝術(shù)和科學的再創(chuàng)造。
近幾年,比較有影響的AI大模型主要來自谷歌、Meta和OpenAI。除了OpenAI GPT之外,2017和2018年,谷歌發(fā)布LaMDA、BERT和PaLM-E。2023年,F(xiàn)acebook的母公司Meta退出LLaMA,并在博客上免費公開LLM——“OPT-175B”。在中國,AI大模型主要代表是百度的文心一言、阿里的通義千問和華為的盤古。
這些模型的共同特征是:需要在大規(guī)模數(shù)據(jù)集上進行訓練,基于大量的計算資源進行優(yōu)化和調(diào)整。
因為AI大模型的出現(xiàn)和發(fā)展所顯示的涌現(xiàn)性,擴展性和復合性,長期以來人們討論的所謂“弱人工智能”“強人工智能”和“超人工智能”的界限不復存在,這樣劃分的意義也自然消失。
突變和涌現(xiàn):機器學習-深度學習-AIGC大模型,賦予AI思維能力
如果從1956年達特茅斯學院的人工智能會議算起,人工智能歷史已經(jīng)接近70年。其三個基本派別符號主義、連接主義、行為主義都要以算法、算力和數(shù)據(jù)作為核心要素。在20世紀80年代末之后的AI發(fā)展史中,有三個重要的里程碑。
第一個里程碑:機器學習(machine learning,ML)。
機器學習理論的提出,可以追溯到圖靈寫于1950年的一篇論文《計算機器與智能》(Computing machinery and intelligence)和圖靈測試。1952年,IBM的亞瑟·塞繆爾(Arthur Lee Samuel,1901—1990)開發(fā)了一個西洋棋的程序。該程序能夠通過棋子的位置學習一個隱式模型,為下一步棋提供比較好的走法。塞繆爾用這個程序駁倒了機器無法超越書面代碼,并像人類一樣學習模式的論斷。他創(chuàng)造并定義了“機器學習”。
之后,機器學習成為一個能使計算機不用顯示編程就能獲得能力的研究領(lǐng)域。1980年,美國卡內(nèi)基梅隆大學召開了第一屆機器學習國際研討會,標志著機器學習研究已在全世界興起。此后,機器學習開始得到了大量的應用。到了20世紀80年代中葉,機器學習進入最新階段,成為新的學科,綜合應用了心理學、生物學、神經(jīng)生理學、數(shù)學、自動化和計算機科學等形成了機器學習理論基礎。1995年,瓦普尼克(Vladimir Naumovich Vapnik,1936— )和科琳娜·科茨(Corinna Cortes,1961— )提出的支持向量機(網(wǎng)絡)(Support Vector Machine,SVM),實現(xiàn)機器學習領(lǐng)域最重要突破,具有非常強的理論論證和實證結(jié)果。
機器學習是一種基于算法和模型的自動化過程,包括監(jiān)督學習和無監(jiān)督學習兩種形式。
第二個里程碑:深度學習(deep learning,DL)。
深度學習是機器學習的一個分支。所謂的深度是指神經(jīng)網(wǎng)絡中隱藏層的數(shù)量,它提供了學習的大規(guī)模能力。因為大數(shù)據(jù)和深度學習爆發(fā)并得以高速發(fā)展,最終成就了深度學習理論和實踐。2006年,辛頓(Geoffrey Everest Hinton,1947— )正式提出深度學習概念, 該年由此成為了“深度學習元年”。
在辛頓深度學習的背后,是對“如果不了解大腦,就永遠無法理解人類”這一認識的堅信。所謂深度學習可以伴隨著突觸的增強或減弱而發(fā)生。一個擁有大量神經(jīng)元的大型神經(jīng)網(wǎng)絡,計算節(jié)點和它們之間的連接,僅通過改變連接的強度,從數(shù)據(jù)中學習。所以,需要用生物學途徑,或者關(guān)于神經(jīng)網(wǎng)絡途徑替代模擬硬件途徑,形成基于100萬億個神經(jīng)元之間的連接變化的深度學習理論。
深度學習是建立在計算機神經(jīng)網(wǎng)絡理論和機器學習理論上的科學。2012年,辛頓和克里澤夫斯基(Alex Krizhevsky,1978— )設計的AlexNet神經(jīng)網(wǎng)絡模型在ImageNet競賽中實現(xiàn)圖像識別分類,成為新一輪人工智能發(fā)展的起點。這類系統(tǒng)可以處理大量數(shù)據(jù),可以發(fā)現(xiàn)人類通常無法發(fā)現(xiàn)的關(guān)系和模式。
第三個里程碑:人工智能內(nèi)容生成大模型。
從2018年開始大模型迅速流行,預訓練語言模型(Pre-trained Language Model,PLM)及其“預訓練-微調(diào)”方法已成為自然語言處理(Natural Language Processing,NLP)任務的主流范式。大模型利用大規(guī)模無標注數(shù)據(jù)通過自監(jiān)督學習預訓練語言大模型,得到基礎模型,再利用下游任務的有標注數(shù)據(jù)進行有監(jiān)督學習微調(diào)(instruction tuning)模型參數(shù),實現(xiàn)下游任務的適配。
2018年至2023年,OpenAI實現(xiàn)大模型的五次迭代。同時,OpenAI也提供了API接口,使得開發(fā)者可以利用大模型進行自然語言處理的應用開發(fā)。
總之,大模型是基于包括數(shù)學、統(tǒng)計學、計算機科學、物理學、工程學、神經(jīng)學、語言學、哲學、人工智能學融合礎上的一次突變,并導致了一種“涌現(xiàn)”(emergence)。大模型也因此稱得上一場革命。
更為重要的是,大模型賦予AI以思維能力,一種與人類近似,又有很不相同的思維能力。
知識革命:大模型具有神經(jīng)智力、經(jīng)驗智力和反省智力主要成分
基于大數(shù)據(jù)與Transformer的大模型,實現(xiàn)了對知識體系的一系列的改變。
(1)改變知識生產(chǎn)的主體。即從人類壟斷知識生成轉(zhuǎn)變?yōu)锳I生產(chǎn)知識,以及人和AI混合生產(chǎn)知識。(2)改變知識譜系。從本質(zhì)上來看,知識圖譜是語義網(wǎng)絡的知識庫;從實際應用的角度來看,可以將知識圖譜簡化理解成多關(guān)系圖。
(3)改變知識的維度。知識可分為簡單知識和復雜知識、獨有知識和共有知識、具體知識和抽象知識、顯性知識和隱性知識等。而人工智能正易于把握這一隱性維度。
(4)改變知識獲取途徑。
(5)改變推理和判斷方式。人類的常識基于推理和判斷,而機器常識則是基于邏輯和算法的。人類可以根據(jù)自己的經(jīng)驗和判斷力做出決策,而機器則需要依賴程序和算法。
(6)改變知識創(chuàng)新方式和加速知識更新速度。不僅知識更新可以通過AI實現(xiàn)內(nèi)容生成,而且AI大模型具有不斷生成新知識的天然優(yōu)勢。人類知識處理的范式將發(fā)生轉(zhuǎn)換。人類知識的邊界有機會更快速地擴展。
(7)改變知識處理方式。人類對知識的處理(knowledge processing)有六個層次:記憶、理解、應用、分析、評價和創(chuàng)造。大模型在這六層的知識處理中,都能發(fā)揮一定的作用,為人類大腦提供輔助。
簡言之,如果大模型與外部知識源(例如搜索引擎)和工具(例如編程語言)結(jié)合,將豐富知識體系并提高知識的獲取效率。萬物皆可AI,因為大模型引發(fā)知識革命,形成人類自然智慧和人工智能智慧并存的局面。
知識需要學習。赫布理論是一個神經(jīng)科學理論,描述了在學習過程中的腦中的神經(jīng)元所發(fā)生的變化,從而解釋了記憶印痕如何形成。即突觸前神經(jīng)元向突觸后神經(jīng)元持續(xù)重復的刺激,可以導致突觸傳遞效能的增加。以深度學習為核心的大模型的重要特征就是以人工智能神經(jīng)網(wǎng)絡作為基礎。所以,大模型是充分實踐赫布理論的重要工具。
1966年,美國哈佛大學心理學家戴維·珀金斯(David N. Perkins,1942— )提出“真智力”(true intelligence),并提出智商包括三種主要成分或維度:(1)神經(jīng)智力(neural intelligence),神經(jīng)智力具有“非用即失”(use it or lose it)的特點;(2)經(jīng)驗智力(experiential intelligence),是指個人積累的不同領(lǐng)域的知識和經(jīng)驗,豐富的學習環(huán)境能夠促進經(jīng)驗智力;(3)反省智力(reflective intelligence),類似于元認知(metacognition)和認知監(jiān)視(cognitive monitoring)等概念,有助于有效地運用神經(jīng)智力和經(jīng)驗智力的控制系統(tǒng)。大模型恰恰具備上述三種主要成分或維度。所以,AI大模型不僅有智慧,而且還是具有高智商的一種新載體。
GTP-4可利用思維鏈推理和逐步思考,大模型會導致“人的工具化”?
雖然AI大模型所實現(xiàn)智能的途徑和人類大腦并不一樣,但最近約翰斯·霍普金斯大學的專家發(fā)現(xiàn),GPT-4可以利用思維鏈推理和逐步思考,有效證明了其心智理論性能。在一些測試中,人類的水平大概是87%,而GPT-4已經(jīng)達到100%。此外,在適當?shù)奶崾鞠拢薪?jīng)過RLHF訓練的模型都可以實現(xiàn)超過80%的準確率。
現(xiàn)在,人類面臨的AI大模型挑戰(zhàn),并且這一挑戰(zhàn)不僅僅是職場動蕩、失去工作、增加失業(yè)的問題。人類面對的是更為嚴酷的現(xiàn)實課題:人是否或早或晚的成為大模型的工具人?不僅如此,如果AI出現(xiàn)推理能力,并在無人知道原因的情況下越過界限后,AI是否會對人類造成威脅?最近,網(wǎng)上有這樣的消息:有人利用最新的AutoGPT開發(fā)出ChaosGPT,下達毀滅人類指令,AI自動搜索核武器資料,并招募其他AI輔助。
正是在這樣的背景下,2023年的3月29日,埃隆·馬斯克(Elon Reeve Musk,1971— )聯(lián)名千余科技領(lǐng)袖,呼吁暫停開發(fā)AI。進入4月,身在多倫多的圖靈獎得主辛頓向Google提出了辭職。辛頓離職的原因,是為了能夠“自由地談論人工智能的風險”,他對自己畢生的工作感到后悔,“我用一個正常的理由安慰自己:如果我沒做,也會有別人這么做的。”辛頓最大的擔憂是:AI很可能比人類更聰明。這樣的未來不再久遠。而對比GPT-4剛發(fā)布時,辛頓還對其贊譽有加:“毛蟲吸取了足夠的養(yǎng)分,就能化繭成蝶,GPT-4就是人類的蝴蝶”。
僅僅一個多月的時間,辛頓的立場發(fā)生如此逆轉(zhuǎn)。這不免讓人們想到愛因斯坦和奧本海默,他們在二戰(zhàn)后都明確表達了為參與核武器研發(fā)和建議感到后悔,更為核武器成為冷戰(zhàn)籌碼和政治威脅的工具感到強烈不滿。
事實上,控制論之父維納(Norbert Wiener,1894—1964)在《人有人的用處》(The Human Use of Human Beings)一書中做出了一個聳人聽聞的結(jié)論:“這些機器的趨勢是要在所有層面上取代人類,而非只是用機器能源和力量取代人類的能源和力量。很顯然,這種新的取代將對我們的生活產(chǎn)生深遠影響?!蓖瑯?,霍金(Stephen Hawking,1942—2018)生前也曾多次表達他對人工智能可能導致人類毀滅的擔憂。
在現(xiàn)實生活中,AI大模型的沖擊正在被積聚。例如,作為一種基于大規(guī)模文本數(shù)據(jù)的生成模型,GPT已經(jīng)對語言學、符號學、人類學、哲學、心理學、倫理學和教育學等廣義思想文化領(lǐng)域造成沖擊,并將進一步對自然科學技術(shù)、經(jīng)濟形態(tài)和運行、社會結(jié)構(gòu),以及國際關(guān)系產(chǎn)生進一步的全方位沖擊。
AI大模型是人工智能歷史的分水嶺,甚至是工業(yè)革命以來人類文明史的分水嶺。此前,人們所更多關(guān)注和討論的是人如何適應機器,探討人與機器人的合作,實現(xiàn)“艾西莫夫定律”;而現(xiàn)在,人類則進入如何理解大模型、預知人工智能的重要節(jié)點,人工智能被惡意利用、徹底失控的威脅也隱隱出現(xiàn)。特別是由于AI幻象(hallucinations)的存在,對人類決策和行為的誤導也更容易發(fā)生。
《機械姬》有這樣的蒼涼臺詞:“將來有一天,人工智能回顧我們,就像我們回顧非洲平原的化石一樣,直立猿人住在塵土里,使用粗糙的語言和工具,最后全部滅絕?!?/p>
最近還有一個消息:來自洛桑聯(lián)邦理工學院的研究團隊提出了一種全新的方法,可以用AI從大腦信號中提取視頻畫面,邁出了“讀腦術(shù)”的第一步,相關(guān)論文也已登《自然》(Nature)雜志。雖然這篇論文受到很多質(zhì)疑,但可以肯定的是,除了試圖改善人類生活的科學家、工程師和企業(yè)家外,還將存在陰暗和邪惡力量,人們對AI的不安也隨之與日俱增。AI是人類的又一個潘多拉盒子,且很可能在無人能將其關(guān)上。
在人類命運的巨變趨勢面前,人類的選擇在減少,不可放棄讓人回歸人的價值,需要留下“種子”——火星遷徙至少具有這樣的超前意識。
5月底小蠻腰科技大會上的朱嘉明(左三)
在人工智能2.0時代,大模型的分工越來越明確。日益增多的大模型,特別是開源大模型實現(xiàn)不同的組合,將大模型樂高(Lego)化,構(gòu)成大模型集群。這不僅會推動人類的社會空間、物理空間和信息空間日益緊密融合,而且還將促成一個由大模型主導的世界。
在這樣的歷史時刻,生成主義(enactivism)需要被重新認識。一方面,生成認知否認外部世界的預先給予性,強調(diào)世界是依賴于外在的知覺者的;另一方面,生成認知也不贊同觀念論對于心智實在性的否定,強調(diào)具身性是心智和認知的最為根本的特征。”人工智能的生成大模型,確實包括生成主義的要素。人工智能將給生成主義注入新的生命力。
朱嘉明
2023年5月9日
寫于上海
李念編摘自《大模型時代》代序,原題為《AI大模型:當代歷史的標志性事件及其意義》原文1.4萬
文末鏈接
講堂報名 | AIGC驅(qū)動生產(chǎn)力躍升與良好未來塑造
綜合:《大模型時代》新書、智源研究院、獨角獸DIGITALIZATION、Ai創(chuàng)業(yè)前沿資訊
標簽:
163-1講堂預熱|朱嘉明:人早晚或成為大模型的工具人?-看點
孫穎莎等主力兩站比賽賽程公布!國乒全面進入巴黎奧運備戰(zhàn)節(jié)奏!-世界球精選
天天看熱訊:豬肉股午后走低,新五豐觸及跌停
世紀華通股4億股競拍以28.68億元成交,國華人壽、浙商證券等接盤|天天簡訊
安丘市大盛鎮(zhèn):精準服務 靶向施策 助力企業(yè)安心發(fā)展
世界快報:拜迪蕾娜紅酒木瓜湯怎么樣_拜迪蕾娜紅酒木瓜湯
藍馬甲反詐助老大篷車開進安徽多地 今日關(guān)注
棉衣用英語怎么說_棉衣服長霉斑怎么洗掉 棉衣服長霉斑如何清洗
焦點要聞:智慧診療讓群眾更有“醫(yī)”靠
我市網(wǎng)絡零售額增速全省第一 天天觀察
SEMI報告:2022年全球半導體材料市場銷售額達到創(chuàng)紀錄的730億美元 全球熱點評
狗子的生命有時很脆弱,一塊糖或一棵草,都可能要了狗子的命
斯巴魯?shù)暮诵膬r值是安全性 但新的WRX車主不愿意購買 世界焦點
掘金首奪NBA總冠軍,場外突傳槍聲,致9人受傷
天天觀速訊丨高考后謹防掉入“招生陷阱” 法官提醒:高招防騙保持理性最重要
我的世界拔刀劍怎么快速鍛造武器 我的世界拔刀劍怎么快速鍛造_每日快報
小約翰施特勞斯被譽為圓舞曲之王(小約翰施特勞斯被譽為) 環(huán)球快播報
申請qq賬號(申qq賬號)
要聞:名單公示!海口這些人可以申請農(nóng)村困難婦女“兩癌”救助
天天快資訊:武藤純子扮演者_它的結(jié)局是什么
最新消息:剛剛公告:退市!暴跌超94%
東盟地區(qū)論壇高官會將舉行 外交部:期待會議為今年論壇外長會積累成果
今日觀點!安福寺鎮(zhèn)紫荊嶺社區(qū):暴雨中迅速清路障保安全
沃爾沃老板說SUV份額可能增長到75%
環(huán)球資訊:淡奶油是動物奶油嗎 伊利淡奶油是動物奶油嗎