核心提示:這段時(shí)間,一款名叫ChatGPT的人工智能聊天系統(tǒng)就像平地起春雷,突然刷爆網(wǎng)絡(luò)。
ChatGPT爆火,國內(nèi)研發(fā)進(jìn)展如何?
這段時(shí)間,一款名叫ChatGPT的人工智能聊天系統(tǒng)就像平地起春雷,突然刷爆網(wǎng)絡(luò)。
“從目前普遍的對話感受來看,ChatGPT的最大亮點(diǎn)就在于其優(yōu)秀的意圖識(shí)別與語言理解能力,這令人意識(shí)到人工智能的交互能力已經(jīng)實(shí)現(xiàn)了跨越式進(jìn)展。”易觀智慧院高級(jí)分析師陳晨評(píng)價(jià)。
有問必答,侃侃應(yīng)對。這種神奇的人機(jī)互動(dòng)體驗(yàn),勾起人們絞盡腦汁向ChatGPT提問的熱情,并為其帶來驚人的用戶量:該系統(tǒng)在兩個(gè)多月前由美國人工智能研究公司OpenAI推出,今年1月便已達(dá)到1億月活躍用戶,用戶增長速度堪稱史無前例。
這款產(chǎn)品大受歡迎,其重要幕后功臣是被業(yè)內(nèi)稱為預(yù)訓(xùn)練模型的技術(shù)。面對ChatGPT的爆火,國內(nèi)科技機(jī)構(gòu)和企業(yè)紛紛“亮劍”。據(jù)最新消息,中國版ChatGPT將于下個(gè)月與公眾見面。
參數(shù)規(guī)模從幾百萬狂飆至幾千億
“目前,預(yù)訓(xùn)練技術(shù)是人工智能研究的重要突破口。”阿里研究院未來技術(shù)中心負(fù)責(zé)人蘇中解讀,傳統(tǒng)的研究方法中,標(biāo)注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙,而預(yù)訓(xùn)練技術(shù)不依賴數(shù)據(jù)標(biāo)注,就可以訓(xùn)練出一個(gè)大規(guī)模深度學(xué)習(xí)模型。
科技日報(bào)記者了解到,由于不需要數(shù)據(jù)標(biāo)注,預(yù)訓(xùn)練模型往往可以使用更大的數(shù)據(jù)集,因而可以選擇更大的模型規(guī)模——這就催生了預(yù)訓(xùn)練大模型。
“與以往的人工神經(jīng)網(wǎng)絡(luò)相比,預(yù)訓(xùn)練大模型最大的不同在于它規(guī)模足夠大,深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)多、連接多、參數(shù)多。”IDEA研究院(粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院)認(rèn)知計(jì)算與自然語言研究中心講席科學(xué)家張家興接受記者采訪時(shí)介紹,2012年前后的深度學(xué)習(xí)網(wǎng)絡(luò)只有幾百萬參數(shù);2018年前后主流的預(yù)訓(xùn)練模型達(dá)到1億參數(shù);目前被證明非常有效的大規(guī)模預(yù)訓(xùn)練模型已有幾千億參數(shù),短短幾年時(shí)間提升了幾千倍。
量變引起質(zhì)變。蘇中分析,在對預(yù)訓(xùn)練模型各種不同的技術(shù)評(píng)測中,算法性能展示了一個(gè)規(guī)律:數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多,算法輸出精度往往也越高。
除了規(guī)模大以外,張家興談到,目前的預(yù)訓(xùn)練大模型由于采用了新的結(jié)構(gòu)模型,非常適合并行訓(xùn)練。同時(shí),在訓(xùn)練方式上,人工神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練任務(wù)類似“解題”,比如把一句話的某個(gè)詞或前半句去掉,讓預(yù)訓(xùn)練模型利用海量大數(shù)據(jù)對句子進(jìn)行恢復(fù),這樣訓(xùn)練下去,預(yù)訓(xùn)練模型的“解題”能力就會(huì)越來越好。而且,在大語言模型的基礎(chǔ)上,引入指令學(xué)習(xí),可以遠(yuǎn)超模型微調(diào)帶來的收益。在此基礎(chǔ)上,人類的反饋可以幫助模型更好地理解人類意圖和接收信息,人機(jī)對話也就越來越流暢。
“ChatGPT在底層數(shù)據(jù)、核心技術(shù)、用戶體驗(yàn)等各方面都可以說是里程碑式的人工智能產(chǎn)品。”曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨表示,ChatGPT的核心技術(shù)是人工智能語言大模型,其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力,以及如何讓人工智能學(xué)習(xí)全互聯(lián)網(wǎng)的知識(shí)。這些ChatGPT基本都做到了,因此在決策和知識(shí)環(huán)節(jié)有了很大的突破。
國內(nèi)多家科技機(jī)構(gòu)已布局相關(guān)領(lǐng)域
據(jù)外媒報(bào)道,多家國外科技巨頭正重金投入預(yù)訓(xùn)練模型和人工智能生成內(nèi)容(AIGC)賽道。記者了解到,國內(nèi)已有不少科技機(jī)構(gòu)和企業(yè)布局相關(guān)領(lǐng)域。
張家興告訴記者,IDEA研究院認(rèn)知計(jì)算與自然語言研究中心在此方向上布局已久,該中心擁有國內(nèi)最大的開源模型體系——封神榜,已開源的98個(gè)模型正在全力支持中國AIGC的發(fā)展,探索研發(fā)適配各個(gè)領(lǐng)域的個(gè)性化可定制模型,支持全部自然語言處理(NLP)任務(wù)。
“很高興能在深度學(xué)習(xí)高速發(fā)展的第十年節(jié)點(diǎn)上,看到AIGC和ChatGPT的出現(xiàn),今天所有這些自然語言處理任務(wù)正在被統(tǒng)一到ChatGPT模式下,我們也正在整合之前的模型和技術(shù),推出我們的類ChatGPT模型。”張家興說。
記者從百度獲悉,百度已投入開發(fā)類似ChatGPT的相關(guān)技術(shù),該項(xiàng)目名字確定為文心一言,英文名ERNIE Bot,3月份完成內(nèi)測后面向公眾開放。目前,文心一言在做上線前的沖刺。
“ChatGPT主要涉及自然語言處理相關(guān)技術(shù),屬于認(rèn)知智能領(lǐng)域的應(yīng)用之一,科大訊飛在該方向的技術(shù)和應(yīng)用方面具備長期深厚的積累。”2月8日晚,科大訊飛在投資者互動(dòng)平臺(tái)回應(yīng)稱,公司已面向認(rèn)知智能領(lǐng)域陸續(xù)開源了6大類、超過40個(gè)通用領(lǐng)域的系列中文預(yù)訓(xùn)練語言模型,并于去年12月啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān),人工智能學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品,今年5月將進(jìn)行產(chǎn)品級(jí)發(fā)布。
此外,360公司2月7日在投資者互動(dòng)平臺(tái)表示,該公司也計(jì)劃盡快推出類ChatGPT技術(shù)的原型版產(chǎn)品。“AIGC技術(shù)除了在搜索引擎的應(yīng)用之外,還可以輔助數(shù)字安全能力的提升。”360公司稱。(記者 劉園園)(記者操秀英、劉艷對此文亦有貢獻(xiàn))
這段時(shí)間,一款名叫ChatGPT的人工智能聊天系統(tǒng)就像平地起春雷,突然刷爆網(wǎng)絡(luò)。
“從目前普遍的對話感受來看,ChatGPT的最大亮點(diǎn)就在于其優(yōu)秀的意圖識(shí)別與語言理解能力,這令人意識(shí)到人工智能的交互能力已經(jīng)實(shí)現(xiàn)了跨越式進(jìn)展。”易觀智慧院高級(jí)分析師陳晨評(píng)價(jià)。
有問必答,侃侃應(yīng)對。這種神奇的人機(jī)互動(dòng)體驗(yàn),勾起人們絞盡腦汁向ChatGPT提問的熱情,并為其帶來驚人的用戶量:該系統(tǒng)在兩個(gè)多月前由美國人工智能研究公司OpenAI推出,今年1月便已達(dá)到1億月活躍用戶,用戶增長速度堪稱史無前例。
這款產(chǎn)品大受歡迎,其重要幕后功臣是被業(yè)內(nèi)稱為預(yù)訓(xùn)練模型的技術(shù)。面對ChatGPT的爆火,國內(nèi)科技機(jī)構(gòu)和企業(yè)紛紛“亮劍”。據(jù)最新消息,中國版ChatGPT將于下個(gè)月與公眾見面。
參數(shù)規(guī)模從幾百萬狂飆至幾千億
“目前,預(yù)訓(xùn)練技術(shù)是人工智能研究的重要突破口。”阿里研究院未來技術(shù)中心負(fù)責(zé)人蘇中解讀,傳統(tǒng)的研究方法中,標(biāo)注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙,而預(yù)訓(xùn)練技術(shù)不依賴數(shù)據(jù)標(biāo)注,就可以訓(xùn)練出一個(gè)大規(guī)模深度學(xué)習(xí)模型。
科技日報(bào)記者了解到,由于不需要數(shù)據(jù)標(biāo)注,預(yù)訓(xùn)練模型往往可以使用更大的數(shù)據(jù)集,因而可以選擇更大的模型規(guī)模——這就催生了預(yù)訓(xùn)練大模型。
“與以往的人工神經(jīng)網(wǎng)絡(luò)相比,預(yù)訓(xùn)練大模型最大的不同在于它規(guī)模足夠大,深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)多、連接多、參數(shù)多。”IDEA研究院(粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院)認(rèn)知計(jì)算與自然語言研究中心講席科學(xué)家張家興接受記者采訪時(shí)介紹,2012年前后的深度學(xué)習(xí)網(wǎng)絡(luò)只有幾百萬參數(shù);2018年前后主流的預(yù)訓(xùn)練模型達(dá)到1億參數(shù);目前被證明非常有效的大規(guī)模預(yù)訓(xùn)練模型已有幾千億參數(shù),短短幾年時(shí)間提升了幾千倍。
量變引起質(zhì)變。蘇中分析,在對預(yù)訓(xùn)練模型各種不同的技術(shù)評(píng)測中,算法性能展示了一個(gè)規(guī)律:數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多,算法輸出精度往往也越高。
除了規(guī)模大以外,張家興談到,目前的預(yù)訓(xùn)練大模型由于采用了新的結(jié)構(gòu)模型,非常適合并行訓(xùn)練。同時(shí),在訓(xùn)練方式上,人工神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練任務(wù)類似“解題”,比如把一句話的某個(gè)詞或前半句去掉,讓預(yù)訓(xùn)練模型利用海量大數(shù)據(jù)對句子進(jìn)行恢復(fù),這樣訓(xùn)練下去,預(yù)訓(xùn)練模型的“解題”能力就會(huì)越來越好。而且,在大語言模型的基礎(chǔ)上,引入指令學(xué)習(xí),可以遠(yuǎn)超模型微調(diào)帶來的收益。在此基礎(chǔ)上,人類的反饋可以幫助模型更好地理解人類意圖和接收信息,人機(jī)對話也就越來越流暢。
“ChatGPT在底層數(shù)據(jù)、核心技術(shù)、用戶體驗(yàn)等各方面都可以說是里程碑式的人工智能產(chǎn)品。”曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨表示,ChatGPT的核心技術(shù)是人工智能語言大模型,其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力,以及如何讓人工智能學(xué)習(xí)全互聯(lián)網(wǎng)的知識(shí)。這些ChatGPT基本都做到了,因此在決策和知識(shí)環(huán)節(jié)有了很大的突破。
國內(nèi)多家科技機(jī)構(gòu)已布局相關(guān)領(lǐng)域
據(jù)外媒報(bào)道,多家國外科技巨頭正重金投入預(yù)訓(xùn)練模型和人工智能生成內(nèi)容(AIGC)賽道。記者了解到,國內(nèi)已有不少科技機(jī)構(gòu)和企業(yè)布局相關(guān)領(lǐng)域。
張家興告訴記者,IDEA研究院認(rèn)知計(jì)算與自然語言研究中心在此方向上布局已久,該中心擁有國內(nèi)最大的開源模型體系——封神榜,已開源的98個(gè)模型正在全力支持中國AIGC的發(fā)展,探索研發(fā)適配各個(gè)領(lǐng)域的個(gè)性化可定制模型,支持全部自然語言處理(NLP)任務(wù)。
“很高興能在深度學(xué)習(xí)高速發(fā)展的第十年節(jié)點(diǎn)上,看到AIGC和ChatGPT的出現(xiàn),今天所有這些自然語言處理任務(wù)正在被統(tǒng)一到ChatGPT模式下,我們也正在整合之前的模型和技術(shù),推出我們的類ChatGPT模型。”張家興說。
記者從百度獲悉,百度已投入開發(fā)類似ChatGPT的相關(guān)技術(shù),該項(xiàng)目名字確定為文心一言,英文名ERNIE Bot,3月份完成內(nèi)測后面向公眾開放。目前,文心一言在做上線前的沖刺。
“ChatGPT主要涉及自然語言處理相關(guān)技術(shù),屬于認(rèn)知智能領(lǐng)域的應(yīng)用之一,科大訊飛在該方向的技術(shù)和應(yīng)用方面具備長期深厚的積累。”2月8日晚,科大訊飛在投資者互動(dòng)平臺(tái)回應(yīng)稱,公司已面向認(rèn)知智能領(lǐng)域陸續(xù)開源了6大類、超過40個(gè)通用領(lǐng)域的系列中文預(yù)訓(xùn)練語言模型,并于去年12月啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān),人工智能學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品,今年5月將進(jìn)行產(chǎn)品級(jí)發(fā)布。
此外,360公司2月7日在投資者互動(dòng)平臺(tái)表示,該公司也計(jì)劃盡快推出類ChatGPT技術(shù)的原型版產(chǎn)品。“AIGC技術(shù)除了在搜索引擎的應(yīng)用之外,還可以輔助數(shù)字安全能力的提升。”360公司稱。(記者 劉園園)(記者操秀英、劉艷對此文亦有貢獻(xiàn))