在線客服
企業(yè)微信
“紫東.太初”2.0發(fā)布:探索通用人工智能的又一跨越
近期，在人工智能框架生態(tài)峰會2023上，中國科學(xué)院自動化研究所所長徐波正式發(fā)布了“紫東.太初”全模態(tài)大模型，實時展示了大模型在音樂理解與生成、三維場景導(dǎo)航、信號理解、多模態(tài)對話等多項強大功能。
據(jù)了解，“紫東.太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東.太初”1.0基礎(chǔ)上升級打造的2.0版本。其在語音、圖像和文本三模態(tài)的基礎(chǔ)上，加入了視頻、信號、3D點云等模態(tài)數(shù)據(jù)，突破了認(rèn)知增強的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。
從多模態(tài)走向全模態(tài) 認(rèn)知能力是關(guān)鍵
2019年開始，中科院自動化所在語音、文本、圖像等單模態(tài)大模型研究和應(yīng)用基礎(chǔ)上，瞄準(zhǔn)多模態(tài)大模型領(lǐng)域開始聯(lián)合攻關(guān)。2021年正式發(fā)布了千億參數(shù)多模態(tài)大模型“紫東.太初”1.0，助推人工智能從“一專一能”邁向“多專多能”。
徐波表示，人類的學(xué)習(xí)跟交互都是利用多模態(tài)進行的，要實現(xiàn)更高水平的智能，必須具備多模態(tài)能力。因此，“紫東.太初”大模型一開始就是沿著多模態(tài)的技術(shù)路線在進行。
“‘紫東.太初’1.0大模型不斷加強應(yīng)用的過程中，我們發(fā)現(xiàn)了很多新的需求。比如從工業(yè)智能角度來看，有很多像溫度、濕度、壓力、液位測量等參數(shù)需要處理。從醫(yī)療場景看，有很多體檢結(jié)構(gòu)數(shù)據(jù)還有異構(gòu)醫(yī)療影像數(shù)據(jù)等。通過分析這些結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，我們認(rèn)識到，只有對這些數(shù)據(jù)從簡單的采集、統(tǒng)計、分析上升到對這些數(shù)據(jù)的認(rèn)知，才能真正把我們帶向智能化社會，也才能在更寬、更高的維度上認(rèn)知世界、改變世界。”徐波提到。
因此，抓住“認(rèn)知能力”這個牛鼻子，“紫東.太初”2.0全模態(tài)大模型實現(xiàn)了全方位升級。從技術(shù)架構(gòu)上實現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開放式接入，突破了多模態(tài)分組認(rèn)知編解碼技術(shù)、認(rèn)知增強多模態(tài)關(guān)聯(lián)技術(shù)等，多模態(tài)認(rèn)知能力大幅提高。
整合多方資源 探索通用人工智能產(chǎn)業(yè)化路徑
會上，徐波展示了“紫東.太初”全模態(tài)認(rèn)知大模型透過《月光曲》暢談貝多芬的故事，以及在三維場景里實現(xiàn)精準(zhǔn)定位，通過圖像與聲音的結(jié)合完成場景分析。
相較“紫東.太初”1.0大模型，2.0著力提升了決策與判斷能力，實現(xiàn)了從感知、認(rèn)知到?jīng)Q策的跨越。這意味著在實際應(yīng)用場景中，它將能夠為行業(yè)創(chuàng)造更大價值。
提及“紫東.太初”全模態(tài)大模型當(dāng)前在行業(yè)中的應(yīng)用，他提到，在神經(jīng)外科手術(shù)導(dǎo)航、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域已開啟了一系列引領(lǐng)性、示范性應(yīng)用。
特別是在醫(yī)療場景中，“紫東.太初”大模型部署于神經(jīng)外科機器人MicroNeuro，可實現(xiàn)在醫(yī)療手術(shù)中實時融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進行實時推理判斷。此外，通過與北京協(xié)和醫(yī)院合作，利用“紫東.太初”較強的邏輯推理能力，正在嘗試解決人類罕見病診療這個挑戰(zhàn)性醫(yī)學(xué)領(lǐng)域。
值得一提的是，“紫東.太初”大模型以中科院自動化所自研算法為核心，以昇騰AI硬件及昇思MindSporeAI框架為基礎(chǔ)，由武漢人工智能計算中心提供算力支持。
徐波表示：“我們在大模型的技術(shù)研究基礎(chǔ)上進行開放服務(wù)平臺開發(fā)，希望整合產(chǎn)學(xué)研資源打造多模態(tài)人工智能行業(yè)應(yīng)用，探索通用人工智能產(chǎn)業(yè)化的路徑。”
下一步，中科院自動化所以“紫東.太初”全模態(tài)大模型為基礎(chǔ)，將持續(xù)探索與類腦智能、博弈智能等技術(shù)路徑的相互融合，最終實現(xiàn)可自主進化的通用人工智能，并將探索在更多領(lǐng)域發(fā)揮賦能價值，為促進我國數(shù)字經(jīng)濟快速發(fā)展貢獻力量。
近期，在人工智能框架生態(tài)峰會2023上，中國科學(xué)院自動化研究所所長徐波正式發(fā)布了“紫東.太初”全模態(tài)大模型，實時展示了大模型在音樂理解與生成、三維場景導(dǎo)航、信號理解、多模態(tài)對話等多項強大功能。
據(jù)了解，“紫東.太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東.太初”1.0基礎(chǔ)上升級打造的2.0版本。其在語音、圖像和文本三模態(tài)的基礎(chǔ)上，加入了視頻、信號、3D點云等模態(tài)數(shù)據(jù)，突破了認(rèn)知增強的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。
從多模態(tài)走向全模態(tài) 認(rèn)知能力是關(guān)鍵
2019年開始，中科院自動化所在語音、文本、圖像等單模態(tài)大模型研究和應(yīng)用基礎(chǔ)上，瞄準(zhǔn)多模態(tài)大模型領(lǐng)域開始聯(lián)合攻關(guān)。2021年正式發(fā)布了千億參數(shù)多模態(tài)大模型“紫東.太初”1.0，助推人工智能從“一專一能”邁向“多專多能”。
徐波表示，人類的學(xué)習(xí)跟交互都是利用多模態(tài)進行的，要實現(xiàn)更高水平的智能，必須具備多模態(tài)能力。因此，“紫東.太初”大模型一開始就是沿著多模態(tài)的技術(shù)路線在進行。
“‘紫東.太初’1.0大模型不斷加強應(yīng)用的過程中，我們發(fā)現(xiàn)了很多新的需求。比如從工業(yè)智能角度來看，有很多像溫度、濕度、壓力、液位測量等參數(shù)需要處理。從醫(yī)療場景看，有很多體檢結(jié)構(gòu)數(shù)據(jù)還有異構(gòu)醫(yī)療影像數(shù)據(jù)等。通過分析這些結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，我們認(rèn)識到，只有對這些數(shù)據(jù)從簡單的采集、統(tǒng)計、分析上升到對這些數(shù)據(jù)的認(rèn)知，才能真正把我們帶向智能化社會，也才能在更寬、更高的維度上認(rèn)知世界、改變世界。”徐波提到。
因此，抓住“認(rèn)知能力”這個牛鼻子，“紫東.太初”2.0全模態(tài)大模型實現(xiàn)了全方位升級。從技術(shù)架構(gòu)上實現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開放式接入，突破了多模態(tài)分組認(rèn)知編解碼技術(shù)、認(rèn)知增強多模態(tài)關(guān)聯(lián)技術(shù)等，多模態(tài)認(rèn)知能力大幅提高。
整合多方資源 探索通用人工智能產(chǎn)業(yè)化路徑
會上，徐波展示了“紫東.太初”全模態(tài)認(rèn)知大模型透過《月光曲》暢談貝多芬的故事，以及在三維場景里實現(xiàn)精準(zhǔn)定位，通過圖像與聲音的結(jié)合完成場景分析。
相較“紫東.太初”1.0大模型，2.0著力提升了決策與判斷能力，實現(xiàn)了從感知、認(rèn)知到?jīng)Q策的跨越。這意味著在實際應(yīng)用場景中，它將能夠為行業(yè)創(chuàng)造更大價值。
提及“紫東.太初”全模態(tài)大模型當(dāng)前在行業(yè)中的應(yīng)用，他提到，在神經(jīng)外科手術(shù)導(dǎo)航、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域已開啟了一系列引領(lǐng)性、示范性應(yīng)用。
特別是在醫(yī)療場景中，“紫東.太初”大模型部署于神經(jīng)外科機器人MicroNeuro，可實現(xiàn)在醫(yī)療手術(shù)中實時融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進行實時推理判斷。此外，通過與北京協(xié)和醫(yī)院合作，利用“紫東.太初”較強的邏輯推理能力，正在嘗試解決人類罕見病診療這個挑戰(zhàn)性醫(yī)學(xué)領(lǐng)域。
值得一提的是，“紫東.太初”大模型以中科院自動化所自研算法為核心，以昇騰AI硬件及昇思MindSporeAI框架為基礎(chǔ)，由武漢人工智能計算中心提供算力支持。
徐波表示：“我們在大模型的技術(shù)研究基礎(chǔ)上進行開放服務(wù)平臺開發(fā)，希望整合產(chǎn)學(xué)研資源打造多模態(tài)人工智能行業(yè)應(yīng)用，探索通用人工智能產(chǎn)業(yè)化的路徑。”
下一步，中科院自動化所以“紫東.太初”全模態(tài)大模型為基礎(chǔ)，將持續(xù)探索與類腦智能、博弈智能等技術(shù)路徑的相互融合，最終實現(xiàn)可自主進化的通用人工智能，并將探索在更多領(lǐng)域發(fā)揮賦能價值，為促進我國數(shù)字經(jīng)濟快速發(fā)展貢獻力量。
