C114訊2月26日消息（趙婷婷）隨著5G網(wǎng)絡(luò)的普及與邊緣計算技術(shù)的飛速發(fā)展，終端側(cè)AI的應用場景愈發(fā)廣泛，不僅降低了數(shù)據(jù)傳輸過程中的時延問題，還確保了數(shù)據(jù)在本地處理的安全性和私密性。如今，終端側(cè)AI的商用進程已經(jīng)開始。
2月26日，2024年世界移動通信大會（以下簡稱MWC2024）在西班牙巴塞羅那正式拉開帷幕。作為通信和AI技術(shù)的領(lǐng)軍企業(yè)，高通宣布推出全新的高通AI Hub，為開發(fā)者打造獲取開發(fā)資源的中心，從而基于驍龍或高通平臺打造AI應用。
高通AI Hub提供全面優(yōu)化的AI模型庫支持
高通技術(shù)公司產(chǎn)品市場高級總監(jiān)Ignacio Contreras指出，終端側(cè)AI已經(jīng)到來，終端側(cè)AI能夠為用戶帶來即時性、可靠性、隱私以及個性化等諸多優(yōu)勢。當前需要為開發(fā)者提供更多的支持，賦能其打造全新的、令人期待的應用。高通AI Hub為開發(fā)者提供全面優(yōu)化的AI模型庫支持，包括傳統(tǒng)AI模型和生成式AI模型，能夠跨驍龍和高通平臺部署。
具體而言，開發(fā)者只需選擇應用所需的模型（例如Baichuan-7B），以及其開發(fā)應用所使用的框架（例如Pytorch、Tensorflow），之后確定目標平臺，例如一款特定型號的手機、或者一款特定型號的高通平臺（例如第三代驍龍8），高通AI Hub就可以為開發(fā)者提供面向其指定應用、指定平臺進行優(yōu)化的模型。
“開發(fā)者只需要幾行代碼就可以獲取模型，并將模型集成進應用程序。”Ignacio Contreras說道。
與此同時，高通AI Hub將支持超過75個AI模型，包括傳統(tǒng)AI模型和生成式AI模型。通過對這些模型進行優(yōu)化，開發(fā)者運行AI推理的速度將提升高達4倍。不僅是速度提升，優(yōu)化后的模型占用的內(nèi)存帶寬和存儲空間也將減少，從而實現(xiàn)更高的能效和更持久的電池續(xù)航。
“這些優(yōu)化模型將在高通AI Hub、以及HuggingFace和GitHub上提供，讓開發(fā)者能夠?qū)I模型便捷地集成到工作流中。”
展示多款“首個”多模態(tài)大模型
此次MWC2024，除發(fā)布高通AI Hub之外，高通還展示了多款“首個”多模態(tài)大模型。
據(jù)Ignacio Contreras介紹，高通展示了全球首個在搭載第三代驍龍8的Android手機上運行的多模態(tài)大模型，此次演示中這個超過70億參數(shù)的LMM，可支持文本、語音和圖像輸入，能基于輸入的內(nèi)容及時響應，進行多輪對話，并且更好地保護隱私。
高通還在搭載全新驍龍X Elite平臺的Windows PC上，帶來另一個多模態(tài)AI的演示。據(jù)介紹，這是全球首個在Windows PC上運行的音頻推理多模態(tài)大模型，它能理解鳥鳴、音樂或家中的不同聲音，并且能夠基于這些信息進行對話，為用戶提供幫助。
另外，高通首個在Android手機上運行的LoRA模型能夠在不改變底層模型的前提下，調(diào)整或定制模型的生成內(nèi)容。通過使用很小的適配器（大小僅為模型的2%，便于下載），個性化定制整個生成式AI模型的行為，可根據(jù)不同個人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。
不僅如此，Ignacio Contreras還表示，驍龍X Elite圖像生成速度是x86競品的3倍。使用分別搭載驍龍X Elite和搭載市場中常見X86芯片的兩臺筆記本電腦進行對比，并同時運行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）進行AI圖像生成。驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競品（22.26秒）的3倍。驍龍X Elite的NPU運算能力高達45TOPS，大幅領(lǐng)先于競品。 
