在AI技術(shù)飛速發(fā)展的當下，AI大模型的應(yīng)用正從云端向端側(cè)加速滲透。
作為全球領(lǐng)先的物聯(lián)網(wǎng)整體解決方案供應(yīng)商，移遠通信憑借深厚的技術(shù)積累與前瞻性的戰(zhàn)略布局，在AI大模型端側(cè)部署的賽道上率先發(fā)力，其端側(cè)AI大模型解決方案備受矚目，為AI設(shè)備的革新注入了澎湃動力。
萬億級市場藍海顯現(xiàn)，端側(cè)AI大模型加速落地
近年來，端側(cè)AI市場呈現(xiàn)出驚人的增長態(tài)勢。據(jù)頭豹研究院發(fā)布的《2024 年中國端側(cè) AI 場景應(yīng)用分析：智能終端與邊緣計算的融合創(chuàng)新》報告預(yù)測，2023年中國端側(cè) AI 市場規(guī)模達1,939億元，預(yù)計2028年將增至19,071億元，年均復(fù)合增長率高達58%。
從千億級邁向萬億級，這一數(shù)據(jù)背后，是端側(cè)設(shè)備對智能化、實時性需求的爆發(fā)式增長。然而，端側(cè)AI的崛起并非偶然。通過將AI大模型部署在端側(cè)，不僅解決了云端部署在網(wǎng)絡(luò)延遲、隱私安全、算力成本等方面的問題，更釋放了設(shè)備端的算力潛力，為AI應(yīng)用的深度拓展提供了可能。
在應(yīng)用方面，端側(cè)AI大模型的落地速度遠超預(yù)期。在CES 2025上，AI PC、AI手機、AI眼鏡、AI智能家電等一系列具備AI能力的終端設(shè)備紛紛亮相，充分展示了端側(cè)AI的無限可能。
三大核心驅(qū)動力, 端側(cè)AI部署正當時
當前，端側(cè)AI的部署正以前所未有的速度推進。這背后離不開以下三大核心驅(qū)動力的支撐。
端側(cè)AI算力的提升。面向端側(cè)AI應(yīng)用，移遠通信打造了豐富的AI算力模組，其中，SG885G基于高通QCS8550平臺開發(fā)，AI綜合算力高達48 TOPS，能夠輕松滿足復(fù)雜模型本地化推理的算力需求。
AI模型小型化發(fā)展。DeepSeek的出現(xiàn)，以及量化和蒸餾技術(shù)的應(yīng)用，推動了AI模型的小型化發(fā)展。現(xiàn)階段，3B或4B參數(shù)級別的AI模型已等效于之前的7B參數(shù)AI模型，這使得小算力芯片、小容量存儲以及小BOM設(shè)計就能實現(xiàn)高性能的端側(cè)AI方案。
客戶需求的拉動。AI大模型的端側(cè)部署方式具備諸多優(yōu)勢，不僅確保了終端設(shè)備的實時響應(yīng)和隱私安全，還能在無網(wǎng)環(huán)境下保持穩(wěn)定運行，同時顯著降低推理成本，這極大地激發(fā)了客戶在端側(cè)部署AI的積極性。
移遠端側(cè)大模型解決方案：技術(shù)三角重構(gòu)智能邏輯
在AI大模型領(lǐng)域，移遠通信率先布局，于2024年8月份便推出了AI大模型解決方案，為AI大模型技術(shù)在端側(cè)的落地做好了充分準備。
移遠通信端側(cè)AI大模型解決方案以“LLM（大語言模型）+ RAG（檢索增強生成）+ Agent（智能體）”技術(shù)三角為核心，通過對AI模型的深度優(yōu)化與增強，重新定義了 AI 端側(cè)設(shè)備的智能化邏輯。
該方案基于移遠高算力AI模組SG885G-WF，其48 TOPS的AI綜合算力可為方案功能的實現(xiàn)提供充足的算力支持。同時，方案在全語音鏈路上實現(xiàn)了無縫銜接與高效運行，從KWS語音喚醒到VAD人聲檢測，再到ASR語音識別，最后通過TTS語音播報，能夠為用戶帶來更自然的語音交互以及更加個性化的服務(wù)體驗。
得益于移遠通信全方位的工程能力，其端側(cè)AI大模型解決方案可廣泛應(yīng)用于機器人、醫(yī)療診斷、教育學(xué)習(xí)機、智能座艙、智能客服、智能點單機、PDA、對講機、陪伴玩具、智能網(wǎng)關(guān)、廣告機等眾多場景。
日前，移遠通信聯(lián)合德壹發(fā)布的AI具身理療機器人，便是基于其端側(cè)AI大模型解決方案打造的。該機器人在無需理療師介入、無網(wǎng)絡(luò)連接的環(huán)境下，能夠快速且準確地理解用戶指令和意圖，高效完成通用聊天、醫(yī)療領(lǐng)域RAG問答、指令控制等任務(wù)，充分展現(xiàn)了移遠端側(cè)AI大模型解決方案的實用價值。
AI大模型端側(cè)部署的時代已全面開啟。接下來，移遠通信將持續(xù)深化AI算力平臺迭代，推出具備更高算力的AI模組，將 AI 大模型的能力拓展至更多的端側(cè)場景，為推動端側(cè)AI技術(shù)的發(fā)展和應(yīng)用貢獻更多力量。 
