自去年來，從Open AI推出O1推理模型，到Anthropic跟進推出非常依賴推理能力的“Computer Use”的Agent功能，再到DeepSeek R1推理模型在全球火爆，以及英偉達在GTC大會上亮相首款推理模型、首個推理軟件等，這些科技巨頭的動作一再揭示一個趨勢——AI大模型的競爭焦點已經轉向AI推理，AI推理時代已經到來。
面對新興的AI推理需求，推理性能、效率以及成本毫無疑問是最核心的問題，而邊緣計算在靠近數據生成源的地方進行處理和推理，具有低延遲、數據隱私保護和高效能等優勢，被視作AI推理的理想位置，由此將成為競爭的新戰場。
在DeepSeek出現之前，AI大模型的部署與訓練需要大量的資金投入和大規模算力的部署、維護，中小企業很難自建生態以進行大模型的開發，同時也受制于AI大模型閉源帶來的部署與使用門檻。
而DeepSeek采用大規模跨節點專家并行的模式，利用強
化學習來減少人工依賴和數據缺失的問題，通過全面開源的方式，將AI推理資源池成本降到百卡/千卡范圍，真正降低AI大模型在行業用戶環境中的部署與使用成本，同時，部署方式更加輕量、靈活，為行業提供了全新的解決方案。短短兩個月的時間，國內外的科技、金融、政務、
能源、通信、汽車、高校等各行各業均已紛紛接入DeepSeek，用于業務提效和AI應用創新。
這讓更多人以更低成本享受到了AI的高性能，加速了端側AI的爆發與普及，同時也推動了AI格局向大規模推理轉變。
由于AI推理會為終端用戶運行工作負載，響應速度和位置尤為關鍵，這意味著在邊緣或邊緣云環境中進行推理更有優勢。對于企業而言，靠近節點的邊緣云可以有效提高數據交互和AI推理的即時性與效率，并保障信息安全。
具體來看，邊緣計算地理分布廣泛，更靠近用戶，是低延遲體驗的必要條件。同時邊緣計算通過縮短交互鏈路，能夠大幅降低數據傳輸開銷和成本。以語音數字人場景為例，相較中心云，在靠近用戶的邊緣側接入，使得語音數據傳輸鏈路短，用戶體驗明顯優于中心推理，而相較設備端，又可以降低對終端設備的依賴，模型能力的優化升級更加簡便。
其次，邊緣節點容量大、健壯性強、可用性高，疊加邊緣推理后，更具智能、更加高效，能夠更好支撐企業數字化、智能化;并且邊緣計算還能保障業務連續性，通過業務調度能力實現節點故障時的快速切換。
再者，在邊緣側可以提供更多能力，比如邊緣緩存，實現交互內容的就近存儲，減少網絡流量、提升模型的實時性，比如集成安全的邊緣防護，增強大模型部署和應用的安全性。
AI推理市場的主要競爭者包括AI硬件廠商、模型廠商以及AI服務提供商，可以看到，參與者們已經在瞄準邊緣計算進行布局。
比如硬件層面，蘋果、高通等廠商積極研發邊緣AI芯片，應用在AI手機和機器人上，支撐邊緣端的大模型運行；Arm發布了邊緣AI計算平臺，可運行超10億參數的端側AI模型；國科微推出了AI邊緣計算芯片，可適配包括輕量級LLM語言大模型、AIGC生成式模型、CV大模型以及多模態大模型等。
平臺服務層面，英特爾推出了基于英特爾銳炫TM顯卡的邊緣端AI推理解決方案，提升AI推理速度；阿里云推出了邊緣容器云，助力開發者實現更快速的AI推理應用的迭代和部署；網宿科技打造了邊緣AI平臺，提供ServerlessGPU、邊緣AI網關、邊緣模型微調與推理服務等，幫助企業低成本、高效率地實現AIGC創新。
目前AI推理市場正處于快速發展期，競爭格局尚未完全固化。專家認為，未來市場競爭的核心要素在于成本/性能的計算，即包括推理成本、延遲和吞吐量。
聚焦到邊緣計算這一切入點，資源與技術能力將是參與者競爭取勝的關鍵。
以網宿科技為例，作為邊緣計算領域的頭部玩家，于2011年就已探索邊緣計算，早已形成從資源、產品、能力、安全到應用的一體化布局。資源方面，網宿在全球擁有近3000個節點資源和豐富的GPU算力資源，更貼近業務邊緣，具有低時延優勢，例如在與大模型交互的鏈路中，能夠將模型交互效率提升2-3倍。
而在技術能力上，網宿沉淀了完備的技術棧，依托異構計算資源的虛擬化和容器化、全球海量節點的編排管理等關鍵技術，能夠支撐大規模模型能力的調度和運營，為企業提供高可用服務；此外，還通過邊緣函數自定義更多個性化的功能，結合企業業務場景提供個性化的智能解決方案。
據悉，網宿邊緣AI平臺已經深入醫療、家居、媒體、互聯網等行業，應用于AI輔助開發、AI問答、AIOT、AI評論等場景，比如網宿利用RAG技術構建知識庫，并結合邊緣AI推理模型，為某醫療企業構建了智能AI問答系統，明顯提升了醫療咨詢的效率。
可以預見，隨著模型技術的不斷演進和邊緣計算能力的持續提升，AI推理將迎來一場革新，為產業帶來更多創新機遇。
浙公網安備 33010602002722號
昵稱 驗證碼 請輸入正確驗證碼
所有評論僅代表網友意見，與本站立場無關