交通行業(yè)的 AI 應(yīng)用場(chǎng)景目前主要涵蓋交通公共服務(wù)體驗(yàn)優(yōu)化、汽車(chē)等交通工具的智能化升級(jí)和物流的智能化轉(zhuǎn)型。大部分應(yīng)用場(chǎng)景仍在項(xiàng)目實(shí)驗(yàn)階段。此階段需要有效地平衡項(xiàng)目需求、成本和開(kāi)發(fā)效率。
在項(xiàng)目預(yù)演階段中,通常小規(guī)模算力就可以滿足需求。此階段主要是對(duì)模型的可行性、架構(gòu)設(shè)計(jì)的合理性以及算法的有效性進(jìn)行初步驗(yàn)證,此時(shí)模型規(guī)模相對(duì)較小,參數(shù)數(shù)量和復(fù)雜度都處于較低水平。
例如,在構(gòu)建一個(gè)簡(jiǎn)單的文本分類(lèi)預(yù)演模型時(shí),可能只需要訓(xùn)練幾萬(wàn)到幾十萬(wàn)的參數(shù),小規(guī)模算力足以支持模型在較短時(shí)間內(nèi)完成訓(xùn)練和評(píng)估。等到模型進(jìn)入正式訓(xùn)練和優(yōu)化階段,才會(huì)對(duì)算力有更高的要求。
我們今天就幾種主要的 AI 場(chǎng)景,談?wù)剬?duì)于處在項(xiàng)目預(yù)演階段的團(tuán)隊(duì),值得嘗試的一些高效又經(jīng)濟(jì)的本地化硬件部署方案。
1
目前在開(kāi)發(fā)的智慧交通大模型面向的公共服務(wù)體驗(yàn)場(chǎng)景非常多元,例如:
報(bào)告生成類(lèi):很多團(tuán)隊(duì)在本地化部署大語(yǔ)言模型,主要使用 AI 生成交通違規(guī)報(bào)告,加快交通事故處理效率;
咨詢(xún)服務(wù)類(lèi):部分團(tuán)隊(duì)借助大語(yǔ)言模型 ,正在基于現(xiàn)有的交通標(biāo)準(zhǔn)規(guī)范、學(xué)科教材、交通知識(shí)等材料搭建用于交通知識(shí)問(wèn)答的大模型,希望為出行者、企業(yè)等提供便捷精準(zhǔn)的交通咨詢(xún)服務(wù);
業(yè)務(wù)辦理類(lèi):有些團(tuán)隊(duì)利用現(xiàn)有的路網(wǎng)數(shù)據(jù),訓(xùn)練用于交通情況預(yù)測(cè)、智能咨詢(xún)和 AI 輔助辦理業(yè)務(wù)的大模型;
資源調(diào)度類(lèi):還有團(tuán)隊(duì)在考慮利用 DeepSeek 的深度推理能力,對(duì)歷史流量、天氣、事件等多源數(shù)據(jù)進(jìn)行融合分析,開(kāi)發(fā)出大模型能夠動(dòng)態(tài)地優(yōu)化信號(hào)燈控制策略,提升路口通行效率和交通資源利用率。
這其中,報(bào)告生成類(lèi)任務(wù)主要基于 DeepSeek 等模型進(jìn)行部署,通常為長(zhǎng)文本生成場(chǎng)景,咨詢(xún)服務(wù)類(lèi)則多為短文本生成,模型以 DeepSeek R1 70B、32B、通義千問(wèn) QWQ 32B 為主,主要采用的推理精度為 FP16。在項(xiàng)目預(yù)演階段,采用搭載 NVIDIA RTX? GPU 的平臺(tái)可以在1周內(nèi)完成模型部署并啟動(dòng)研究工作。
NVIDIA RTX? GPU 屬于 NVIDIA 企業(yè)級(jí)顯卡,兼具有圖形處理和 AI 能力,安培架構(gòu)被稱(chēng)為“卡皇”的 NVIDIA RTX? A6000 就是屬于該系列的顯卡。目前 NVIDIA RTX? A6000 已停產(chǎn),性能更強(qiáng)的 NVIDIA Ada Lovelace 架構(gòu)顯卡為 NVIDIA RTX? 5000 Ada (32GB)、NVIDIA RTX? 5880 Ada (48GB)。
*測(cè)試數(shù)據(jù)來(lái)源:贊奇科技
*詳細(xì)測(cè)試數(shù)據(jù)可掃描底部二維碼登記獲取
2
車(chē)企正在布局開(kāi)發(fā)更多的 AI 場(chǎng)景,包括 AI 工廠機(jī)器人、車(chē)內(nèi) AI Agent 應(yīng)用等。
工廠 AI 機(jī)器人
AI 機(jī)器人逐步開(kāi)始在工廠流水線的一些特定環(huán)節(jié)中“打工”,逐步嘗試著未來(lái)能降本增效。AI 機(jī)器人場(chǎng)景對(duì)硬件設(shè)備的 AI 與圖形處理能力均有要求。目前,機(jī)器人仿真測(cè)試任務(wù)主流基于 NVIDIA Isaac Sim? 平臺(tái),同時(shí)采用的是NVIDIA Isaac? Lab 進(jìn)行強(qiáng)化學(xué)習(xí),還需要通過(guò) DeepSeek 等大語(yǔ)言模型的推理能力來(lái)實(shí)現(xiàn)語(yǔ)音交互。此類(lèi)場(chǎng)景中,NVIDIA RTX GPU 可以同時(shí)滿足 AI 和圖形需求,我們以搭載 NVIDIA RTX 5000 Ada 的計(jì)算平臺(tái)為例,來(lái)看看一些開(kāi)發(fā)場(chǎng)景中的 GPU 消耗、可以適配的部署方案及其預(yù)期效果。
*測(cè)試數(shù)據(jù)來(lái)源:贊奇科技
*詳細(xì)測(cè)試數(shù)據(jù)可掃描底部二維碼登記獲取
車(chē)內(nèi) AI Agent
車(chē)內(nèi)的 Agent 應(yīng)用已經(jīng)在如火如荼地開(kāi)發(fā)進(jìn)程中,場(chǎng)景不限于出行伴侶、旅行專(zhuān)家、用車(chē)助手等。很多開(kāi)發(fā)團(tuán)隊(duì)嘗試借助 DeepSeek、QWQ 的深度推理能力,實(shí)現(xiàn)多情感、多模態(tài)的超擬人交互。隨著 Manus AI Agent 的出現(xiàn),對(duì)于 Agent 的市場(chǎng)關(guān)注度和開(kāi)發(fā)熱度也有所提升。
在項(xiàng)目前期開(kāi)發(fā)階段,AI Agent 會(huì)以相對(duì)簡(jiǎn)單的場(chǎng)景來(lái)實(shí)現(xiàn)快速落地,開(kāi)發(fā)團(tuán)隊(duì)用于模型訓(xùn)練和推理測(cè)試的規(guī)模并不是非常龐大的,但依然需要較強(qiáng)的算力來(lái)支持不同的算法模型。NVIDIA RTX 5880 Ada 無(wú)論在計(jì)算能力還是圖形能力上,都在 NVIDIA RTX 系列 GPU 中首屈一指。NVIDIA RTX 5880 Ada 單卡能力超強(qiáng),這能夠?yàn)楹罄m(xù)機(jī)器的擴(kuò)展留有較大的空間,畢竟隨著 AI Agent 功能的完善,即使是項(xiàng)目前期預(yù)演階段,算力需求也會(huì)在增長(zhǎng)。
由于 AI Agent 具體的應(yīng)用場(chǎng)景、功能需求和數(shù)據(jù)規(guī)模差異比較大,我們需要根據(jù)具體情況來(lái)評(píng)估所需的算力規(guī)模,并且不斷通過(guò)測(cè)試來(lái)匹配開(kāi)發(fā)效果預(yù)期。如果需要詳細(xì)評(píng)估與提前測(cè)試,可掃描下方二維碼登記,后續(xù)會(huì)有技術(shù)人員來(lái)跟進(jìn)。
上一篇: 2024年國(guó)內(nèi)B2B交易平臺(tái)分析
下一篇:沒(méi)有了
違法和不良信息舉報(bào)投訴電話:0377-62377728 舉報(bào)郵箱:fbypt@ex12580.com
網(wǎng)絡(luò)警察提醒你 a>
中國(guó)互聯(lián)網(wǎng)舉報(bào)中心
網(wǎng)絡(luò)舉報(bào)APP下載
掃黃打非網(wǎng)舉報(bào)專(zhuān)區(qū)