什么是高質量數據集?簡單來說,就是高價值、高密度、標準化的數據。
“數據之于大模型,就像石油之于汽車。原油只有經過一系列復雜的過程煉化成汽油后,才能供汽車使用。同樣,海量原始數據需要經過‘煉化’形成高質量數據集,才能助力大模型精準學習數據特征與規(guī)律,有效提升其對不同場景和任務的適應能力?!敝袊畔⑼ㄐ叛芯吭焊痹洪L魏亮告訴記者,數據集的質量影響人工智能的“智商”,近期發(fā)布的深度求索系列模型訓練中,大量使用了高質量推理數據集,凸顯了高質量數據的重要性,“大模型與垂直領域深度融合,同樣也需高質量數據集的支撐?!?
建設高質量數據集,有關方面在積極行動。國家數據局等17部門聯合印發(fā)的《“數據要素×”三年行動計劃(2024—2026年)》提出,“推動科研機構、龍頭企業(yè)等開展行業(yè)共性數據資源庫建設,打造高質量人工智能大模型訓練數據集”。第八屆數字中國建設峰會上,國務院國資委發(fā)布首批10余個行業(yè)、30項央企人工智能行業(yè)高質量數據集,涵蓋了電網調度AI負荷預測數據集、核電SPV設備健康診斷、運行異常及故障預測數據集、金融大模型數據集等。
“隨著基礎模型開源態(tài)勢的形成,各方在算力和模型算法層面的差距正在不斷收窄,數據要素價值更加凸顯,已成為人工智能競爭的核心領域?!眹鴦赵簢Y委規(guī)劃發(fā)展局副局長胡武婕表示,要推動行業(yè)高質量數據集加速匯聚共享,為人工智能產業(yè)提供充足“養(yǎng)分”,從而持續(xù)進行不同場景的訓練優(yōu)化,推動基礎模型在千行百業(yè)落地應用。
目前,高質量數據集建設還存在不少挑戰(zhàn)。魏亮說,一方面,行業(yè)大模型對數據的需求多樣,不同行業(yè)部門對模型場景數據的需求各不相同,增加了數據處理和管理的復雜度。另一方面,在行業(yè)大模型的實際建設中,對于構建和采買的數據沒有統一衡量標準,不同行業(yè)、不同數據源的數據完整性和準確性可能參差不齊,影響了大模型的訓練效果和預測準確性,造成訓練資源浪費。
4月30日,《高質量數據集建設指南(征求意見稿)》發(fā)布。全國數據標準化技術委員會提出,將強化標準引領,分三類建設高質量數據集:一類為“通識數據集”,包含面向社會公眾、無需專業(yè)背景即可理解的通用知識,主要用于支撐通用模型落地應用;一類為“行業(yè)通識數據集”,包含面向行業(yè)從業(yè)人員、需要一定專業(yè)背景才能理解的行業(yè)領域通用知識,主要用于支撐行業(yè)模型落地應用;一類為“行業(yè)專識數據集”,包含面向特定業(yè)務場景相關人員、需要較深的專業(yè)背景才能理解的行業(yè)領域專業(yè)知識,主要用于支撐業(yè)務場景模型落地應用。
國家數據局副局長夏冰表示,數據集的質效提升是人工智能賦能實體經濟的“催化劑”,下一步,國家數據局將構建部際聯通、央地協同的工作機制,推動高質量數據集標準體系研究,促進數據、技術、場景對接,構建多元協同的數據標注產業(yè)生態(tài),夯實人工智能發(fā)展數據根基
上一篇:沒有了
下一篇: 一文講清大數據的管理與應用方案
違法和不良信息舉報投訴電話:0377-62377728 舉報郵箱:fbypt@ex12580.com