一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202010030599.9 申請日 -
公開（公告）號 CN111240843A 公開（公告）日 2020-06-05
申請公布號 CN111240843A 申請公布日 2020-06-05
分類號 G06F9/50(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 余虹建;李錦豐 申請（專利權(quán)）人 北京聚云立方科技有限公司
代理機構(gòu) 北京市廣友專利事務(wù)所有限責(zé)任公司 代理人 北京獵豹移動科技有限公司;北京聚云立方科技有限公司
地址 100041北京市石景山區(qū)實興大街30號院3號樓2層A-0071號
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例公開一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及計算機技術(shù)領(lǐng)域，能夠有效提高模型訓(xùn)練中訓(xùn)練數(shù)據(jù)的獲取速度。所述數(shù)據(jù)獲取方法，包括：確定訓(xùn)練數(shù)據(jù)集所需的數(shù)據(jù)存儲空間與內(nèi)存剩余空間的大小關(guān)系；在所述數(shù)據(jù)存儲空間大于所述內(nèi)存剩余空間的情況下，根據(jù)預(yù)設(shè)策略，在所述訓(xùn)練數(shù)據(jù)集中選擇至少一個文件為目標(biāo)文件；將所述目標(biāo)文件存儲在預(yù)先建立的數(shù)據(jù)變量中，以便從所述數(shù)據(jù)變量中獲取所述目標(biāo)文件。本發(fā)明適用于機器學(xué)習(xí)的模型訓(xùn)練中。??