一種把異構(gòu)數(shù)據(jù)文件中的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)的方法

基本信息

申請(qǐng)?zhí)?/td> CN202011337828.8 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN112328542A 公開(kāi)(公告)日 2021-02-05
申請(qǐng)公布號(hào) CN112328542A 申請(qǐng)公布日 2021-02-05
分類號(hào) G06F16/11(2019.01)I; 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 張振華;陳歡;崔金旭;陳晨 申請(qǐng)(專利權(quán))人 天津凱發(fā)電氣股份有限公司
代理機(jī)構(gòu) 天津企興智財(cái)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 李彥彥
地址 300384天津市濱海新區(qū)新產(chǎn)業(yè)園區(qū)華苑產(chǎn)業(yè)區(qū)物華道8號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種把異構(gòu)數(shù)據(jù)文件中的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)的方法,包括獲取配置信息,根據(jù)配置信息初始化文件搜索器、文件分配器、N個(gè)文件隊(duì)列和N個(gè)文件入庫(kù)任務(wù);文件搜索器在指定路徑下搜索數(shù)據(jù)文件,搜索到數(shù)據(jù)文件后進(jìn)行有效性檢查,然后把有效的數(shù)據(jù)文件交給文件分配器;文件分配器依據(jù)負(fù)載均衡算法把數(shù)據(jù)文件路徑放入相應(yīng)文件隊(duì)列中;文件入庫(kù)任務(wù)讀取對(duì)應(yīng)文件隊(duì)列中數(shù)據(jù)文件并導(dǎo)入到數(shù)據(jù)庫(kù)中。本發(fā)明通過(guò)負(fù)載均衡算法實(shí)現(xiàn)數(shù)據(jù)文件的并行導(dǎo)入,充分利用了硬件資源,大大提高存儲(chǔ)效率。??