一種在驅(qū)動中直連分片實(shí)現(xiàn)分布式數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入的高性能方法

基本信息

申請?zhí)?/td> CN201510755541.X 申請日 -
公開（公告）號 CN106649418A 公開（公告）日 2017-05-10
申請公布號 CN106649418A 申請公布日 2017-05-10
分類號 G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 不公告發(fā)明人 申請（專利權(quán)）人 江蘇引跑網(wǎng)絡(luò)科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 211100 江蘇省南京市江寧開發(fā)區(qū)將軍大道37號翠屏科創(chuàng)園3層1306室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種驅(qū)動中直連分片實(shí)現(xiàn)分布式數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入的高性能方法。其方法闡述了一個(gè)算法實(shí)現(xiàn)，包括在數(shù)據(jù)庫驅(qū)動中集成分片算法，繞開主控節(jié)點(diǎn)直接連接各分片節(jié)點(diǎn)；對各分片待執(zhí)行SQL建立阻塞隊(duì)列，對SQL重新規(guī)劃批次，按批次提交到分片節(jié)點(diǎn)，寫入數(shù)據(jù)；提供性能優(yōu)先與數(shù)據(jù)安全優(yōu)先兩種分片同步方式。本發(fā)明闡述的方法通過繞開傳統(tǒng)的主控節(jié)點(diǎn)，直連分片節(jié)點(diǎn)，將現(xiàn)有的單步執(zhí)行SQL轉(zhuǎn)換成并行在各分片中按批次執(zhí)行SQL，整個(gè)過程減少了中間處理、傳輸環(huán)節(jié)，大大減輕了網(wǎng)絡(luò)負(fù)載，提高了網(wǎng)絡(luò)利用率，充分地挖掘利用了各分布式節(jié)點(diǎn)的物理資源，從而在分布式數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入的場景中顯著提升了導(dǎo)入性能。