SparkSQL多表連接優(yōu)化方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

基本信息

申請?zhí)?/td> CN202110570663.7 申請日 -
公開（公告）號 CN113407532A 公開（公告）日 2021-09-17
申請公布號 CN113407532A 申請公布日 2021-09-17
分類號 G06F16/22（2019.01）I;G06F16/242（2019.01）I;G06F16/2453（2019.01）I;G06F16/28（2019.01）I;G06K9/62（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 宋愛波;付豪;方效林;楊明 申請（專利權(quán)）人 南京逸智網(wǎng)絡(luò)空間技術(shù)創(chuàng)新研究院有限公司
代理機(jī)構(gòu) 南京經(jīng)緯專利商標(biāo)代理有限公司 代理人 羅運(yùn)紅
地址 210012江蘇省南京市雨花臺(tái)區(qū)大周路34號科創(chuàng)城B3棟第8層及第7層702、703室
法律狀態(tài) -

摘要

摘要 本申請涉及一種Spark SQL多表連接優(yōu)化方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。該方法包括：獲取根據(jù)目標(biāo)數(shù)據(jù)倉庫設(shè)計(jì)的SQL多表連接查詢語句集；將SQL多表連接查詢語句集劃分為訓(xùn)練集和測試集；根據(jù)訓(xùn)練集和測試集，對預(yù)先構(gòu)建的馬爾可夫決策模型進(jìn)行訓(xùn)練，獲得目標(biāo)數(shù)據(jù)倉庫的多表連接查詢計(jì)劃選擇策略；根據(jù)多表連接查詢計(jì)劃選擇策略，對目標(biāo)數(shù)據(jù)倉庫的數(shù)據(jù)表進(jìn)行連接。解決了Spark SQL現(xiàn)有的查詢優(yōu)化在多表連接查詢計(jì)劃選擇時(shí)效率低、依賴開發(fā)人員經(jīng)驗(yàn)的問題，能夠快速有效地構(gòu)建多表連接查詢執(zhí)行計(jì)劃，從而提高Spark SQL執(zhí)行效率。