一種檢測(cè)HDFS小文件和數(shù)據(jù)傾斜的自動(dòng)化測(cè)試方法及工具

基本信息

申請(qǐng)?zhí)?/td> CN202111122262.1 申請(qǐng)日 -
公開（公告）號(hào) CN114168527A 公開（公告）日 2022-03-11
申請(qǐng)公布號(hào) CN114168527A 申請(qǐng)公布日 2022-03-11
分類號(hào) G06F16/11（2019.01）I;G06F16/182（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳燦;王一君;邱林;王光華 申請(qǐng)（專利權(quán)）人 杭州覽眾數(shù)據(jù)科技有限公司
代理機(jī)構(gòu) 杭州君度專利代理事務(wù)所（特殊普通合伙） 代理人 朱月芬
地址 310000浙江省杭州市濱江區(qū)西興街道物聯(lián)網(wǎng)街451號(hào)芯圖大廈17層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種檢測(cè)HDFS小文件和數(shù)據(jù)傾斜的自動(dòng)化測(cè)試方法及工具。本發(fā)明具體包括以下步驟：（1）首先，在PostgreSQL數(shù)據(jù)庫(kù)創(chuàng)建用例表及測(cè)試結(jié)果表，用于后續(xù)存儲(chǔ)測(cè)試用例和測(cè)試結(jié)果；（2）根據(jù)數(shù)據(jù)測(cè)試需求，在數(shù)據(jù)庫(kù)表中配置測(cè)試用例；（3）讀取并解析用例表中的測(cè)試用例數(shù)據(jù)；（4）執(zhí)行代碼類調(diào)用Shell腳本；（5）獲取Shell腳本返回的結(jié)果，對(duì)比測(cè)試結(jié)果與期望結(jié)果的一致性；（6）將測(cè)試結(jié)果寫表存儲(chǔ)。本方法及工具亦可保存歷史已配置好的用例，進(jìn)行自動(dòng)化回歸測(cè)試，以及可運(yùn)用在基于相同產(chǎn)品架構(gòu)下的不同定制項(xiàng)目中，本數(shù)據(jù)測(cè)試方法及工具可極大提升測(cè)試工作效率。