一種大數(shù)據(jù)存儲優(yōu)化的方法及裝置

基本信息

申請?zhí)?/td> CN202010534111.6 申請日 -
公開（公告）號 CN111694520A 公開（公告）日 2020-09-22
申請公布號 CN111694520A 申請公布日 2020-09-22
分類號 G06F3/06 分類 計算；推算；計數(shù);
發(fā)明人 董新建;董瑞朝;李貞 申請（專利權(quán)）人 邦尼集團(tuán)有限公司
代理機(jī)構(gòu) 西安泛想力專利代理事務(wù)所（普通合伙） 代理人 石琳丹
地址 250000 山東省濟(jì)南市高新區(qū)舜華路1號齊魯軟件園創(chuàng)業(yè)廣場B座三層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其為一種大數(shù)據(jù)存儲優(yōu)化的方法及裝置，其中，一種裝置，包括存儲內(nèi)存集合或單元，存儲節(jié)點管理單元，第一記錄單元，第一寫入模塊，第二記錄單元，存儲數(shù)據(jù)接收模塊，解碼模塊，編譯模塊以及處理模塊，一種方法，基于上述的裝置，本發(fā)明的整體思想是將存儲內(nèi)存分割成多個存儲節(jié)點，編輯存儲節(jié)點的儲屬性及存儲規(guī)則，將待存儲數(shù)據(jù)進(jìn)行解碼，將解碼后的待存儲數(shù)據(jù)按照待存儲數(shù)據(jù)的文件屬性寫入其存儲屬性，并按照對應(yīng)的存儲規(guī)則進(jìn)行分類，根據(jù)所述存儲規(guī)則以及存儲容量的選擇，處理模塊利用冗余數(shù)據(jù)識別方法識別待存儲數(shù)據(jù)中的冗余數(shù)據(jù)，然后在冗余數(shù)據(jù)中寫入對應(yīng)虛擬位置的節(jié)點碼，并存儲在對應(yīng)的存儲節(jié)點中。