一種大數(shù)據(jù)存儲(chǔ)優(yōu)化的方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202010534111.6 申請(qǐng)日 -
公開（公告）號(hào) CN111694520B 公開（公告）日 2021-04-27
申請(qǐng)公布號(hào) CN111694520B 申請(qǐng)公布日 2021-04-27
分類號(hào) G06F3/06 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 董新建;董瑞朝;李貞 申請(qǐng)（專利權(quán)）人 邦尼集團(tuán)有限公司
代理機(jī)構(gòu) 西安泛想力專利代理事務(wù)所（普通合伙） 代理人 石琳丹
地址 250000 山東省濟(jì)南市高新區(qū)舜華路1號(hào)齊魯軟件園創(chuàng)業(yè)廣場(chǎng)B座三層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其為一種大數(shù)據(jù)存儲(chǔ)優(yōu)化的方法及裝置，其中，一種裝置，包括存儲(chǔ)內(nèi)存集合或單元，存儲(chǔ)節(jié)點(diǎn)管理單元，第一記錄單元，第一寫入模塊，第二記錄單元，存儲(chǔ)數(shù)據(jù)接收模塊，解碼模塊，編譯模塊以及處理模塊，一種方法，基于上述的裝置，本發(fā)明的整體思想是將存儲(chǔ)內(nèi)存分割成多個(gè)存儲(chǔ)節(jié)點(diǎn)，編輯存儲(chǔ)節(jié)點(diǎn)的儲(chǔ)屬性及存儲(chǔ)規(guī)則，將待存儲(chǔ)數(shù)據(jù)進(jìn)行解碼，將解碼后的待存儲(chǔ)數(shù)據(jù)按照待存儲(chǔ)數(shù)據(jù)的文件屬性寫入其存儲(chǔ)屬性，并按照對(duì)應(yīng)的存儲(chǔ)規(guī)則進(jìn)行分類，根據(jù)所述存儲(chǔ)規(guī)則以及存儲(chǔ)容量的選擇，處理模塊利用冗余數(shù)據(jù)識(shí)別方法識(shí)別待存儲(chǔ)數(shù)據(jù)中的冗余數(shù)據(jù)，然后在冗余數(shù)據(jù)中寫入對(duì)應(yīng)虛擬位置的節(jié)點(diǎn)碼，并存儲(chǔ)在對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。