基于大數(shù)據(jù)遙感影像緩存方法
基本信息
| 申請?zhí)?/td> | CN202011437094.0 | 申請日 | - |
| 公開（公告）號 | CN112558869A | 公開（公告）日 | 2021-03-26 |
| 申請公布號 | CN112558869A | 申請公布日 | 2021-03-26 |
| 分類號 | G06F3/06(2006.01)I;G06F16/51(2019.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 于洋;杜毅;劉鑫 | 申請（專利權(quán)）人 | 北京航天世景信息技術(shù)有限公司 |
| 代理機構(gòu) | 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 秦月貞 |
| 地址 | 100089北京市海淀區(qū)長春橋路11號1號樓五層507-510 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于大數(shù)據(jù)遙感影像緩存方法，該方法包括以下步驟：分布式緩存應(yīng)用于海量數(shù)據(jù)存儲，支持集群自動化數(shù)據(jù)分片，進行集群節(jié)點移除緩存或添加緩存；容錯機制，創(chuàng)建數(shù)據(jù)集之間的依賴關(guān)系，根據(jù)依賴關(guān)系中的數(shù)據(jù)集節(jié)點接收到其他節(jié)點發(fā)送的信息時標注失效的節(jié)點，普通數(shù)據(jù)流處理方式，將讀取的數(shù)據(jù)集發(fā)送到各個子節(jié)點中的共享內(nèi)存中，共享內(nèi)存中的數(shù)據(jù)存放硬盤，讀取硬盤中的數(shù)據(jù)進行分割后任務(wù)分發(fā)；排序數(shù)據(jù)流處理方式,將數(shù)據(jù)集讀入工作節(jié)點的內(nèi)存中，工作節(jié)點執(zhí)行進程將內(nèi)存中的數(shù)據(jù)進行排序分配給劃分好的緩存中；聚合數(shù)據(jù)輸出流處理，獲取普通數(shù)據(jù)流，控制句柄執(zhí)行寫操作，寫操作創(chuàng)建磁盤分區(qū)后，將分區(qū)文件進行合并。?? |
