基于Storm的食品數(shù)據(jù)并行計(jì)算一致性問(wèn)題的優(yōu)化方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201810498850.7 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN108875786B | 公開(kāi)（公告）日 | 2021-04-09 |
| 申請(qǐng)公布號(hào) | CN108875786B | 申請(qǐng)公布日 | 2021-04-09 |
| 分類(lèi)號(hào) | G06K9/62(2006.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 江志英;朱群雄;陳愷;李芳;許方舳;高堰瀘;王旭;劉璐 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 食品安全與營(yíng)養(yǎng)（貴州）信息科技有限公司 |
| 代理機(jī)構(gòu) | 北京太兆天元知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 | 代理人 | 張洪年 |
| 地址 | 100029北京市朝陽(yáng)區(qū)北三環(huán)東路15號(hào)北京化工大學(xué) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于Storm的食品數(shù)據(jù)并行計(jì)算一致性問(wèn)題的優(yōu)化方法，首先獲取食品事件數(shù)據(jù)，其次對(duì)每個(gè)事件進(jìn)行single?pass聚類(lèi)，然后通過(guò)動(dòng)態(tài)獲取簇增量和延時(shí)計(jì)算兩種方式解決數(shù)據(jù)不一致的問(wèn)題，從而實(shí)現(xiàn)流式數(shù)據(jù)聚類(lèi)，用于發(fā)現(xiàn)輿論導(dǎo)向，對(duì)公眾關(guān)注點(diǎn)進(jìn)行快速響應(yīng)。本發(fā)明提供的基于Storm的食品數(shù)據(jù)并行計(jì)算一致性問(wèn)題的優(yōu)化方法通過(guò)Storm分布式框架并行處理以及動(dòng)態(tài)獲取簇增量和隨機(jī)延時(shí)的方法提高了輿情數(shù)據(jù)的處理效率和準(zhǔn)確率，解決了并行處理數(shù)據(jù)不一致以及遍歷簇次數(shù)過(guò)多的問(wèn)題。因此，本發(fā)明提供的技術(shù)方案實(shí)現(xiàn)了基于Storm框架的single?pass算法，而且對(duì)single?pass算法進(jìn)行了改進(jìn)，大大提高了運(yùn)算效率，提高了優(yōu)化方法的時(shí)效性。?? |
