一種基于爬取技術(shù)的大數(shù)據(jù)采集接口及采集方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201910193666.6 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN109918558A | 公開(kāi)（公告）日 | 2019-06-21 |
| 申請(qǐng)公布號(hào) | CN109918558A | 申請(qǐng)公布日 | 2019-06-21 |
| 分類(lèi)號(hào) | G06F16/951（2019.01）I; G06F16/903（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 馬文; 黃祖源; 耿貞偉; 趙曉平; 蘇文偉; 張新陽(yáng); 李輝; 張雪堅(jiān) | 申請(qǐng)（專(zhuān)利權(quán)）人 | 云南包爾科技有限公司 |
| 代理機(jī)構(gòu) | 昆明潤(rùn)勤同創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所（特殊普通合伙） | 代理人 | 付石健 |
| 地址 | 650000 云南省昆明市拓東路73號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于爬取技術(shù)的大數(shù)據(jù)采集接口及采集方法，其中方法包括以下步驟：通過(guò)爬取模塊從網(wǎng)絡(luò)服務(wù)器中爬取數(shù)據(jù)信息；將爬取模塊爬取的數(shù)據(jù)信息存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊；通過(guò)數(shù)據(jù)分析模塊將爬取模塊爬取的數(shù)據(jù)信息與預(yù)先存儲(chǔ)于對(duì)比模塊內(nèi)的數(shù)據(jù)信息進(jìn)行比對(duì)，得到處理數(shù)據(jù)；將數(shù)據(jù)處理模塊分析處理得到的處理數(shù)據(jù)經(jīng)由發(fā)送模塊發(fā)送至外部接收端。所述爬取模塊定時(shí)爬取數(shù)據(jù)信息。本發(fā)明基于爬取技術(shù)快速有效的采集大數(shù)據(jù)，并可對(duì)大數(shù)據(jù)進(jìn)行提取分析，得到處理數(shù)據(jù)，并快速地發(fā)送至接收端，提高了大數(shù)據(jù)的采集分析效率。 |
