一種基于深度學(xué)習(xí)的非結(jié)構(gòu)化數(shù)據(jù)處理方法

基本信息

申請(qǐng)?zhí)?/td> CN201710044292.2 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN106844636A 公開(kāi)（公告）日 2017-06-13
申請(qǐng)公布號(hào) CN106844636A 申請(qǐng)公布日 2017-06-13
分類(lèi)號(hào) G06F17/30(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 沙云飛;李晨放;趙雪晴;王天然;郝聞眾;丁浣;鄭培晨;宋力 申請(qǐng)（專(zhuān)利權(quán)）人 常州倍源無(wú)限數(shù)據(jù)科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 213000 江蘇省常州市武進(jìn)區(qū)常武中路18—50號(hào)常州科教城創(chuàng)研港5—106
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的非結(jié)構(gòu)化數(shù)據(jù)處理方法，屬于大數(shù)據(jù)處理技術(shù)領(lǐng)域，該基于深度學(xué)習(xí)的非結(jié)構(gòu)化數(shù)據(jù)處理方法，包括：1）非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，基于Hadoop的大數(shù)據(jù)框架，解決非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理、訪問(wèn)；2）非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理，利用大數(shù)據(jù)平臺(tái)的ETL能力，完成數(shù)據(jù)預(yù)處理（清洗、轉(zhuǎn)換、挖掘、搜索）；3）非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理，采用時(shí)空分割、特征提取、對(duì)象識(shí)別等處理手段，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)向信息、情報(bào)的轉(zhuǎn)化；4）非結(jié)構(gòu)化數(shù)據(jù)的處理能力提升，利用深度學(xué)習(xí)算法來(lái)替代手工獲取特征分析。本發(fā)明可以實(shí)現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，支持非結(jié)構(gòu)化數(shù)據(jù)的批量、實(shí)時(shí)處理，增強(qiáng)非結(jié)構(gòu)化數(shù)據(jù)處理的效率、準(zhǔn)確性和合理性。