一種快速大規(guī)模影像數(shù)據(jù)分布式流水線處理方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN201910322709.6 申請日 -
公開（公告）號 CN110059124A 公開（公告）日 2019-07-26
申請公布號 CN110059124A 申請公布日 2019-07-26
分類號 G06F16/25（2019.01）I; G06F16/182（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 任現(xiàn)超; 羅丙慶; 羅頂林; 湯勇 申請（專利權(quán)）人 上海飛未信息技術(shù)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 201108 上海市閔行區(qū)光華路2118號第3幢五層B537室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種快速大規(guī)模影像數(shù)據(jù)分布式流水線處理方法和系統(tǒng)，其方法包括以下步驟：A、分布式存儲：Apache Avro是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持大批量數(shù)據(jù)交換的應(yīng)用；B、分布式計(jì)算：基于JTS框架，實(shí)現(xiàn)了一系列支持Spark分布式計(jì)算的影像數(shù)據(jù)分布式計(jì)算方法。本發(fā)明使用Hadoop HDFS分布式文件系統(tǒng)及Accumulo key?value數(shù)據(jù)庫，解決了大規(guī)?？臻g數(shù)據(jù)的分布式存儲問題，借助于Spark大數(shù)據(jù)計(jì)算框架，支持影像數(shù)據(jù)的快速分析計(jì)算，有效提高了大規(guī)模影像數(shù)據(jù)處理效率，解決了大規(guī)?？臻g數(shù)據(jù)的分布式計(jì)算問題，使用基于Spark的影像數(shù)據(jù)處理流水線技術(shù)，方便影像數(shù)據(jù)的自動化處理及與應(yīng)用系統(tǒng)的結(jié)合，解決了大規(guī)模影像數(shù)據(jù)高效、離線或?qū)崟r(shí)自動化處理問題。