互聯網數據采集系統
來源：中電科大數據院????
????
發布時間：2023年05月06日????
瀏覽次數：????
??
??
????
產品簡介：適用于各級政府機關和企事業單位中存在PC端網頁、微信公眾號、小程序和手機瀏覽器等內容采集的需求，提供數據爬蟲的自動化配置，解決數據采集困難的問題。
互聯網數據采集平臺基于分布式架構實現，支持多實例分布式部署，包含了數據采集，數據處理（過濾、去重）、數據分發整套流程，采用多進程的方式對任務進行處理。
產品定位：實現互聯網數據多渠道數據采集、實現互聯網數據無侵入式采集、實現數據采集階段的過濾、去重和清洗。
? ? ? ?核心功能：互聯網采集模板配置、互聯網采集任務配置、互聯網采集任務監控
典型場景：以多彩云媒體業務場景為例：基于分布式數據采集架構采集和匯聚各級融媒體中心數據，構建政務領域互聯網數據湖和數據倉庫，為媒體數據融合分析以及各類宣傳文化云業務應用提供數據支撐。
落地案例：多彩貴州宣傳文化云
