批量對網站的url進行采集,全百科關鍵詞URL采集工具支持不同的搜索引擎,批量自動處理,重復數據刪除,使用非常的方便。
軟件優勢
支持多搜索引擎,很方便添加集成。(已內置了百度,搜狗,360),結構模塊化,很方便進行擴展,可以無限添加。
做了兼容性優化。
支持自動過濾重復內容,支持過濾標題中存在指定關鍵詞的內容,支持過濾域名;
從搜索引擎采集到的地址,是真實網站地址,不是像百度快照那樣的三方地址;
多進程同時采集。每個搜索引擎都單獨一個進程;
可靈活的通過配置文件自定義要保存的結果格式。比如只輸出帶參數的原始真實URL,或者只輸出域名,或者同時輸出標題,搜索引擎名稱。
可自定義每頁采集時間間隔,防止被屏蔽;
URL格式語法
URL由三部分組成:資源類型、存放資源的主機域名、資源文件名。
也可認為由4部分組成:協議、主機、端口、路徑
URL的一般語法格式為:
(帶方括號[]的為可選項):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
- PC官方版
- 安卓官方手機版
- IOS官方手機版