火車采集器功能介紹和使用技巧

火車頭采集器是一款非常好用的互聯(lián)網(wǎng)爬蟲工具，采用VisualC#編寫產(chǎn)品，專業(yè)用于互聯(lián)網(wǎng)的數(shù)據(jù)抓取、分析、處理、挖掘。軟件綠色安全，安裝便捷，其主要被用于進行網(wǎng)絡數(shù)據(jù)處理，可以靈活迅速地抓取網(wǎng)頁中大量非結構化的文本。火車頭采集器提供一站式高效采集服務，通過一系列的分析處理，支持多類型數(shù)據(jù)庫，采用多線程采集方式，準確挖掘出所需數(shù)據(jù)，其強大的識別系統(tǒng)，積累了大量用戶和良好口碑，能夠準確識別各種編碼文字，滿足不同的數(shù)據(jù)處理需求。

火車采集器功能介紹和使用技巧圖1

火車采集器功能介紹和使用技巧圖2

1.新建分組

選擇所屬分組，新建一個任務分組，確定分組名稱和備注。

2.新建任務

新建一個任務，確定所屬分組，填寫任務名稱并保存。

3.Web發(fā)布配置

定義登陸一個網(wǎng)站以及向該網(wǎng)站提交數(shù)據(jù)。涉及到網(wǎng)站編碼設定，登錄信息的獲取，欄目列表的獲取。

4.Web發(fā)布模塊

獲取欄目列表，可以定義網(wǎng)站登錄，獲取網(wǎng)頁隨機值，內(nèi)容發(fā)布參數(shù)，構造發(fā)布數(shù)據(jù)等高級功能。

5.數(shù)據(jù)庫發(fā)布配置

定義數(shù)據(jù)庫鏈接信息的設置以及數(shù)據(jù)庫模塊的選擇。

6.數(shù)據(jù)庫發(fā)布模塊

用于編輯數(shù)據(jù)庫的發(fā)布模塊，火車采集器可選四種數(shù)據(jù)庫類型，方便我們將數(shù)據(jù)發(fā)布到配置好的數(shù)據(jù)庫中。在采集器模塊文件夾中加載，在文本輸入框中填寫sql語句。

7.計劃任務

設置列表中采集任務的啟動計劃，保存設置后，任務即可按照設置執(zhí)行。

8.插件管理

插件是可以用來擴展火車采集器功能的程序，支持三種類型的插件，可用于擴展http請求，并可以分別進行測試。

9.http二級代理

可以讓網(wǎng)絡用戶去取得所需要的網(wǎng)絡信息�？梢酝黄谱陨韎p的訪問限制訪問國外站點，訪問一些單位或團體內(nèi)部資源。

火車采集器功能介紹和使用技巧圖3

火車采集器功能介紹和使用技巧圖4

采集規(guī)則制作的第一步驟，進行起始網(wǎng)址設置，點擊向?qū)�添加，出現(xiàn)如下界面。

有批量網(wǎng)址，普通網(wǎng)址，文本導入3種方式。

火車采集器功能介紹和使用技巧圖5

1、普通網(wǎng)址：不做任何解析，以一行一個的形式直接加入網(wǎng)址。

2、批量網(wǎng)址：以通用的表達式，批量生成網(wǎng)址。

3、文本導入：文本為一行一個的網(wǎng)址，以文本導入的形式。

如需轉換原有數(shù)據(jù)庫請勾選“轉換內(nèi)容庫”，否則數(shù)據(jù)庫內(nèi)容將被清空.