火車采集器電腦版應(yīng)用擴(kuò)展圖文教學(xué)

火車采集器是一款通用型的采集器，可以滿足大部分?jǐn)?shù)據(jù)抓取的需要，火車采集器可以同時(shí)運(yùn)行多個(gè)任務(wù)，采集不同的網(wǎng)站或同一站點(diǎn)下的不同的欄目。您可以在任務(wù)列表樹里同時(shí)選中運(yùn)行多個(gè)任務(wù)或是設(shè)置自動運(yùn)行，有計(jì)劃的調(diào)度多個(gè)任務(wù)。同一站點(diǎn)下建議一次運(yùn)行一到兩個(gè)任務(wù)，以防止網(wǎng)址數(shù)據(jù)庫操作頻繁而鎖死。

火車采集器電腦版應(yīng)用擴(kuò)展圖文教學(xué)圖1

如上圖的。用戶如果需要在列表當(dāng)中添加字段，archives 和addonarticle.這個(gè)用戶注意的是列表當(dāng)中數(shù)據(jù)表擁有前綴，通常這就是用來插入ID記錄的。這個(gè)數(shù)據(jù)表前輟是可以使用多個(gè)的，應(yīng)注意的是那個(gè)表里應(yīng)有個(gè)自增字段。其它的update，delete等語句也是可以使用的(比如 delete * from table aaa)。入庫方式適合一般數(shù)據(jù)格式而不是很復(fù)雜的數(shù)據(jù)庫操作。如果是多表操作且表間關(guān)系復(fù)雜最好用web發(fā)布方式.

火車采集器電腦版應(yīng)用擴(kuò)展圖文教學(xué)圖2

另外的一些SQL函數(shù)也是支持的，比如替換標(biāo)題內(nèi)容，可以這樣使用:

UPDATE table set 字段名=REPLACE(字段名，'原字符串'，'替換的字符串') where 判斷語句

入庫只是執(zhí)行用戶的簡單的SQL語句，所以請?jiān)谌霂烨斑M(jìn)行測試，保存語句的正確.測試工作為入庫配置管理器(程序?yàn)長ocoyDatabase.exe).

火車采集器電腦版應(yīng)用擴(kuò)展圖文教學(xué)圖3

使用外部編程插件，可以對你的數(shù)據(jù)做任意你想要的處理。處理過程是采集器先獲取網(wǎng)頁內(nèi)容，然后將網(wǎng)頁內(nèi)容，網(wǎng)頁地址等數(shù)據(jù)傳遞給插件，插件可以針對傳送過來的數(shù)據(jù)做處理，然后返回一定格式的數(shù)據(jù)給采集器.目前火車采集器里有四個(gè)位置可以使用插件.

1.采網(wǎng)址:是采集器對網(wǎng)址列表里的網(wǎng)址請求完數(shù)據(jù)未分析源碼前給插件使用.

2.采內(nèi)容:采集默認(rèn)頁后返回源代碼給插件處理.

3.采多頁:在多頁采集時(shí)每個(gè)頁面都將使用.

4.保存時(shí):在采集器處理完數(shù)據(jù)，保存數(shù)據(jù)到數(shù)據(jù)庫之前，在網(wǎng)頁內(nèi)容符合排除條件之前處理.

具體的插件開發(fā)請配合插件管理器進(jìn)行開發(fā).

具體插件的開發(fā)，請點(diǎn)擊插件管理器里的新建按鈕，即可以查看到相應(yīng)的開發(fā)文件和開發(fā)示例.

如下是幾個(gè)簡單的PHP插件中可能使用到的小程序.

第一個(gè)，如果標(biāo)題小于一定字節(jié)，就用其它的字符替換掉標(biāo)題。