火車頭采集器數(shù)據(jù)處理圖文教學(xué)

火車采集器是一款專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件，自定義用戶cms系統(tǒng)模塊，不管你的網(wǎng)站是什么系統(tǒng)，都有可能使用上火車采集器，支持采集數(shù)據(jù)直接入庫和模仿手工發(fā)布等許多功能特點(diǎn)，能夠解析文件真實(shí)地址并且下載，擁有強(qiáng)大的采集功能，能夠采集那些需要登陸才能查看的內(nèi)容信息，能夠快速的對(duì)網(wǎng)頁上數(shù)據(jù)信息進(jìn)行規(guī)范性的采集，完善采集包括文本、圖片、文件等信息，以完成您在瀏覽器內(nèi)能看到的各類信息的提取，json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計(jì)數(shù)法問題處理，需要的朋友趕緊下載體驗(yàn)吧！

1: 自動(dòng)獲取cookie功能優(yōu)化

2: 數(shù)據(jù)庫發(fā)布增加事務(wù)，優(yōu)化數(shù)據(jù)庫發(fā)布速度

3: 數(shù)據(jù)轉(zhuǎn)換速度優(yōu)化（針對(duì)Mysql和SqlServer數(shù)據(jù)庫的導(dǎo)入）， 同時(shí)去除網(wǎng)址庫的清空邏輯

4: html標(biāo)簽處理錯(cuò)誤問題處理

5: json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計(jì)數(shù)法問題處理

6: 發(fā)布測(cè)試時(shí)，圖片上傳無效的問題處理

7: 采集內(nèi)容頁處理錯(cuò)誤時(shí)，增加對(duì)于當(dāng)前出錯(cuò)標(biāo)簽的提示，以便快速定位出錯(cuò)標(biāo)簽

8: 任務(wù)批量編輯，增加可操作范圍

1）提取內(nèi)容為空：如果提取內(nèi)容為空，則使用正則匹配從原始頁面中再次提取

2）內(nèi)容替換/排除：將采集到的內(nèi)容進(jìn)行字符串替換，如需排除，則替換為空字符串即可

3）html標(biāo)簽過濾：過濾指定html標(biāo)簽，比如<a ，<font

4）字符截�。和ㄟ^開始和結(jié)束字符串對(duì)內(nèi)容進(jìn)行截取

5）純正則替換：通過強(qiáng)大的正則表達(dá)式進(jìn)行復(fù)雜的替換。

6）數(shù)據(jù)轉(zhuǎn)換：包括將結(jié)果簡(jiǎn)轉(zhuǎn)繁、將結(jié)果繁轉(zhuǎn)簡(jiǎn)、自動(dòng)轉(zhuǎn)化為拼音和時(shí)間修正轉(zhuǎn)化

7）智能提�。喊�括提取第一張圖片、智能提取時(shí)間、智能提取郵箱、智能提取手機(jī)號(hào)碼、智能提取電話號(hào)碼

8）高級(jí)功能：包括自動(dòng)摘要、自動(dòng)分詞、Http請(qǐng)求、字符編碼轉(zhuǎn)換、同義詞替換、空內(nèi)容缺省值、內(nèi)容加前后綴、隨機(jī)插入、運(yùn)行C#代碼、批量?jī)?nèi)容替換，統(tǒng)計(jì)標(biāo)簽字符串長(zhǎng)度等一系列功能。

9）補(bǔ)全單網(wǎng)址：將當(dāng)前內(nèi)容作為一個(gè)網(wǎng)址進(jìn)行補(bǔ)全。

10）文件下載：可以自動(dòng)探測(cè)并下載文件，可設(shè)置下載路徑和文件名樣式。

11）內(nèi)容過濾：對(duì)于一些不符合條件的記錄，可以通過設(shè)置內(nèi)容過濾來刪除或標(biāo)記為未采。

火車頭采集器數(shù)據(jù)處理圖文教學(xué)圖1

內(nèi)容分頁有2種列出模式：a.首頁全部列出，b.上下頁模式。

首頁全部列出模式適用于分頁地址全部顯示出來的情況，如下圖：

火車頭采集器數(shù)據(jù)處理圖文教學(xué)圖2

上下頁模式適用用分頁地址僅列出一部分的情況，如下圖

火車頭采集器數(shù)據(jù)處理圖文教學(xué)圖3