時(shí)間:2017-04-27 14:29:44 作者:不思議游戲 瀏覽量:118
此項(xiàng)包含不使用代理,使用IE瀏覽器代理,使用指定代理三種模式。
其中指定代理模式可以設(shè)置固定的一個(gè)代理或者二級(jí)代理隨機(jī)切換IP采集。
接下來(lái),我們來(lái)了解下二級(jí)隨機(jī)代理的設(shè)置
開(kāi)始菜單--http二級(jí)代理
①二級(jí)代理設(shè)置界面
②頁(yè)面緩存:使用二級(jí)代理采集時(shí),同一個(gè)網(wǎng)址,多次的請(qǐng)求中,原頁(yè)面可能并不存在任何的更新,所以直接調(diào)用緩存頁(yè)面節(jié)約代理資源,提高了訪問(wèn)速度。通過(guò)設(shè)置網(wǎng)址必須包含和內(nèi)容必須包含,則符合條件的內(nèi)容會(huì)緩存在本地
③選項(xiàng)設(shè)置:二級(jí)代理驗(yàn)證設(shè)置或自動(dòng)撥號(hào)設(shè)置
④運(yùn)行日志
⑤添加
⑥編輯
⑦刪除選中
⑧刪除失效
⑨批量驗(yàn)證:驗(yàn)證IP是否有效
⑩全部設(shè)置為未驗(yàn)證
?批量導(dǎo)入
(1)先準(zhǔn)備好一個(gè)有IP地址的TXT文件導(dǎo)入
格式為:ip:端口,一行一個(gè)
點(diǎn)擊?批量導(dǎo)入--瀏覽--選中 代理.txt 文件。 這樣,代理IP 就導(dǎo)入進(jìn)來(lái)了,如圖:
(2)設(shè)置端口/設(shè)置選項(xiàng)設(shè)置
設(shè)置端口,默認(rèn)是8888
根據(jù)采集的網(wǎng)站地址來(lái)設(shè)置驗(yàn)證
比如我們采集 http://www.locoy.com/ 那么我們就可以根據(jù)這個(gè)地址來(lái)設(shè)置,
查看此網(wǎng)頁(yè)源代碼,找個(gè)在正常訪問(wèn)時(shí)含有的某個(gè)字符串做標(biāo)識(shí)(注意:當(dāng)不正常訪問(wèn)時(shí),比如封IP時(shí),就不含有此字符),在這里可以根據(jù) <title>火車采集器軟件 來(lái)判斷,如下圖:
(3)批量驗(yàn)證/刪除失效/任務(wù)開(kāi)啟二級(jí)代理
接下來(lái),進(jìn)行批量驗(yàn)證,然后刪除失效代理后,留下來(lái)的就是有效代理了。
如何開(kāi)啟任務(wù)二級(jí)代理?
采集規(guī)則--其他設(shè)置--代理設(shè)置--使用指定代理
點(diǎn)擊使用采集器二級(jí)代理,服務(wù)器為127.0.0.1 ,
端口與之前我們?cè)O(shè)置的端口保持一致即可。
最后,我們來(lái)了解下自動(dòng)撥號(hào)的設(shè)置
自動(dòng)撥號(hào)功能,對(duì)于用寬帶撥號(hào)上網(wǎng)的用戶,可以通過(guò)重新?lián)芴?hào)來(lái)達(dá)到更換ip的效果。
自動(dòng)撥號(hào)的2種方式:
1,定時(shí)撥號(hào),通過(guò)設(shè)置間隔時(shí)間,每隔多久重新?lián)芴?hào)。
2,根據(jù)http響應(yīng)字符來(lái)重新?lián)芴?hào),比如當(dāng)前ip被服務(wù)器禁止,
服務(wù)返回 包含“禁止訪問(wèn)”的html代碼,則可以將特征字符設(shè)置為
“禁止訪問(wèn)”,程序檢測(cè)到該字符串則重新?lián)芴?hào)。
開(kāi)始菜單--http二級(jí)代理--選項(xiàng)設(shè)置
設(shè)置好端口,和自動(dòng)撥號(hào)設(shè)置即可
然后開(kāi)啟任務(wù)的自動(dòng)撥號(hào)
采集規(guī)則--其他設(shè)置--代理設(shè)置--使用指定代理
點(diǎn)擊使用采集器二級(jí)代理,服務(wù)器為127.0.0.1 ,端口與之前我們?cè)O(shè)置的端口保持一致即可。