如何采集腳本顯示商品信息的網(wǎng)頁(yè)? ET采集使用教程

一些網(wǎng)站的內(nèi)容，是用腳本顯示的，以阿里巴巴的商品詳情為例：
當(dāng)我們從阿里巴巴的商品網(wǎng)頁(yè)源代碼中搜索詳細(xì)信息時(shí)，會(huì)發(fā)現(xiàn)網(wǎng)頁(yè)源代碼中沒有這些數(shù)據(jù)。這是因?yàn)榘⒗锇桶偷纳唐吩敿?xì)信息是用AJAX技術(shù)動(dòng)態(tài)顯示的，也就是通常所說(shuō)的腳本顯示。因此要獲取詳細(xì)信息，只要找到這個(gè)包含商品詳細(xì)信息的腳本網(wǎng)址即可。

1、獲得腳本網(wǎng)址

直接分析網(wǎng)頁(yè)源代碼對(duì)于不夠精通HTML語(yǔ)言、JS語(yǔ)言的朋友來(lái)說(shuō)比較困難，因此我們通過一些工具能快速找到這個(gè)網(wǎng)址，例如最新IE8/IE9里的開發(fā)人員工具、抓包軟件等都可以。

例如，在IE中，按F12打開開發(fā)人員工具后，點(diǎn)腳本，然后在搜索欄里輸入一句商品詳細(xì)信息中的字符串，就可以快速找到這個(gè)腳本并獲得它的網(wǎng)址；

（注：使用抓包軟件的獲得網(wǎng)址的方法，請(qǐng)用戶自行百度該軟件教程）

通過工具軟件，我們能快速找到這個(gè)腳本網(wǎng)址類似“laputa.china.alibaba.com/offer/ajax/OfferDesc.do?offerId=XXXX&callback=rndXXXX”

這個(gè)網(wǎng)址有兩個(gè)參數(shù)，我們只能從商品網(wǎng)頁(yè)源代碼中獲得offerid=xxx這一個(gè)參數(shù)（最新版ET的采集頁(yè)下級(jí)頁(yè)面分析規(guī)則支持多參數(shù)），所以我們嘗試將第二個(gè)參數(shù)callback=rndXXXX去掉來(lái)訪問這個(gè)網(wǎng)址，但不能獲得正確的內(nèi)容。

然后我們?cè)賹⑦@個(gè)參數(shù)改為一個(gè)固定值，例如callback=rnd1，然后訪問網(wǎng)址“laputa.china.alibaba.com/offer/ajax/OfferDesc.do?offerId=XXXX&callback=rnd1”。

查看結(jié)果，我們獲得了正確的商品信息內(nèi)容。

由此可知，第2個(gè)參數(shù)不影響我們采集信息，只需要把它改為隨便一個(gè)固定值即可。

2、設(shè)置采集配置-采集頁(yè)

現(xiàn)在我們使用采集配置-采集頁(yè)功能，在內(nèi)容頁(yè)中用“下級(jí)頁(yè)面網(wǎng)址規(guī)則”的頁(yè)面地址標(biāo)記獲得參數(shù)offerId的值，然后在“下級(jí)頁(yè)面網(wǎng)址合成”中，合成為“laputa.china.alibaba.com/offer/ajax/OfferDesc.do?offerId=<%fileid%>&callback=rnd1”，然后新建一個(gè)采集頁(yè)“商品詳細(xì)信息頁(yè)”。

3、關(guān)聯(lián)數(shù)據(jù)項(xiàng)

正確設(shè)置用于采集商品信息的數(shù)據(jù)項(xiàng)的分析規(guī)則，然后在采集配置-采集頁(yè)中將它關(guān)聯(lián)到“商品詳細(xì)信息頁(yè)”。

到此，關(guān)于這個(gè)商品詳細(xì)信息的相關(guān)設(shè)置就已經(jīng)完成。

最后和一般采集規(guī)則做各個(gè)相同的設(shè)置步驟即可，我們采集如淘寶等其他用腳本顯示內(nèi)容的網(wǎng)頁(yè)時(shí)都可以使用這種方法。

ET采集 3.4 免費(fèi)版

• 軟件性質(zhì)：國(guó)產(chǎn)軟件
• 授權(quán)方式：免費(fèi)版
• 軟件語(yǔ)言：簡(jiǎn)體中文
• 軟件大�。�18097 KB
• 下載次數(shù)：997 次
• 更新時(shí)間：2019/4/3 22:08:02
• 運(yùn)行平臺(tái)：WinXP,Win7...
• 軟件描述：ET采集，網(wǎng)站更新必備的采集軟件，無(wú)需人工值守，24小時(shí)自動(dòng)實(shí)時(shí)監(jiān)控目標(biāo)，實(shí)時(shí)高... [立即下載]