爬蟲存在于整個(gè)互聯(lián)網(wǎng)中，很多企業(yè)都需要收集信息。使用爬蟲可以更快的從海量信息中提取出需要的信息，但是其他網(wǎng)站并不想把這些信息白白送人，爬蟲收集的信息也會(huì)對(duì)網(wǎng)站產(chǎn)生影響。所以網(wǎng)站會(huì)采取各種方法，比如IP限制，驗(yàn)證碼限制。對(duì)于IP限制和驗(yàn)證碼限制，可以使用代理IP和驗(yàn)證碼識(shí)別工具來突破限制，而對(duì)于動(dòng)態(tài)IP問題會(huì)更復(fù)雜，我們先來看看什么是動(dòng)態(tài)IP?

 

一、什么是動(dòng)態(tài)IP？

 

所謂動(dòng)態(tài)IP，是指相對(duì)于靜態(tài)IP的一種IP代理技術(shù)。

 

靜態(tài)IP，隨著html代碼的生成，頁面的內(nèi)容和顯示效果基本不會(huì)改變——除非你修改頁面代碼。然而，動(dòng)態(tài)網(wǎng)頁不是。雖然頁面代碼沒有改變，但顯示的內(nèi)容會(huì)隨著時(shí)間、環(huán)境或數(shù)據(jù)庫操作的結(jié)果而改變。

 

值得強(qiáng)調(diào)的是，不要將動(dòng)態(tài)IP混淆，這里的動(dòng)態(tài)IP與網(wǎng)頁上的各種動(dòng)畫、滾動(dòng)字幕等視覺動(dòng)態(tài)效果沒有直接關(guān)系。動(dòng)態(tài)IP也可以是純文本內(nèi)容或包含各種動(dòng)畫的內(nèi)容，這些只是體內(nèi)容的表達(dá)方式，無論換IP是否具有動(dòng)態(tài)效果，任何使用動(dòng)態(tài)IP代理技術(shù)生成的網(wǎng)頁都可以稱為動(dòng)態(tài)IP。

 

二、如何找到動(dòng)態(tài)IP?

 

第一種解決方案是使用一些第三方工具來模擬瀏覽器的行為和加載數(shù)據(jù)。

 

優(yōu)點(diǎn):我們不用考慮動(dòng)態(tài)頁面的多樣性(無論動(dòng)態(tài)數(shù)據(jù)如何變化，最終呈現(xiàn)在頁面上的效果是固定的)，我們只需要關(guān)心最終的逼真效果；可以統(tǒng)一處理。

 

缺點(diǎn):性能低，比如用Selenium，每次都需要啟動(dòng)一個(gè)瀏覽器進(jìn)程；配置繁瑣，不同的瀏覽器需要下載不同的驅(qū)動(dòng)和jar包，驅(qū)動(dòng)和jar包之間有嚴(yán)格的版本匹配關(guān)系。如果不匹配，就不能用。

 

第二種解決方案是分析頁面，找到對(duì)應(yīng)的請(qǐng)求接口，直接獲取數(shù)據(jù)。

 

優(yōu)點(diǎn):性能高，使用方便。如果直接訪問原來的數(shù)據(jù)接口(換句話說就是直接訪問網(wǎng)頁動(dòng)態(tài)數(shù)據(jù)的API接口)，肯定會(huì)方便使用，改動(dòng)的可能性也比較小。

 

缺點(diǎn):缺點(diǎn)也很明顯。如何獲得接口API？有些網(wǎng)站可能會(huì)做出各種限制、混淆等。考慮到數(shù)據(jù)的安全性。要看開發(fā)者的基本功，做各種分析。

 

一個(gè)網(wǎng)站用靜態(tài)IP還是動(dòng)態(tài)IP，可以通過一些簡單的方法來區(qū)分。比如當(dāng)有“查看更多”字樣或者打開網(wǎng)站時(shí)，會(huì)以下拉方式加載內(nèi)容。或者在瀏覽器中查看頁面對(duì)應(yīng)的內(nèi)容，找不到頁面的源代碼時(shí)，可以確定頁面使用動(dòng)態(tài)IP代理。爬蟲選擇代理ip一定要快速穩(wěn)定，動(dòng)態(tài)ip海是最好的選擇，使用之前先領(lǐng)取免費(fèi)試用，看是否適合你上網(wǎng)時(shí)使用的軟件以及效率如何。