很多人認(rèn)為使用動(dòng)態(tài)高匿代理IP后，不會(huì)被目標(biāo)網(wǎng)站識(shí)別，也不會(huì)被目標(biāo)網(wǎng)站限制，它可以工作直到代理IP失敗。如果IP受標(biāo)識(shí)限制，該IP會(huì)不會(huì)可能不是高匿代理IP？那么我們一起來分析一下。

 

 

一、高匿代理IP不被認(rèn)可的原因

 

服務(wù)器從客戶端發(fā)送的請(qǐng)求中的相關(guān)字段識(shí)別是否使用代理IP。識(shí)別方法是掌握數(shù)據(jù)包中的相關(guān)字段:REMOTE_ADDR、HTTP_VIA、HTTP_X_FORWARDED_FOR。

 

當(dāng)使用高匿名代理IP發(fā)送請(qǐng)求時(shí)，這三個(gè)字段的值與不使用代理IP發(fā)送請(qǐng)求時(shí)的值相同。也就是說，服務(wù)器沒有辦法從這三個(gè)字段分辨出是否使用了代理IP，這也是高匿名代理IP不被識(shí)別的原因。

 

 

 

二、高安全性代理IP的使用受到限制的原因

 

服務(wù)器從客戶端發(fā)送請(qǐng)求，以確定是否使用代理IP。一般識(shí)別方法是分析訪問請(qǐng)求行為是否反人類:訪問頻率超快，訪問非常有規(guī)律。

 

爬蟲的工作量無疑是非常巨大的，所以請(qǐng)求量也會(huì)非常巨大。每秒幾十上百個(gè)請(qǐng)求是常有的事，遠(yuǎn)遠(yuǎn)超過正常人訪問網(wǎng)頁(yè)的速度，所以相關(guān)的反抓取策略會(huì)做出用戶是異常用戶的判斷，并對(duì)IP進(jìn)行限制。在這種情況下，并不是客戶端使用了代理IP，而是客戶端的相關(guān)請(qǐng)求行為過于異常。即使客戶端不使用代理IP，它自己的真實(shí)IP也在請(qǐng)求，這樣的行為也將受到限制。

 

 

 

我們使用動(dòng)態(tài)代理IP來工作，為了提高工作效率，保證工作能夠穩(wěn)定的繼續(xù)，所以一定要選擇高匿代理IP，這樣才不會(huì)被識(shí)別出來；同時(shí)，我們的請(qǐng)求行為盡可能模擬正常的用戶行為，盡量不觸發(fā)反抓取策略，這樣就不會(huì)受到限制。