在一次真實(shí)的ip請(qǐng)求中，我們都會(huì)帶著各種樣的請(qǐng)求參數(shù)，如果將這些參數(shù)補(bǔ)全，那我們被ban的機(jī)率也會(huì)相應(yīng)的減少很多。如何將這些參數(shù)在scrapy的項(xiàng)目補(bǔ)齊?在開(kāi)始這個(gè)問(wèn)題之前，我們回頭來(lái)看看scrapy的架構(gòu)。

　　從架構(gòu)中我們可以清晰的看到，如果要操作這些參數(shù)，我們可以從DownloaderMiddlewares下載中間件著手，有人可能會(huì)有疑問(wèn)：記得Spider中有一個(gè)start_requests的方法，不是可以寫(xiě)到代碼中么Scrapy在架構(gòu)和django都有點(diǎn)類似，那就是松散耦合的原則，各個(gè)功能和文件都應(yīng)該各司其職。現(xiàn)在我們要實(shí)現(xiàn)這樣的一個(gè)功能，在我們請(qǐng)求的時(shí)候，我們可以隨機(jī)的更換請(qǐng)求頭(User-Agent)

　　那就是透明http代理。那是不是不用透明http代理就可以隱藏自己的身份呢？是的，只不過(guò)，普通匿名http代理雖然不知道真實(shí)身份，但是知道你是個(gè)臥底。只有高匿名ip代理才能做到如假包換。要想識(shí)別代理服務(wù)器軟件的等級(jí)并不復(fù)雜，只需要通過(guò)腳本程序(如ASPPHPJSP等)即可在服務(wù)器端識(shí)別出來(lái)，識(shí)別的辦法就是抓數(shù)據(jù)包里的相關(guān)字段：REMOTE_ADDR，HTTP_VIA以及HTTP_X_FORWARDED_FOR。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！