在一次真實的ip請求中，我們都會帶著各種樣的請求參數(shù)，如果將這些參數(shù)補全，那我們被ban的機率也會相應(yīng)的減少很多。如何將這些參數(shù)在scrapy的項目補齊?在開始這個問題之前，我們回頭來看看scrapy的架構(gòu)。

　　從架構(gòu)中我們可以清晰的看到，如果要操作這些參數(shù)，我們可以從DownloaderMiddlewares下載中間件著手，有人可能會有疑問：記得Spider中有一個start_requests的方法，不是可以寫到代碼中么Scrapy在架構(gòu)和django都有點類似，那就是松散耦合的原則，各個功能和文件都應(yīng)該各司其職。現(xiàn)在我們要實現(xiàn)這樣的一個功能，在我們請求的時候，我們可以隨機的更換請求頭(User-Agent)

　　那就是透明http代理。那是不是不用透明http代理就可以隱藏自己的身份呢？是的，只不過，普通匿名http代理雖然不知道真實身份，但是知道你是個臥底。只有高匿名ip代理才能做到如假包換。要想識別代理服務(wù)器軟件的等級并不復(fù)雜，只需要通過腳本程序(如ASPPHPJSP等)即可在服務(wù)器端識別出來，識別的辦法就是抓數(shù)據(jù)包里的相關(guān)字段：REMOTE_ADDR，HTTP_VIA以及HTTP_X_FORWARDED_FOR。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！