Python在抓取數(shù)據(jù)時(shí)，經(jīng)常會(huì)遇到要抓取的網(wǎng)站采用反抓取技術(shù)。高強(qiáng)度、高效率地抓取網(wǎng)頁信息往往會(huì)給網(wǎng)站服務(wù)器帶來很大的壓力。因此，如果同一個(gè)IP重復(fù)抓取同一個(gè)網(wǎng)頁，很可能會(huì)被屏蔽。這