爬蟲的原理是通過特定的網站請求，去訪問網頁，獲取到網頁上的源代碼，直接找到我們需要的數據。有沒有發現小時候看過的一些經典電影，在網上找好久也找不到資源，如果你運用上爬蟲的技術，可以說是非常簡單了，當然大家在爬取的時候希望一次性多備一些資源，留著后期有空了看，在這里，如果嫌一只爬蟲效率低，可以開多線程相當于幾十只爬蟲同時給你爬，效率直接翻幾十倍，如果對方網站有反爬機制，擔心爬取頻率過高被網站封 IP，最好使用IP代理工具，分不同的ip地址操作，對方網站就不知道你究竟是爬蟲還是正常訪問的用戶了。