美團作為線上外賣行業和餐飲行業的頭部平臺，一直是美團平臺上吃喝玩樂的標桿榜單。當消費者想要在一個區域找到吃、喝、玩的時候，可能會第一眼就注意到某個區域的“奶茶人氣第一”或者“火鍋人氣第一”，相當一部分消費者會選擇榜單中的第一家商戶店鋪進行消費所以，從美團商家的角度來看，如果想要更多的人氣曝光和消費流量，不妨考慮一下如何上人氣榜？

 

很多公司會想搶美團上所有的商業信息，美團app對IP訪問次數有限制，當訪問次數達到一定數量時，美團會增加延遲，當訪問次數增加時，會有驗證碼。因此，在爬行時，需要注意控制訪問頻率，并在訪問一定次數后使用ip代理軟件。

 

那么如何批量采集美團全國商戶數據呢？

 

在抓取過程中，我們可以先抓取所有的城市數據。

 

當查看頁面代碼時，發現它非常規則，因此可以很容易地對其進行爬取：

 

獲取城市的數據并保存在txt文件中，然后我們需要先獲取分類信息：

 

獲得的數據將用于拼接成網址鏈接。由于美團的部分業務數據加載了ajax，雖然有辦法處理，但是比較麻煩，所以我決定分類獲取區/縣和業務區，這樣就不需要處理ajax加載了。

 

然后把之前得到的類型拼接起來，這樣就可以在一個商圈里得到一個小類，范圍比較小，所以業務也不多。為了方便下次抓取數據，我會先保存業務的url，然后進入各個業務獲取數據。

 

拿到所有商家的網址后，就是我們的最后一步了，但是需要注意的是，不同類型的數據頁面是不一樣的，比如酒店。

 

因此，對于不同的類型，需要編寫不同的解析函數。最后，爬行的時候，不要追求速度。美團很嚴格，最好多線程，幾秒鐘請求一次，然后，我們只能用高匿ip代理替代一個真實的用戶ip慢慢爬了。