技能:獲取跳板代理IP
通常你喜歡的網站都一定會擋你IP
面對IP的阻擋通常只有兩種解決方案
等待解鎖: 例如每次抓取的時間都等待1-5秒,但是在任務多的時候會顯得非常不現實,1000個任務 都等待5秒 要花 5000秒 約 83分鐘,通常這類的任務1000個爬取都是算少的。
使用代理IP: 不管是用付費、免費的管道,用代IP來爬取通常是最經濟的方案,付費的就是花錢買IP這個就不在本次教學,免費的管道就是透過網上的資源抓取,並且進行過濾,測試哪些能用,在IP的過濾上需要花費些力氣來處理。
Last updated