網路爬蟲 - 维基百科，自由的百科全书

網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。

《學霸的黑科技系統》 第四十七章 開發個APP練手

啊...啊...

作為python語言的一種典型運用範例，爬蟲程序的模板在書中都是有提到的，而且針對不同種情況，書中還針對算法進行了不同程度的改良。

從服務器上爬取公開信息是不犯法的，頂多有擠佔別人服務器資源的嫌疑，會被各大站長痛恨不已。

所以很多“小氣”的網站會設置有反爬蟲程序，技術高點的要麼讓你什麼東西都爬不到，要麼爬下來的都是亂碼，技術含量低的也可以通過訪問次數監控，直接鎖了你的ip。