終于有人把網(wǎng)絡(luò)爬蟲講明白了網(wǎng)絡(luò)爬蟲 _終于

文章插圖

導(dǎo)讀：人們正在以前所未有的速度轉(zhuǎn)向互聯(lián)網(wǎng) ，我們在互聯(lián)網(wǎng)上所做的很多行為產(chǎn)生了大量的“用戶數(shù)據(jù)” ，比如微博、購買記錄等。
互聯(lián)網(wǎng)成了海量信息的載體；互聯(lián)網(wǎng)目前是分析市場趨勢、監(jiān)視競爭對手或者獲取銷售線索的最佳場所，數(shù)據(jù)采集以及分析能力已成為驅(qū)動(dòng)業(yè)務(wù)決策的關(guān)鍵技能。
如何有效地提取并利用這些信息成了一個(gè)巨大的挑戰(zhàn) ，而網(wǎng)絡(luò)爬蟲是一種很好的自動(dòng)采集數(shù)據(jù)的通用手段。本文將會(huì)對爬蟲的類型、爬蟲的抓取策略以及深入學(xué)習(xí)爬蟲所需的網(wǎng)絡(luò)基礎(chǔ)等相關(guān)知識(shí)進(jìn)行介紹。

作者：趙國生王健
來源：華章科技
01 爬蟲是什么網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛、網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中，更經(jīng)常地稱為網(wǎng)頁追逐者）是一種按照一定的規(guī)則，自動(dòng)抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。
網(wǎng)絡(luò)爬蟲通過爬取互聯(lián)網(wǎng)上網(wǎng)站服務(wù)器的內(nèi)容來工作。它是用計(jì)算機(jī)語言編寫的程序或腳本，用于自動(dòng)從Internet上獲取信息或數(shù)據(jù) ，掃描并抓取每個(gè)所需頁面上的某些信息，直到處理完所有能正常打開的頁面。
作為搜索引擎的重要組成部分，爬蟲首要的功能就是爬取網(wǎng)頁數(shù)據(jù)（如圖2-1所示），目前市面流行的采集器軟件都是運(yùn)用網(wǎng)絡(luò)爬蟲的原理或功能。
▲圖2-1 網(wǎng)絡(luò)爬蟲象形圖
02 爬蟲的意義現(xiàn)如今大數(shù)據(jù)時(shí)代已經(jīng)到來，網(wǎng)絡(luò)爬蟲技術(shù)成為這個(gè)時(shí)代不可或缺的一部分，企業(yè)需要數(shù)據(jù)來分析用戶行為、自己產(chǎn)品的不足之處以及競爭對手的信息等，而這一切的首要條件就是數(shù)據(jù)的采集。
網(wǎng)絡(luò)爬蟲的價(jià)值其實(shí)就是數(shù)據(jù)的價(jià)值 ，在互聯(lián)網(wǎng)社會(huì)中，數(shù)據(jù)是無價(jià)之寶，一切皆為數(shù)據(jù) ，誰擁有了大量有用的數(shù)據(jù) ，誰就擁有了決策的主動(dòng)權(quán) 。網(wǎng)絡(luò)爬蟲的應(yīng)用領(lǐng)域很多，如搜索引擎、數(shù)據(jù)采集、廣告過濾、大數(shù)據(jù)分析等。
1）抓取各大電商網(wǎng)站的商品銷量信息及用戶評價(jià)來進(jìn)行分析，如圖2-2所示。
▲圖2-2 電商網(wǎng)站的商品銷售信息
2）分析大眾點(diǎn)評、美團(tuán)網(wǎng)等餐飲類網(wǎng)站的用戶消費(fèi)、評價(jià)和發(fā)展趨勢，如圖2-3所示。
▲圖2-3 餐飲類網(wǎng)站的用戶消費(fèi)信息
3）分析各個(gè)城市中學(xué)區(qū)房的比例，以及學(xué)區(qū)房比普通二手房價(jià)格高出多少，如圖2-4所示。
▲圖2-4 學(xué)區(qū)房的比例與價(jià)格對比
以上數(shù)據(jù)是通過前嗅ForeSpider數(shù)據(jù)采集軟件爬下來的，有興趣的讀者可以嘗試自己爬一些數(shù)據(jù) 。
03 爬蟲的原理我們通常會(huì)將網(wǎng)絡(luò)爬蟲的組成模塊分為初鏈接庫、網(wǎng)絡(luò)抓取模塊、網(wǎng)頁處理模塊、網(wǎng)頁分析模塊、DNS模塊、待抓取鏈接隊(duì)列、網(wǎng)頁庫等，網(wǎng)絡(luò)爬蟲的各系模塊可形成一個(gè)循壞體系，從而不斷地進(jìn)行分析和抓取。
爬蟲的工作原理可以很簡單地解釋為先找到目標(biāo)信息網(wǎng) ，然后頁面抓取模塊，接著頁面分析模塊，最后數(shù)據(jù)存儲(chǔ)模塊。其具體詳情如圖2-5所示。
▲圖2-5 爬蟲原理圖
爬蟲工作基本流程：

首先在互聯(lián)網(wǎng)中選出一部分網(wǎng)頁，以這些網(wǎng)頁的鏈接地址作為種子URL；
將這些種子URL放入待抓取的URL隊(duì)列中，爬蟲從待抓取的URL隊(duì)列依次讀取；
將URL通過DNS解析；
把鏈接地址轉(zhuǎn)換為網(wǎng)站服務(wù)器對應(yīng)的IP地址；
網(wǎng)頁下載器通過網(wǎng)站服務(wù)器對網(wǎng)頁進(jìn)行下載；
下載的網(wǎng)頁為網(wǎng)頁文檔形式；
對網(wǎng)頁文檔中的URL進(jìn)行抽取；
過濾掉已經(jīng)抓取的URL；
對未進(jìn)行抓取的URL繼續(xù)循環(huán)抓取，直至待抓取URL隊(duì)列為空。

04 爬蟲技術(shù)的類型聚焦網(wǎng)絡(luò)爬蟲是“面向特定主題需求”的一種爬蟲程序，而通用網(wǎng)絡(luò)爬蟲則是捜索引擎抓取系統(tǒng)（Baidu、Google、Yahoo等）的重要組成部分，主要目的是將互聯(lián)網(wǎng)上的網(wǎng)頁下載到本地，形成一個(gè)互聯(lián)網(wǎng)內(nèi)容的鏡像備份。
增量抓取意即針對某個(gè)站點(diǎn)的數(shù)據(jù)進(jìn)行抓取，當(dāng)網(wǎng)站的新增數(shù)據(jù)或者該站點(diǎn)的數(shù)據(jù)發(fā)生變化后，自動(dòng)地抓取它新增的或者變化后的數(shù)據(jù) 。
Web頁面按存在方式可以分為表層網(wǎng)頁（surface Web）和深層網(wǎng)頁（deep Web ，也稱invisible Web pages或hidden Web）。

表層網(wǎng)頁是指傳統(tǒng)搜索引擎可以索引的頁面，即以超鏈接可以到達(dá)的靜態(tài)網(wǎng)頁為主來構(gòu)成的Web頁面。
深層網(wǎng)頁是那些大部分內(nèi)容不能通過靜態(tài)鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關(guān)鍵詞才能獲得的Web頁面。

關(guān)于爬蟲技術(shù)類型的更詳細(xì)講解請戳。
關(guān)于作者：趙國生，哈爾濱師范大學(xué)教授，工學(xué)博士，碩士生導(dǎo)師，黑龍江省網(wǎng)絡(luò)安全技術(shù)領(lǐng)域特殊人才。主要從事可信網(wǎng)絡(luò)、入侵容忍、認(rèn)知計(jì)算、物聯(lián)網(wǎng)安全等方向的教學(xué)與科研工作。
本文摘編自《Python網(wǎng)絡(luò)爬蟲技術(shù)與實(shí)戰(zhàn)》，經(jīng)出版方授權(quán)發(fā)布。
延伸閱讀《Python網(wǎng)絡(luò)爬蟲技術(shù)與實(shí)戰(zhàn)》
推薦語：本書是一本系統(tǒng)、全面地介紹Python網(wǎng)絡(luò)爬蟲的實(shí)戰(zhàn)寶典。作者融合自己豐富的工程實(shí)踐經(jīng)驗(yàn) ，緊密結(jié)合演示應(yīng)用案例，內(nèi)容覆蓋了幾乎所有網(wǎng)絡(luò)爬蟲涉及的核心技術(shù) 。在內(nèi)容編排上，一步步地剖析算法背后的概念與原理，提供大量簡潔的代碼實(shí)現(xiàn) ，助你從零基礎(chǔ)開始編程實(shí)現(xiàn)深度學(xué)習(xí)算法。
【終于有人把網(wǎng)絡(luò)爬蟲講明白了網(wǎng)絡(luò)爬蟲】

以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問題，請您及時(shí)就醫(yī)或請專業(yè)人士給予相關(guān)指導(dǎo)!

「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對您有所幫助：

終于有人把網(wǎng)絡(luò)爬蟲講明白了 網(wǎng)絡(luò)爬蟲

終于有人把網(wǎng)絡(luò)爬蟲講明白了網(wǎng)絡(luò)爬蟲