- 相關(guān)推薦
搜索引擎抓取原理
搜索引擎的處理對象是互聯(lián)網(wǎng)網(wǎng)頁，日前網(wǎng)頁數(shù)量以百億計，所以搜索引擎首先面臨的問題就是：如何能夠設(shè)計出高效的下載系統(tǒng)，以將如此海量的網(wǎng)頁數(shù)據(jù)傳送到本地，在本地形成互聯(lián)網(wǎng)網(wǎng)頁的鏡像備份。下面是YJBYS小編整理的搜索引擎抓取原理，希望對你有幫助!
搜索引擎工作的第一大特點就是爬行抓取，就是盡可能的把需要抓取的信息都抓取回來進行處理分析，因此爬行抓取的的工作方式也是搜索引擎正常高效工作方式的第一步，爬行抓取的成功也是所有網(wǎng)絡(luò)資源能夠有效正常展示給訪客的前提，所以這一步如果出現(xiàn)異常，那么將導(dǎo)致搜索引擎后續(xù)的工作都無法進行展開。
大家可以回憶一下我們在想要搜索一個東西時，首先會在百度搜索框輸入我們要找的關(guān)鍵詞，而結(jié)果頁會出現(xiàn)眾多與關(guān)鍵詞有關(guān)信息，而在這個從搜索到展現(xiàn)的過程是以秒為單位來進行計算的。舉這個例子大家是否已經(jīng)明白，搜索引擎能在1秒鐘之內(nèi)把所查詢的與關(guān)鍵詞有關(guān)的信息從豐富的互聯(lián)網(wǎng)中逐一抓取一遍，能有如此高的工作效率，還還是歸結(jié)為搜索引擎在事先都已經(jīng)處理好了這部分?jǐn)?shù)據(jù)的原因。
再例如我們平時上網(wǎng)隨便打開一個網(wǎng)頁也是在1秒鐘之內(nèi)打開，這雖然僅僅是打開一個網(wǎng)頁的時間，但是搜索引擎在以秒計算的情況并不可能把互聯(lián)網(wǎng)上的所有信息都查詢一遍，這不僅費時費力也費錢。 因此我們不難發(fā)現(xiàn)現(xiàn)在的搜索引擎都是事先已經(jīng)處理好了所要抓取的網(wǎng)頁。而搜索引擎在搜集信息的工作中也都是按照一定的規(guī)律來進行的，簡單的我們可以總結(jié)以下兩種特點。
第一、批量收集:對互聯(lián)網(wǎng)上所有的存在鏈接的網(wǎng)頁信息都收集一遍，在這個收集的過程中可能會耗很長一段時間，同時也會增加不少額外的帶寬消耗，時效性也大大降低，但是這作為搜索引擎的重要的一步，還是一如既往的正常的去收集。
第二、增量收集:這可以簡單的理解是批量收集的一個高潔階段，最大可能的彌補了批量收集的短處和缺點。在批量搜集的基礎(chǔ)上搜集新增加的網(wǎng)頁內(nèi)容信息，再變更上次收集之后產(chǎn)生過改變的頁面，刪除收集重復(fù)和不存在的網(wǎng)頁。
【搜索引擎抓取原理】相關(guān)文章：
搜索引擎原理詳解06-11
影響搜索引擎抓取的三個基本點06-25
淺析搜索引擎投票優(yōu)化方式原理10-26
淺談搜索引擎收錄的三大原理08-08
蜘蛛抓取網(wǎng)站如何提高網(wǎng)站權(quán)重09-26
提高百度蜘蛛抓取量的方法08-15
吸引百度蜘蛛對網(wǎng)站抓取的技巧10-06
百度蜘蛛對文章抓取的喜好分析05-07