搜索引擎原理

從事seo工作就必須要了解搜索引擎原理，而我們做為一個(gè)稱職的seo優(yōu)化人，搜索引擎的守護(hù)者，不得不對(duì)它的運(yùn)行規(guī)律、工作原理、習(xí)性、優(yōu)缺點(diǎn)做了解，同時(shí)也不是了解理論就可以，還需要不斷地實(shí)踐，通過實(shí)踐得真理，通過實(shí)踐得到經(jīng)驗(yàn)。那么搜索引擎到底是如何工作的呢？

一、搜索引擎爬行抓取

1）爬行抓取是搜索引擎工作最重要的一部分，爬取網(wǎng)頁回來分析，我們也應(yīng)該知道我們在百度進(jìn)行搜索時(shí)，基本是以秒來獲得結(jié)果的，在如此訊速的時(shí)間里得到自己想要的結(jié)果，可見搜索引擎是事先做好這部分工作的，如果不然，那么想想每次搜索將要花多少時(shí)間與精力，其實(shí)按照我的理解來說，可以分為三小部分：

1、批量抓取所有網(wǎng)頁，這種技術(shù)的缺點(diǎn)是浪費(fèi)帶寬，時(shí)效性不高。

2、增量收集，在前者的基礎(chǔ)上進(jìn)行技術(shù)改進(jìn)，爬取更新的網(wǎng)頁，并刪除掉重復(fù)的內(nèi)容以及無效的鏈接。

3、主動(dòng)提交地址到搜索引擎，當(dāng)然這種主動(dòng)提交的方式被認(rèn)為是審核期加長，這在部分seo資深人員看來是這樣。

2）在鏈接爬取的過程中通常有兩種方式我們需要理解,現(xiàn)在我們來了解一下深度優(yōu)先以及廣度優(yōu)先

1、深度優(yōu)先

蜘蛛從A開始抓取，比如先從A ——F——G，再從A——E——H——I，依次類推。

2、廣度優(yōu)

主要指蜘蛛在一個(gè)頁發(fā)現(xiàn)多個(gè)鏈接，先爬取所有一層，然后接著是第二層，第三層。。依次類推。

但總的來說，無論是哪種爬行，目的都是讓搜索引擎蜘蛛減少工作量，盡快完成抓取工作。

3）針對(duì)重復(fù)網(wǎng)頁，我們需要訪問列，同時(shí)也需要收集重要網(wǎng)頁的機(jī)制

1、對(duì)于搜索引擎而言，如果重復(fù)爬取一些網(wǎng)頁，不公浪費(fèi)帶寬，而且也不能增強(qiáng)時(shí)效性。所以搜索引擎需要一種技術(shù)來實(shí)現(xiàn)避免重復(fù)網(wǎng)頁的出現(xiàn)。目前，搜索引擎可以用已訪問列表以及未訪問表來記錄這個(gè)過程，這樣極大的減少了搜索引擎的工作量。

2、重要的網(wǎng)頁需要重點(diǎn)收錄，因?yàn)榛ヂ?lián)網(wǎng)就像大海，不可能搜索引擎什么都抓取，所以需要采用不同的策略來收集一些重要的網(wǎng)頁，主要可以通過幾方面來實(shí)現(xiàn)， 比如：目錄越小有利于用戶體驗(yàn)，節(jié)省蜘蛛爬行時(shí)間；高質(zhì)量外鏈增加網(wǎng)頁權(quán)重；信息更新及時(shí)，提高搜索引擎的光顧率；網(wǎng)站內(nèi)容高質(zhì)量，高原創(chuàng)。

第二、預(yù)處理是搜索引擎原理的第二步

1、把網(wǎng)頁爬取回來，就需要多個(gè)處理階段，其中之一就是關(guān)鍵詞提取，把代碼爬取下來，去掉比如CSS，DIV等標(biāo)簽，把這些對(duì)排名無意義的統(tǒng)統(tǒng)去除掉，剩下的是用于關(guān)鍵詞排名的文字。

2、去除停用詞，有些專家也稱之為停止詞，比如我們常見的：的、地、得、啊、呀、哎等無意義詞。

3、中文分詞技術(shù)，基于字符串匹配的分詞方法以及統(tǒng)計(jì)分詞方法。

4、消除噪聲，把網(wǎng)站上的廣告圖片、登錄框之類的信息去隊(duì)掉。

5、分析網(wǎng)頁，建立倒排文件方法

6、相關(guān)鏈接關(guān)系算法

第三、用戶服務(wù)輸出

經(jīng)過多重處理，我們就已經(jīng)得到了數(shù)據(jù)，并且能夠得到重要關(guān)鍵詞組合，當(dāng)用戶搜索時(shí)，就可以立即返回所需要的信息。并且隨著發(fā)展，搜索引擎的輸出展示也越來越重視用戶體驗(yàn)。

最終，我們通過了解搜索引擎的工作原理，也會(huì)對(duì)我們在進(jìn)行seo優(yōu)化工作時(shí)得到某些啟示，也希望廣大學(xué)習(xí)愛好者，能夠在這方面下多點(diǎn)功夫，為互聯(lián)網(wǎng)事業(yè)的發(fā)展做出自己的貢獻(xiàn)。