胡應(yīng)邦,胡應(yīng)邦講師,胡應(yīng)邦聯(lián)系方式,胡應(yīng)邦培訓(xùn)師-【中華講師網(wǎng)】
網(wǎng)絡(luò)營(yíng)銷資深專家
52
鮮花排名
0
鮮花數(shù)量
胡應(yīng)邦:搜索引擎收錄網(wǎng)頁的四個(gè)階段
2016-01-20 28868

作為SEO從業(yè)者,不僅要被搜索引擎抓取,還要被收錄,最重要的是在收錄后有良好的排名,本文將簡(jiǎn)單分析下搜索引擎收錄網(wǎng)頁的四個(gè)階段。每個(gè)網(wǎng)站、每個(gè)網(wǎng)頁的排名都是不一樣的,看看你的網(wǎng)站處于哪個(gè)階段呢?

網(wǎng)頁收錄第一階段:大小通吃

搜索引擎的網(wǎng)頁抓取都是采取「大小通吃」的策略,也就是把網(wǎng)頁中能發(fā)現(xiàn)的鏈接逐一加入到待抓取URL中,機(jī)械性的將新抓取的網(wǎng)頁中的URL提取出來,這種方式雖然比較古老,但效果很好,這就是為什么很多站長(zhǎng)反應(yīng)蜘蛛來訪問了,但沒有收錄的原因,這僅僅是第一階段。

網(wǎng)頁收錄第二階段:網(wǎng)頁評(píng)級(jí)

而第二階段則是對(duì)網(wǎng)頁的重要性進(jìn)行評(píng)級(jí),PageRank是一種著名的鏈接分析算法,可以用來衡量網(wǎng)頁的重要性,很自然的,站長(zhǎng)可以用PageRank的思路來對(duì)URL進(jìn)行排序,這就是各位熱衷的「發(fā)外鏈」,據(jù)一位朋友了解,在中國(guó)「發(fā)外鏈」這個(gè)市場(chǎng)每年有上億元的規(guī)模。    

爬蟲的目的就是去下載網(wǎng)頁,但PageRank是個(gè)全局性算法,也就是當(dāng)所有網(wǎng)頁有下載完成后,其計(jì)算結(jié)果才是可靠的。對(duì)于中小網(wǎng)站來講,服務(wù)器如果質(zhì)量不好,如果在抓取過程中,只看到部分內(nèi)容,在抓取階段是無法獲得可靠的PageRank得分。

網(wǎng)頁收錄第三階段:OCIP策略

OCIP策略更像是PageRank算法的改進(jìn)。在算法開始之前,每個(gè)網(wǎng)頁都給予相同的「現(xiàn)金」,每當(dāng)下載某個(gè)頁面A后,A將自己的「現(xiàn)金」平均分給頁面中包含的鏈接頁面,把自己的「現(xiàn)金」清空。這就是為什么導(dǎo)出的鏈接越少,權(quán)重會(huì)越高的原因之一。

而對(duì)于待抓取的網(wǎng)頁,會(huì)根據(jù)手頭擁有的現(xiàn)金多少排序,優(yōu)先下載現(xiàn)金最充裕的網(wǎng)頁,OCIP大致與PageRank思路一致,區(qū)別在于:PageRank每次要迭代計(jì)算,而OCIP則不需要,所以計(jì)算速度遠(yuǎn)遠(yuǎn)快于PageRank,適合實(shí)時(shí)計(jì)算使用。這可能就是為什么很多網(wǎng)頁會(huì)出現(xiàn)「秒收」的情況了。

網(wǎng)頁收錄第四階段:大站優(yōu)先策略

大站優(yōu)先的思路很直接,以網(wǎng)站為單位來衡量網(wǎng)頁的重要性,對(duì)于待抓取的URL隊(duì)列中的網(wǎng)頁,根據(jù)所述網(wǎng)站歸類,如果哪個(gè)網(wǎng)站等待下載的頁面最多,則優(yōu)先下載這些鏈接。其本質(zhì)思想是「傾向于優(yōu)先下載大型網(wǎng)站URL」。因?yàn)榇笮途W(wǎng)站往往包含更多的頁面。鑒于大型網(wǎng)站往往是名站,其網(wǎng)頁質(zhì)量一般較高,所以這個(gè)思路雖然簡(jiǎn)單,但有一定依據(jù)。

實(shí)驗(yàn)表明這個(gè)算法雖然簡(jiǎn)單粗暴,但卻能收錄高質(zhì)量網(wǎng)頁,很有效果。這也是為什么許多網(wǎng)站的內(nèi)容被轉(zhuǎn)載后,大站卻能排到你前面的最重要原因之一

全部評(píng)論 (0)

Copyright©2008-2024 版權(quán)所有 浙ICP備06026258號(hào)-1 浙公網(wǎng)安備 33010802003509號(hào) 杭州講師網(wǎng)絡(luò)科技有限公司
講師網(wǎng) 3969a.com 直接對(duì)接10000多名優(yōu)秀講師-省時(shí)省力省錢
講師網(wǎng)常年法律顧問:浙江麥迪律師事務(wù)所 梁俊景律師 李小平律師