咱們都知道蛛蛛它究竟還僅僅個程序罷了，他做的作業不會經過網站的前臺來剖析一個網站內容，而是經過網站的代碼來進行抓取信息的。而在網站的源代碼里咱們會看到很多html、js等一些程序的句子。而蛛蛛他只會對里邊的文章感興趣，也即是說他只獲取頁面里的一些文字。有些兄弟也許就會提到了，那咱們還寫什么代碼?代碼不是起不到效果了嗎?

　　本來不是這么的，在網站的標簽優化中咱們都知道比方H標簽、nofollow標簽、alt標簽等。這些標簽仍是能在蛛蛛抓取咱們網站信息的時分起到著重與修飾效果。比方遇到圖像的時分，但蛛蛛并不能辨認圖像里的信息，那么咱們就會思考去設置一下 alt標簽來協助查找引擎來辨認圖像里的信息;為了讓網站的一些權重不渙散，咱們在必要當地給連接加上了nofollow。

　　既然查找引擎蛛蛛是對網站文字格外感興趣，那關于中文SEO優化來說。是不是會有個概念性的東西在這里邊，那即是“分詞”

　　最簡略的一個比方，比方咱們中文里邊的“網站優化”這四個詞，在baidu查找引擎數據詞庫里，本來是把網站與優化兩個不一樣的詞分開來寄存的。當用戶來查找網站優化這個詞的時分，查找引擎的進程也即是把網站這個詞庫里的頁面信息與優化詞庫里的信息做一個交集來檢索與排行。這點后邊還會有提到。

　　在查找引擎把蛛蛛抓取來的信息進行歸檔之前，還有個程度是必不可少的，他有必要得做內容的重復審閱。一重意思：查找引擎有必要把同一個網站里的數據進行刪選。第二重：關于不一樣的網站而言，由于網絡上的內容那是不計其數的。這里邊就會呈現兩個不一樣的網站，但內容一樣的狀況。即是咱們常說的網站內容轉發的疑問，查找引擎也會思考到重復的信息進行刪選。

　　有了上幾步的重重審閱，接下來的即是得做個有用的數據收拾。