重復內容通常是指域內或多個域之間存在的、與其他內容完全匹配或大致類似的內容。也就是說一個網站中可能存在很多重復的頁面，好比內容頁、產品的搜索列表頁、不同的url指向統一頁面等，這就都是屬于重復范圍。表面看起來沒什么關系，對網站無害。但對蜘蛛而言就是滅頂之災。當然大多數情況下也不是故意的頁面重復.

能夠天生用于移動設備的常規和簡化網頁的論壇

通過多個不同網址顯示或鏈接的存儲項目

網頁的可打印版本

URL的重復

不同url指向統一頁面，這個也算重復頁面。蜘蛛爬行是按照鏈接來爬行的，在爬行之前蜘蛛并不知道這些不同的url指向統一個頁面。它會慢慢的去爬行，爬過之后才會知道竟然是重復的頁面，在進行相應的處理，表面上看起來也是沒有什么題目。實際上蜘蛛已經花了相稱大的力氣來解析這幾個重復的url，這就即是是寬帶的鋪張一樣。

http://www.***.net/

***.net

http://www.***.net/index.html

訪問的都是首頁，何不如我們做做好事，用301重定向把他轉到指定的url。

筆者選擇http://www.***.net/這個地址，采用Apache服務器設置方法是，在.htaccess文件中加入以下代碼

具體方法請查看百度百科里的具體先容http://baike.baidu.com/view/2173220.htm

打印文本的重復

一般網站都會有一個可供瀏覽的頁面，還有一個可以打印的文本。這個打印文本一般是看不出來的，只有需要打印才能看到文本，但內容都和頁面文本一樣，這就形成了和網頁文本的重復。對用戶無所謂，但對蜘蛛就不一樣了。我們應該避免這個情況泛起，解決方法是用robots.txt來禁止蜘蛛抓取打印文本。

底部版權的重復

每個網站都有自己的版權說明，有的網站在底部些了良多關于版權方面的文字，非常的多。實在這個完全沒有必要。把一切關于版權，公司動態，法律聲明的東西都放到一個獨立頁面去，只用文本鏈接過去。這樣也大大降低了樣板文字的重復度。

404頁面的重復

一個大型網站無可厚非有良多404頁面。但這些404頁面也是一種資源上的重復。最好是用robots.txt來禁止抓取。

網站搜索的重復

現在的網站都有一個用戶喜歡的工具，那就是網站搜索條。對用戶而言能更快的找到自己想要的內容，但對蜘蛛不是這么回事，也會增加重復度，所以也要屏蔽它。

一般可以在robots.txt文件里加入Disallow： /search.php$（/search.php）文件要根據你網站系統來定，也就是你網站搜索采用哪個文件來執行搜索的）

Robots.txt文件的應用

我發現好多可以禁止重復頁面的方法都可以用robots.txt文件來解決，所以我們一定要把握robots.txt使用的準確方法，施展它強盛的威力。

百度robots.txt說明 http://www.baidu.com/search/robots.html

無論是做seo仍是做網站，每一個細節都是決定成敗的樞紐，你比別人多付出一點，你就可以穩操勝券。重復頁面臨蜘蛛而言非常的耗時耗力，我們也該為蜘蛛減減壓了。