Onnie - 電腦世界

如何保護你的網頁，不被搜尋引擎收錄？
如果你真的要把私人網頁放在網路上，也不打算用密碼做保護的話，你可以在想要保護的那些網頁的 head 裡，加上：

|!– 告訴搜尋引擎不要對此網頁做索引，也就是說不會出現在它的搜尋結果中 –|
|META NAME="robots” CONTENT="noindex"|

|!– 告訴搜尋引擎不可以去處理網頁裡的超連結 –|
|META NAME="robots” CONTENT="nofollow"|

|!– 告訴搜尋引擎不可以把這個網頁儲存在他們的 server 裡，也就是沒有 [頁庫存檔] –|
|META NAME="robots” CONTENT="noarchive"|

另外，還有一個保護整個目錄不被收錄的方法。你必須在網站的根目錄下 (/) 建一個名為 robots.txt 的文字檔，檔案內容如下：

# This is a comment line
User-agent: lycra
Disallow: /

User-agent: *
Disallow: /tmp
Disallow: /logs

User agent 代表搜尋引擎的 robot，用 ‘*’ 代表所有的搜尋引擎 robot，緊接在 User-agent 之後
若干個 Disallow 代表拒絕該 robot 收錄的目錄，如果拒絕的目錄是 ‘/’ 的話，則代為整個網站都是謝絕收錄的。
你可以依照自己的目錄配置情況來做調整。