樂于分享
好東西不私藏

折騰日記:如何禁止搜索引擎抓取收錄網站

建站差不多也快一年了多多少少還是學到了點東西,老夜也是對建站慢慢的失去了熱情,不再像以前那樣通宵達旦的折騰了。因為懶得折騰,又怕不久后就忘了,這里會慢慢的寫點教程分享給需要的人,就當為自己做筆記了!

剛開始建站熱情高昂,可謂是初生牛犢不怕虎,當時什么都敢發出來,經歷了幾次侵權郵件警告后也老實安分下來,再加上幾次磕磕碰碰,目前網站終于是穩定下來了,老夜也開始注重文章內容了,每天再忙也要抽點時間寫點東西分享給大家。對于建站的朋友,手頭上多多少少都有幾個小站點,隨著近幾年版權鬧得越來越兇,一些涉及到版權的內容也多多少少都受到部分限制。就比如說老夜自用的視頻站來說吧,本就是自己搭建為家人和朋友使用的,加上自己也懶得推廣,本來就沒幾個人用,但侵權信還是收到了,歸根結底還是各大搜索引擎的鍋。今天老夜就叫大家如何讓這些小機靈鬼乖乖的不再造訪你的網站……

robots.txt方法

robots就是一種網絡協議(網絡爬蟲排除標準),網站管理員通過設置robots內容讓搜索引擎知道那些頁面該抓取,那些頁面不該抓取。robots.txt是一個文件,通常網站是自動生成的,只有設置好TXT中的內容,搜索引擎的蜘蛛才會按照相關的規則執行并對網站進行相關的抓取收錄,robots.txt文件是搜索引擎第一個查看的文件,所以通過設置robots協議還是非常有效的。

設置方法也是十分的簡單,首先找到網站文件的根目錄看看是否有robots.txt文件,如果沒有自行創建一個,將以下代碼添加到TXT文件中:(復制你奶奶個腿,本文是老夜寫的,改了名字冒充老夜,要臉嗎)

User-agent: *

Disallow: /

通過以上代碼,就是告知所有的搜索引擎不在抓取和收錄網站的所有內容了,也就意味著不久之后收錄的內容全部沒了,慎重修改。

如果是僅禁止部分搜索引擎抓取,需要單獨添加代碼,這里以百度為例:

User-agent: Baiduspider
Disallow: /

以上代碼就是徹底趕走了百度的蜘蛛了,如果還行禁止其他搜索引擎,老夜在這里也不一個個說明了,這里偷點懶直接附上工具:

robots.txt文件自動生成器:tool.chinaz.com/robots/

設置完成后基本上大功告成了,請將文件上傳至網站根目錄,刷新瀏覽器緩存后訪問www.你的域名/robots.txt就可以查看剛剛設置的規則了。更多robots規則今后會抽時間單獨寫一篇文章……

網頁代碼方法:

雖然上述方法差不多就能達到效果,但是搜索引擎也并不是那么的聽話,之前百度就偷偷給我的網站移動頁面轉碼并加自家的廣告推廣,設置禁止轉碼后也是效果甚微,真是服氣了!具體文章詳情:網站移動端文章被百度強行轉碼處理辦法

廢話不多說,直接上教程,網頁修改代碼一般是加到<head>和</head>中間的meta標簽中。不同的網站程序<head>所在的文件是不相同的,這里拿wordpress站點為例,<head>是在header.php頭文件中。代碼如下:

<meta name="robots" content="noarchive">
//禁止所有搜索引擎抓取網站并顯示網頁快照
<meta name="Baiduspider" content="noarchive">
//禁止百度搜索引擎抓取網站并顯示網頁快照
<meta name="googlebot" content="noarchive">
//禁止谷歌搜索引擎抓取網站并顯示網頁快照

根據上述代碼選擇一個適合自己的加到<head>之前的meta標簽就可以了。

推薦設置<meta name=”robots” content=”noarchive”>一了百了

如果不知道加到哪個位置,這里可以參考老夜的設置方法(如下圖):

設置完成后,搜索引擎不會第一時間就生效,畢竟之前就已經儲存了相關的抓取信息,短期內還是會被抓取。一般靜等一周左右的時間就差不多不會被各大引擎造訪了。如果想短期內禁止搜索引擎抓取收錄,請前往各大搜索引擎站長平臺進行投訴反饋!

百度站長平臺:https://ziyuan.baidu.com

360站長平臺:http://zhanzhang.so.com/

搜狗站長平臺:http://zhanzhang.sogou.com/

神馬站長平臺:http://zhanzhang.sm.cn

推薦以上方法雙管齊下全部用上,確認以上設置無誤后,每天在搜索引擎中搜索site:域名就可以查看結果了。出現下圖中的信息就說明設置成功,再也不怕有外來者從搜索引擎偷渡過來了!(復制你奶奶個腿,本文是老夜寫的,改了名字冒充老夜,要臉嗎)

補充:

禁止搜索引擎抓取收錄也就意味著今后很難從各大搜索引擎那來訪客了,但是如果真的是個人使用又不想被其他人看到還是挺好的,至少圖個安靜。老夜文筆就這樣,如有不足之處歡迎鞭策……

 

本站文章均為手工撰寫未經允許謝絕轉載:夜雨聆風 » 折騰日記:如何禁止搜索引擎抓取收錄網站
支付寶掃碼打賞 微信打賞

如果文章對您有幫助,歡迎移至上方按鈕打賞……

評論 2

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址

  1. #1

    首到的版權郵件主要是版權人舉報?還是?

    曉藝4個月前 (08-25)Windows 7 | Chrome 69.0.3947.100回復
    • 老夜

      都是委托的律師所

      老夜4個月前 (08-25)Linux | Chrome 66.0.3359.126回復
×
訂閱圖標按鈕
羽毛球馆地板