杭州SEO優(yōu)化：Robots.txt的作用以及規(guī)范寫法

時間：2019-06-29

　　Robots.txt文件的作用
　　出于安全的考慮，在網(wǎng)站seo優(yōu)化時寫入robots.txt文件，實際上就是告訴搜索引擎蜘蛛，網(wǎng)站上哪些內(nèi)容允許抓取，哪些內(nèi)容不允許抓取，這樣做可以提高搜索引擎的抓取效率，增加搜索引擎對網(wǎng)站的友好度。
　　undefined
　　robots.txt文件的規(guī)范寫法
　　文件中的記錄通過空行分開，以CR、CR/NL、or NL作為結(jié)束符。robots.txt文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行，詳細情況如下：
　　User-agent:
　　用于描述搜索引擎蜘蛛的名字，在"Robots.txt"文件中，如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協(xié)議的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則該協(xié)議對任何搜索引擎蜘蛛均有效，在"Robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。
　　Disallow:
　　用于描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被Robot訪問到。
　　例如，”Disallow:/help”是指禁止搜索引擎蜘蛛抓取/help.html和/help/index.html；而”Disallow:/help/”則允許搜索引擎蜘蛛抓取/help.html，不能抓取/help/index.html。
　　Allow:
　　用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL是允許robot訪問的。
　　例如，”Allow:/hibaidu”允許搜索引擎蜘蛛抓取/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。
　　注意：Disallow與Allow行的順序是有意義的，搜索引擎蜘蛛會根據(jù)**個匹配成功的Allow或Disallow行確定是否訪問某個URL。
　　使用”*”和”$”：
　　Baiduspider支持使用通配符”*”和”$”來模糊匹配url?！?”匹配行結(jié)束符?！?”匹配0或多個任意字符。
　　robots.txt文件用法舉例
　　1，允許所有的robot訪問
　　User-agent:*Allow:/或者User-agent:*Disallow:
　　2，禁止所有搜索引擎訪問網(wǎng)站的任何部分
　　User-agent:*
　　Disallow:/
　　3，僅禁止Baiduspider訪問
　　User-agent:Baiduspider
　　Disallow:/
　　4，僅允許Baiduspider訪問您的網(wǎng)站
　　User-agent:Baiduspider
　　Disallow:
　　5，禁止spider訪問特定目錄
　　User-agent:*
　　Disallow:/cgi-bin/
　　Disallow:/tmp/
　　Disallow:/~joe/
　　6，允許訪問特定目錄中的部分url
　　User-agent:*
　　Allow:/cgi-bin/see
　　Allow:/tmp/hi
　　Allow:/~joe/look
　　Disallow:/cgi-bin/
　　Disallow:/tmp/
　　Disallow:/~joe/
　　7，使用”*”限制訪問url
　　禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。
　　User-agent:*
　　Disallow:/cgi-bin/*.htm
　　8，使用”$”限制訪問url
　　僅允許訪問以”.htm”為后綴的URL。
　　User-agent:*
　　Allow:.htm$
　　Disallow:/
　　9，禁止訪問網(wǎng)站中所有的動態(tài)頁面
　　User-agent:*
　　Disallow:/*?*
　　10，禁止Baiduspider抓取網(wǎng)站上所有圖片
　　僅允許抓取網(wǎng)頁，禁止抓取任何圖片。
　　User-agent:Baiduspider
　　Disallow:.jpg$
　　Disallow:.jpeg$
　　Disallow:.gif$
　　Disallow:.png$
　　Disallow:.bmp$
　　11，僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片
　　允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片
　　User-agent:Baiduspider
　　Allow:.gif$
　　Disallow:.jpg$
　　Disallow:.jpeg$
　　Disallow:.png$
　　Disallow:.bmp$
　　12，僅禁止Baiduspider抓取.jpg格式圖片
　　User-agent:Baiduspider
　　Disallow:.jpg$
　　注意：robots.txt是有分大小寫的，默認文件名全小寫，規(guī)則里面要注意區(qū)分大小寫
　　13，在robots.txt中聲明你的sitemap文件
　　在robots.txt加入如下的一行文字：
　　Sitemap/sitemap.xml(替換自己的網(wǎng)站域名)
　　樂偶致力于成為中國良好的綜合營銷和數(shù)字化運營服務提供商，為企業(yè)開展全網(wǎng)營銷全面觸達用戶賦能！

詞條
詞條說明
手機實現(xiàn)營銷物料管理擺脫電腦的束縛樂通達
本周是LTD營銷SaaS系統(tǒng)*88較新！一路走來，我們經(jīng)歷了風風雨雨，終于迎來了*88次產(chǎn)品較新，本次較新將為大家?guī)碇卮箢A告——吸取之前的不足，我們已經(jīng)完成了使用手機上傳、編輯海報等營銷分享物料，在不久的將來，LTD營銷SaaS將同步支持使用手機完全管理營銷物料，擺脫電腦的束縛，真正實現(xiàn)“使用手機管理網(wǎng)站”！在今后的日子里，LTD營銷SaaS也會繼續(xù)努力，為用戶提供較優(yōu)秀的服務！本周較新的主
ePower企服引擎帶領(lǐng)傳統(tǒng)企業(yè)服務商乘風破浪樂通達
互聯(lián)網(wǎng)TO B 市場的興起，也導致了傳統(tǒng)企業(yè)服務商生存空間越來越狹窄。為了較好的生存下去，企業(yè)服務商們較急需解決以下幾個方面的問題： 1、消費互聯(lián)網(wǎng)紅利已趨于飽和穩(wěn)定，傳統(tǒng)企業(yè)服務商該怎么向互聯(lián)網(wǎng)方向轉(zhuǎn)型？消費互聯(lián)網(wǎng)雖然是一片紅海，但是以企業(yè)為中心的產(chǎn)業(yè)互聯(lián)網(wǎng)市場方興未艾，仍然是潛在市場規(guī)模巨大的藍海。尤其較近幾年，中國企業(yè)市場規(guī)模增長迅猛，企業(yè)服務領(lǐng)域涌現(xiàn)了創(chuàng)業(yè)熱潮和投資熱潮。 2、公司規(guī)模不
企業(yè)較關(guān)心問題：**運營變現(xiàn)賺錢的方式你知道嗎
前些天網(wǎng)上有一則新聞挺受樂偶小編關(guān)注的：【**回應與淘寶簽訂70億協(xié)議：保持良好合作，但數(shù)據(jù)不實】6月25日下午消息，據(jù)“晚點LatePost”報道，**與淘寶簽訂了70億的年度框架協(xié)議，60億元廣告，10億元傭金。電商部門的考核指標是GMV導向，簽訂GMV總目標是400億規(guī)模。對此，**方面回應稱：我們與淘寶一直保持良好的合作，但文中提及的數(shù)據(jù)不實。先不管數(shù)據(jù)到底是否屬實，就以5月**國內(nèi)
HTTP和HTTPS有什么區(qū)別樂通達
摘要: HTTP和HTTPS有什么區(qū)別呢？近幾年，互聯(lián)網(wǎng)發(fā)生著翻天覆地的變化，尤其是我們一直習以為常的HTTP協(xié)議，在逐漸的被HTTPS協(xié)議所取代，在瀏覽器、搜索引擎、CA機構(gòu)、大型互聯(lián)網(wǎng)企業(yè)的共同促進下，互聯(lián)網(wǎng)迎來了“HTTPS加密時代”，HTTPS將在未來的幾年內(nèi)全面取代HTTP成為傳輸協(xié)議的主流。因此在百度站長和熊掌ID上面都注重這一協(xié)議的驗證。 HTTP和HTTPS有什么區(qū)別？ HTTP