點擊“robots設(shè)置”按鈕,進入“robots設(shè)置”界面后直接把相關(guān)robots語法寫入即可!別忘了點擊“保存”哦!">

                  購物車中還沒有商品,趕緊選購吧!
                  首頁  >  產(chǎn)品更新  >  robots.txt寫法大全及語法的靈活運用
                  robots.txt寫法大全及語法的靈活運用

                  robots在英語之中的意思是機器人,Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)全稱是網(wǎng)絡(luò)爬蟲排除標準Robots Exclusion Protocol),網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式,用來指導搜索引擎更好地抓取網(wǎng)站內(nèi)容,而不是作為搜索引擎之間互相限制和不正當競爭的工具。

                  當搜索引擎在訪問一個站點時,首先檢索的將是該站點根目錄下面的robots.txt文件(如果沒有我們可以建立一個空白的文本文檔,命名為robots.txt放在網(wǎng)站的根目錄下即可?。?,如果此文件存在,那么搜索引擎將率先訪問并識別此文件的規(guī)則,它會按照此文件里面的規(guī)則進行爬??!下面詳細敘述一下相關(guān)語法:

                  1、允許所有搜索引擎訪問網(wǎng)站的所有部分:

                  User-agent*

                  Disallow

                  2、禁止所有搜索引擎訪問網(wǎng)站的所有部分:

                  User-agent*

                  Disallow/

                  3、如果不需要某一個搜索引擎抓取的話,比如百度,禁止百度索引我們的網(wǎng)站

                  User-agentBaiduspider

                  Disallow/

                  注:如果我們需要禁止Google索引我們的網(wǎng)站,就把User-agent:蜘蛛名字改成 谷歌的Googlebot即可!

                  4、如果我們禁止除Google外的一切搜索引擎索引我們的網(wǎng)站

                  User-agentGooglebot

                  Disallow

                  User-agent*

                  Disallow/

                  5、如果我們需要禁止蜘蛛訪問某一個目錄,比如禁止loginnewtravel等目錄被索引

                  User-agent*

                  Disallow/login/

                  Disallow/newtravel/

                  6、如果我們允許蜘蛛訪問網(wǎng)站某個目錄中的某些特定網(wǎng)址

                  User-agent*

                  Allow/login/my

                  Allow/newtravel/html

                  Disallow/login/

                  Disallow/newtravel/

                  7、很多網(wǎng)站的robots.txt里的Disallow或者Allow里面會有很多的符號,比如星號、問 號什么的,如果使用“*”號,主要是限制訪問某個后綴的域名,比如禁止訪問/html/ 目錄下的所有以“.htm”為后綴的URL(包含子目錄)

                  User-agent*

                  Disallow/html/*.htm

                  8、使用“$”符號是僅允許訪問某目錄下某個后綴的文件

                  User-agent*

                  Allow.asp$

                  Disallow/

                  9、如果是禁止搜索引擎索引網(wǎng)站中所用動態(tài)的頁面(這里演示的是以“?”號為域名, 例如:index.asp?id=1

                  User-agent:*

                  Disallow/*?*

                  10、為了節(jié)省服務(wù)器資源,需要禁止各類蜘蛛來索引網(wǎng)站的圖片,除了使用常見的 Disallow:/images/”這樣直接屏蔽圖片文件夾的方式以外,還可以采取直接屏蔽圖片 后綴名的方式。如果我們禁止百度搜索引擎索引我們網(wǎng)站的圖片:

                  User-agentBaiduspider

                  Disallow.jpg$

                  Disallow.jpeg$

                  Disallow.gif$

                  Disallow.png$

                  11、僅允許百度抓取網(wǎng)站上的“JPG”格式的文件

                  User-agent:baiduspider

                  Allow.jpg$

                  Disallow:jpeg$

                  Disallow:gif$

                  Disallow:png$

                  12、僅僅禁止百度抓取網(wǎng)站上的“JPG”格式的文件

                  User-agentBaiduspider

                  Disallow.jpg$

                  更多詳細幫助,參考閱讀


                  robots 360百科

                  相關(guān)閱讀
                  說明

                  贊   1

                  有一點幫助   0

                  沒有幫助  

                  參與評論

                  他們說...

                  積分獲取更多
                  思途CMS系統(tǒng)更新動態(tài)
                  • 2025-04-23
                    1、【功能優(yōu)化】店鋪裝修細節(jié)優(yōu)化
                    2、【BUG修復】訂單支付后循環(huán)待確認
                  查看更多

                  掃一掃官方微信號

                  加入微信
                  在線客服
                  微信咨詢
                  微信咨詢
                  現(xiàn)在咨詢,獲取演示賬號
                  企業(yè)logo小米
                  立即掃碼加我微信
                  電話咨詢
                  咨詢電話
                  028-61558715
                  預約演示
                  亚洲日韩一区二区三区成人_国产老熟女一区二区三区_亚洲一区二区三区福利视频_国产丝袜美腿一区二区三区

                                  中文字幕在线码一区 | 中文字幕三级免费片 | 亚洲国内自拍欧美一区二区三区 | 日韩精品九九久久 | 亚洲国产精品午夜不卡网站 | 日韩AV在线免费不卡 |