User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個(gè)通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個(gè)目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料,書籍,或網(wǎng)絡(luò)原創(chuàng)文章,如有版權(quán)糾紛或者違規(guī)問題,請(qǐng)即刻聯(lián)系我們刪除,我們歡迎您分享,引用和轉(zhuǎn)載,我們謝絕直接復(fù)制和抄襲!感謝...
猜你喜歡
- 1開發(fā)一個(gè)微信小程序需要多少錢
- 2百度阿拉丁計(jì)劃是什么
- 3網(wǎng)站設(shè)計(jì)-個(gè)人網(wǎng)站導(dǎo)航模塊設(shè)計(jì)極為重要
- 4體育康復(fù)app開發(fā)方案
- 5同城外賣跑腿配送系統(tǒng)軟件開發(fā)
- 6汽車美容保養(yǎng)維修進(jìn)銷存小程序系統(tǒng)app軟件開發(fā)
- 7ChatGPT付費(fèi)創(chuàng)作系統(tǒng)軟件開發(fā)
- 8網(wǎng)站建設(shè)費(fèi)用為何不同的建站公司報(bào)價(jià)不一樣
- 9開發(fā)一款云上認(rèn)養(yǎng)養(yǎng)殖app軟件開發(fā)
- 10foreach和for循環(huán)的區(qū)別
聯(lián)絡(luò)方式:
電話:15038330582
郵箱:278477169@qq.com
掃描名片

我們猜你喜歡
-
開發(fā)app的公司有哪些-小程序商城定制開發(fā)制作
軟件開發(fā)主要是指手機(jī)類型的APP軟件開發(fā),手機(jī)的軟件類型包括安卓和IOS開發(fā),定制軟件的開發(fā)與小程序軟件開發(fā)在推廣都是有一定難度的,但是開發(fā)的還是有很多,畢竟能使用上的軟...
-
開發(fā)制作一款研學(xué)游旅行小程序軟件系統(tǒng)
一、研學(xué)旅行小程序軟件項(xiàng)目客戶來源介紹 老板是在分類信息網(wǎng)看到我們的店鋪廣告信息,因?yàn)槲覀冊(cè)谛⌒头诸愋畔⒕W(wǎng)上發(fā)布的有信息,老板看到后就聯(lián)系我們了。老板的想法就...
-
做一個(gè)小程序需要多少錢
一、小程序有何優(yōu)勢(shì)呢? 1、小程序是基于微信端開發(fā)的 微信的客戶量本身就很大,企業(yè)想要做營銷的話可以利用這種營銷方式發(fā)展客戶,用戶體驗(yàn)也好,手機(jī)掃碼用完即走,使...
-
同城推拿美容家政服務(wù)SPA技師派單軟件開發(fā)
一、同城推拿服務(wù)app軟件項(xiàng)目客戶來源介紹 我們的這位老板是在搜狗平臺(tái)上看到我們的公司官網(wǎng),看到我們的企業(yè)官網(wǎng)排名比較靠前就咨詢了我們的客服。這位老板的想法就...
-
為什么傳統(tǒng)企業(yè)轉(zhuǎn)型互聯(lián)網(wǎng)結(jié)果都很慘
前年的時(shí)候,有個(gè)互聯(lián)網(wǎng)做運(yùn)營的朋友,轉(zhuǎn)型去傳統(tǒng)企業(yè)做運(yùn)營去了,待了不到半年,就辭職重新回歸互聯(lián)網(wǎng)行業(yè)。當(dāng)時(shí)是這樣跟我說的,他去傳統(tǒng)企業(yè)是因?yàn)閷?duì)方想在互聯(lián)網(wǎng)領(lǐng)域探索一下...