什么是robots.txt？robots.txt寫(xiě)法與查找引擎優(yōu)化的聯(lián)系？

什么是robots.txt呢？它是咱們網(wǎng)站上的一個(gè)文件。有的網(wǎng)站上沒(méi)有，也沒(méi)有聯(lián)系。這個(gè)文件起到的效果是通知查找引擎，哪個(gè)文件能夠查看，哪個(gè)文件不能夠查看。查找引擎應(yīng)當(dāng)恪守這樣的規(guī)矩。

關(guān)于研討查找引擎優(yōu)化的高手來(lái)說(shuō)，這是自己網(wǎng)站上一個(gè)很有用的文件。關(guān)于咱們初學(xué)者來(lái)說(shuō)，能夠先了解一下就和，不用深究，今后在學(xué)習(xí)和實(shí)踐中會(huì)慢慢地就會(huì)有較深化地了解了。

當(dāng)查找引擎拜訪(fǎng)一個(gè)站點(diǎn)時(shí)，它要先看一下網(wǎng)站根目錄里有沒(méi)有這個(gè)文件。如是一個(gè)網(wǎng)站沒(méi)有這個(gè)文件，那么查找引擎就能夠查看悉數(shù)網(wǎng)站文件和跟蹤悉數(shù)鏈接。假如有這個(gè)文件，就要依照文件的要求來(lái)查看網(wǎng)站。

robots.txt文件具體的寫(xiě)法和用法，這關(guān)于一個(gè)查找引擎優(yōu)化高手對(duì)錯(cuò)常有用的。新手能夠大概了解一下就行：
本帖躲藏的內(nèi)容robots.txt在SEO中效果

在進(jìn)行網(wǎng)站優(yōu)化的時(shí)候，經(jīng)常會(huì)運(yùn)用robots文件把一些內(nèi)容不想讓蜘蛛抓取，曾經(jīng)寫(xiě)過(guò)一篇網(wǎng)站優(yōu)化robots.txt文件的運(yùn)用, 現(xiàn)在寫(xiě)這編文章在彌補(bǔ)一點(diǎn)點(diǎn)常識(shí)！什么是robots.txt文件

查找引擎經(jīng)過(guò)一種爬蟲(chóng)spider程序（又稱(chēng)查找蜘蛛、robot、查找機(jī)器人等），主動(dòng)搜集互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取相關(guān)信息。 　
　
鑒于網(wǎng)絡(luò)安全與隱私的考慮，查找引擎遵從robots.txt協(xié)議。經(jīng)過(guò)根目錄中創(chuàng)立的純文本文件robots.txt，網(wǎng)站能夠聲明不想被robots拜訪(fǎng)的部分。每個(gè)網(wǎng)站都能夠自主操控網(wǎng)站是否情愿被查找引擎錄入，或者指定查找引擎只錄入指定的內(nèi)容。當(dāng)一個(gè)查找引擎的爬蟲(chóng)拜訪(fǎng)一個(gè)站點(diǎn)時(shí)，它會(huì)首先查看該站點(diǎn)根目錄下是否存在robots.txt，假如該文件不存在，那么爬蟲(chóng)就沿著鏈接抓取，假如存在，爬蟲(chóng)就會(huì)依照該文件中的內(nèi)容來(lái)斷定拜訪(fǎng)的范圍。

robots.txt有必要放置在一個(gè)站點(diǎn)的根目錄下，并且文件名有必要悉數(shù)小寫(xiě)。robots.txt文件的格局 　　

User-agent: 界說(shuō)查找引擎的類(lèi)型 　　

Disallow: 界說(shuō)制止查找引擎錄入的地址 　　

Allow: 界說(shuō)答應(yīng)查找引擎錄入的地址 　　

咱們常用的查找引擎類(lèi)型有： (User-agent區(qū)別大小寫(xiě))　　

google蜘蛛：Googlebot 　　

百度蜘蛛：Baiduspider 　　

yahoo蜘蛛：Yahoo!slurp 　　

alexa蜘蛛：ia_archiver 　　

bing蜘蛛：MSNbot　　

altavista蜘蛛：scooter 　　

lycos蜘蛛：lycos_spider_(t-rex) 　　

alltheweb蜘蛛：fast-webcrawler 　　

inktomi蜘蛛： slurp　　

Soso蜘蛛:Sosospider　　

Google Adsense蜘蛛:Mediapartners-Google　　

有道蜘蛛:YodaoBotrobots.txt文件的寫(xiě)法

　　User-agent: * 這兒的*代表的一切的查找引擎品種，*是一個(gè)通配符

　　Disallow: /admin/ 這兒界說(shuō)是制止爬尋admin目錄下面的目錄

　　Disallow: /require/ 這兒界說(shuō)是制止爬尋require目錄下面的目錄

　　Disallow: /ABC/ 這兒界說(shuō)是制止爬尋ABC目錄下面的目錄

　　Disallow: /cgi-bin/*.htm 制止拜訪(fǎng)/cgi-bin/目錄下的一切以".htm"為后綴的URL(包括子目錄)。

　　Disallow: /*?* 制止拜訪(fǎng)網(wǎng)站中一切的動(dòng)態(tài)頁(yè)面　

　Disallow: /jpg$ 制止抓取網(wǎng)頁(yè)一切的.jpg格局的圖片

　　Disallow:/ab/adc.html 制止爬去ab文件夾下面的adc.html文件。

　　Allow: /cgi-bin/　這兒界說(shuō)是答應(yīng)爬尋cgi-bin目錄下面的目錄

　　Allow: /tmp 這兒界說(shuō)是答應(yīng)爬尋tmp的整個(gè)目錄

　　Allow: .htm$ 僅答應(yīng)拜訪(fǎng)以".htm"為后綴的URL。

　　Allow: .gif$ 答應(yīng)抓取網(wǎng)頁(yè)和gif格局圖片

robots.txt文件用法舉例　　

例1. 制止一切查找引擎拜訪(fǎng)網(wǎng)站的任何部分

User-agent: * 　　

Disallow: / 　　

實(shí)例剖析：淘寶網(wǎng)的 Robots.txt文件 　

User-agent: Baiduspider 　　

Disallow: /　　

很顯然淘寶不答應(yīng)百度的機(jī)器人拜訪(fǎng)其網(wǎng)站下其一切的目錄。