怎么写robots文件

对于新手朋友来说，不知道robots文件该如何写，不知道robots文件对网站内的优化又是多么重要（robots文件对网站优化的重要性），今天就来为大家简单讲解下robots文件的正确写法。



什么是robots文件



robots文件是用来告诉搜索引擎：这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。robots文件必须放置在一个网站的根目录下，而且文件名必须全部小写。



网站肯定希望被收录，因为网站流量的一部分或者是大部分都是来自搜索，所以对网站来说是很重要的。问题是：如果有网站内容不希望被搜索到，那么怎么办呢?在这种情况下，我们就有必要会用到robots文件，来与搜索引擎沟通。所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。那么该怎么写呢?下面上海SEO就教教大家。



步骤/方法



1、允许所有搜索引擎访问



User-agent:



Disallow:



或者



User-agent:



Allow: /



在这里大家要注意下，可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。



2、禁止所有搜索引擎访问



User-agent:



Disallow: /



或者



User-agent:



allow:



3、禁止所有搜索引擎访问网站中的几个部分，在这里我用a、b、c目录来代替



User-agent:



Disallow: /a/



Disallow: /b/



Disallow: /c/



如果是允许，则是



Allow: /a/



Allow: /b/



Allow: /c/



4、禁止某个搜索引擎的访问，我用w来代替



User-agent: w



Disallow: /



或



User-agent: w



Disallow: /d/.htm



5、只允许某个搜索引擎的访问，我用e来代替



User-agent: e



Disallow:



在Disallow：后面不加任何东西，意思是仅允许e访问该网站。



在Disallow:后面加 /d/.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL，包含子目录。



6、使用”$”限制访问url



User-agent:



Allow: .htm$



Disallow: /



意思是仅允许访问以”.htm”为后缀的URL



7、禁止访问网站中所有的动态页面



User-agent:



Disallow: /?*



8、禁止搜索引擎F抓取网站上所有图片



User-agent: F



Disallow: .jpg$



Disallow: .jpeg$



Disallow: .gif$



Disallow: .png$



Disallow: .bmp$



意思是只允许引擎抓取网页，禁止抓取任何图片(严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)



9、只允许搜索引擎E抓取网页和.gif格式图片



User-agent: E



Allow: .gif$



Disallow: .jpg$



Disallow: .jpeg$



Disallow: .png$



Disallow: .bmp$



意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片



总结



具体的步骤操作可以看看 百度百科：http://jingyan.baidu.com/article/e5c39bf57bf2a739d7603388.html



然后补充一点：要是蜘蛛要抓取js和css文件我要不要写robots文件屏蔽呢？答案是：不用，蜘蛛要抓取就让他抓对网站并无影响。