博客之家
  • 博客首页
  • 博客導航
  • 好文分享
  • 文章投稿
  • 给我留言
首页 未分类 正文

网站robots文件规则及其设置

博客之家 2018-01-14 22:32 未分类 阅读 3.88w

在上一篇《学会这几招!新站不收录都难》给大家分享了关于新站不收录问题,在网站优化中robots.txt文件的编写可以说直接影响SEO优化效果,俗话说,细节决定成败,robot.txt到底要怎么写呢?今天博客之家给大家详细讲解下“网站robots.txt文件规则及其设置”;



一、robots.txt文件是什么



robots.txt文件简单理解为就是告诉搜索引擎蜘蛛,我们的网站上哪些内容可以被抓取,哪些不能抓取。当搜索引擎蜘蛛访问我们网站时,第一件事就是检查网站根目录是否存在robots.txt文件,如果存在则会遵守robots.txt文件所编写的规则抓取相应的内容;



例如本站的robots.txt文件规则:

#
# robots.txt for www.likinming.com
#

User-agent: *
Disallow: /admin/
Disallow: /content/
Disallow: /include/
Disallow: /go/
Disallow: /m/
Disallow: /t/
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Sitemap: https://www.likinming.com/sitemap.xml



腾讯网robots.txt文件规则:

User-agent: *

Disallow: 

Sitemap: http://www.qq.com/sitemap_index.xml



二、robots.txt文件作用

    

为什么网站都要写robots.txt文件呢?主要有以下四点:



1、网站安全(防止重要信息泄露)



2、节省网站流量(减少蜘蛛访问页面)



3、引导蜘蛛爬取网站地图(有利于网站收录)



4、禁止搜索引擎蜘蛛收录隐私页面(保护网站重要信息)



三、robots.txt文件写法



“/” 前面有一个英文状态下空格;



Disallow: /禁止访问



例如:”Disallow:/plus/ad_js.php”禁止访问/plus/as_js.php文件,”Disallow:/a/”,”Disallow:/b/”禁止访问a,b文件。



Allow: /允许访问



User-agent: /描述搜索引擎robots的名字



我们知道搜索引擎爬虫有多个种类,Baiduspider、Googlebot、360spider、Sosospider等等。



例如:User-agent: Baiduspider表示定义百度蜘蛛,那么名为”Baiduspider”就受到 ” User-agent: Baiduspider”后面的Disallow和Allow的规则限制。”User-a

gent: *”表示定义所有蜘蛛。



例如本站robots.txt文件规则表示:允许所有搜索引擎蜘蛛访问,且禁止抓取”Disallow: /”下文件。



腾讯网robots.txt文件规则表示:允许所有搜索引擎蜘蛛访问所有文件。



四、robots.txt文件存在位置

    

存放在网站根目录下,并且robots.txt文件名所有字母必须为小写。



五、注意事项

    

在编写robots.txt文件时,User-agent、Disallow、Allow第一个字母均为大写,后面的字母小写,并且在 ”:”后面必须带一个英文字符空格,网站上线之前建议写好robots.txt文件禁止蜘蛛访问,如果还不会写可以参考网上robots.txt写法,以免给网站收录带来不必要的麻烦。



总结:以上就是博客之家分享的个人经验,如果你还不会robots.txt文件写法,可以联系刘海帮忙解决!

文章作者:博客之家
文章標題:网站robots文件规则及其设置
文章鏈接:https://www.likinming.com/3245.html
本站所有文章除特別聲明外,均採用 CC BY-NC-SA 4.0 許可協議,轉載請註明來自博客之家 !

📚 推荐阅读

  • 人到六十, 两不碰,而不交
  • 摩托罗拉被卖
  • 简单的生活,做最好的自己
  • 怎樣治療抑鬱症
  • EPS短网址升级了,期待你来体验(源码下载)
  • 怎么样才能提高企业网站的转化率
  • 人生没有如果,命运不相信假设
  • 怎么做官网布局才能提升关键词排名?

花开一时,情芳一世
« 上一篇 2018-01-15
学会这几招!新站不收录都难
下一篇 » 2018-01-14

发表评论

请输入验证码

评论列表(1条)

搜尋有價值的

热门文章

  • TOP1
    博客之家今天正式上線
    14年前 202.38w
  • TOP2
    博客之家导航源码分享
    13年前 102.62w
  • TOP3
    李明的鲜果店
    9年前 87.76w
  • TOP4
    iPhone6 ios8不显示通话记录处理方法
    12年前 60.42w
  • TOP5
    给我们投稿
    14年前 56.85w
  • TOP6
    超级SEO外链工具源码分享
    14年前 52.06w
  • TOP7
    超级SEO外链工具
    14年前 40.04w
  • TOP8
    我的人生我作主——李明
    13年前 39.83w
  • TOP9
    腾讯电脑管家误报网站的申诉方法
    9年前 34.42w
  • TOP10
    博客之家改版成功
    14年前 29.42w
  • TOP11
    利用:before选择器给你的网站Logo添加扫光特效
    11年前 27.87w
  • TOP12
    多做运动的好处
    13年前 24.62w

最新评论

  • 甜菜欣欣23 小时前
    打不开你之前的域名了,好开心你来看我。最...
  • 博客之家6 个月前
    藏福守心,遠離是非,日子平穩,歲月安康
  • 张赛博客6 个月前
    有时候,错误的路上,努力越多,反而是沉没...
  • atmp1 年前
    心安即是归处
  • 博客之家1 年前
    @Eps工具网:Hi,午安...
  • Eps工具网1 年前
    早晨起来
  • Eps工具网1 年前
    来逛逛
  • Eps工具网1 年前
    Eps工具网
  • 今日头条新闻2021-07-01 17:33
    文章不错交个朋友
  • 栾。2021-05-04 22:59
    看看

友情連結

  • A TECH ONE
  • EPS工具網
  • 2W工具網
  • 小杰工具箱
  • 舍力博客
  • 提交收錄
Copyright © 2026 博客之家 版權所有
關於本站| 免責聲明| sitemap| 簡體| 繁體
内容受版权保护,禁止复制!