如何避免大量url重复收录及网站被黑处理

什么是url重复收录？为什么是会出现url重复收录？关于这个问题，网上也是各种说法，有网友这样发言说，出现大量url重复收录会导致网站索引量上升，并且网站被黑的可能性会增加，博客之家也认同前一句的说法，但和网站被黑没有太大关系，下面博客之家就说说我的观点。



如何避免大量url重复收录及网站被黑处理



一、url规范



如果网站使用的开源系统搭建的，通常不会有什么问题，如果是个人或者使用微软网站架构技术，就需要注意了:

https://www.likinming.com/youhua/

https://www.likinming.com/Youhua/

https://www.likinming.com/YouHua/



小编建议url路径统一使用小写字母，并且使用小写字母的好处有:



1、利于用户输入，增加用户体验;



2、利于维护，例如在写robost文件时，往往很多人因为某个字母写错，导致影响整个目录;



同样目录写法也是要注意的，目录最常见的两种写法:

https://www.likinming.com/rumen/789

https://www.likinming.com/rumen/789/



第一条url的意思是在rumen目录下有一个789文件，第二条url意思是在rumen文件下有一个789目录，我们知道目录下面通常都会有很多文件，例如:789.html，789.php，789.aspx等，为了避免产生歧义，小编把.html文件设为最高优先级别，同时为了较少url重复收录，可以这样做

https://www.likinming.com/rumen/789=>https://www.likinming.com/rumen/789/

https://www.likinming.com/rumen/789=>https://www.likinming.com/rumen/789.html



本文小结:



避免url重复收录可以从url统一使用小写字母，用 ”#”号代替 ”?”，目录url规范化，如果已经存在不规范的url，可以设置301跳转到规范url。



二、网站被黑检测



既然有网友说到大量url重复收录可能会导致网站被黑，下面我们就针对这个问题对网站被黑展开分析。



如果你不确定自身网站是否被黑，或者网站数据在短期内出现较大反常，可以在Search Console中注册你的网站，并查找你的网站被入侵的目标网址。



如果在检测过程中没有发现被黑内容，有可能是对方采用了隐藏真实内容手段，例如当用户访问这个页面时，显示为空白页面，而当搜索引擎访问这个页面时，则会显示大量的垃圾内容和url链接。



对于这种情况可以使用，可以使用被hacker入侵的网站问题排查工具，该工具原理就是使用site:搜索运算符和Google抓取工具来帮你发现任何存在的隐藏真实内容。



三、保护措施



如果检测出网站被黑，则需要对网站进行隔离，禁止服务器提供网页，开启闭站保护，同时你需要更改网站相关账号密码，有必要时还要删除用户，以免对用户造成不必要损失。



大量的url重复收录和网站被黑没有直接关系，很有可能是url路径设置不规范所导致的，网站被黑的基本表现是site查询出大量非本站页面，搜索结果页显示安全提示警告等，如果出现url重复收录或短期内网站流量及索引有较大异常，可先检查网站收录情况。切记一定要保管好服务器账号密码，网站后台信息等。