最近发现了一个比较典型的不抓取优化的例子,特意整理出来分享给大家,大家记住不要出现与例子相同的情况:
站点反馈:
用JS生成网站的主题内容,针对用户访而且没有做优化,但网站针对爬虫做出了具体的优化并将图片做了base64转化,然而结果却是优化后内容也不被搜索引擎所收录。
这时候很多站长就比较纳闷,页面质量优化够好,还特意对爬虫做了优化,但为什么内容没有被收录呢?
分析:
1、虽然网站针对怕西红做了优化,但是图片的二进制内容放在了html中导致页面长度过长,网站的页面长度164k;
2、站点优化内容主题还在图片的后面;
3、爬虫抓取内容后,由于内容过长而导致被截断,这样就会导致页面认定为空短而不收录。
建议:
1、建议不要使用JS生产主体内容,因为当主体渲染出错时,只有可能导致页面内容读取错误的,页面无法抓取。
2、在给爬虫做优化时,长度也可以在128k之内,切勿过长
3、做优化时,要把主体内容放在最前面,避免抓取阶段而导致内容抓取不全。
文章作者:博客之家
文章標題:页面长度过长,也会导致不收录?
文章鏈接:https://www.likinming.com/post-2981.html
本站所有文章除特別聲明外,均採用 CC BY-NC-SA 4.0 許可協議,轉載請註明來自博客之家 !
文章標題:页面长度过长,也会导致不收录?
文章鏈接:https://www.likinming.com/post-2981.html
本站所有文章除特別聲明外,均採用 CC BY-NC-SA 4.0 許可協議,轉載請註明來自博客之家 !

发表评论