我的设计收集

关注研究网站设计及SEO网站优化技术!致力于为客户提供最专业、最有效的全方面网站设计解决方案。

订阅RSS

如何减少搜索引擎优化爬取单一页面?

类别:搜索引擎优化    时间:2010-12-27

我们经常会发现搜索引擎优化爬虫都非常喜欢爬取首页,以前认为大量爬取首页是好事,因为更新的文章经常在首页出现,可以被快速收录。现在看来,从局部上看是好事,但是从整体上看,爬虫每次爬取量都是有限的,抓到一定数据量就会离开。所以许多有价值的页面反而没被抓取到。

在这种情况下,在站内的某个页面被链接次数越多,它被爬虫抓取的频率就越高,最典型的例子就是首页。因此我们根据数据,把爬虫大量链接的页面,在站内许多地方都给nofollow掉,只留个别链接,保证爬虫以前抓取它一两次即可。这样在被抓取数据量一定的情况下,减少了单一页面浪费的爬虫流量,自然增大了爬虫爬取的页面数量。这样你的网站更新频率自然提高。

转载声明:
原载:利晶科技博客 - 关注研究最新网站设计技术及SEO网站优化!
本文链接:/seo-pachong.html
如需转载必须以链接形式注明原载或原文地址,谢谢合作!

文章分类

友情链接

赣ICP备2022008273号-7 Copyright © 2006-2023 我的设计收集 版权所有