SEO人员,如何与恶意“蜘蛛”暗度陈仓?

在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。

经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。

因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。

https://www.batmanit.com/p/1151.html

那么,如何与恶意“蜘蛛”暗度陈仓?

根据以往SEO经验分享,蝙蝠侠IT,将通过如下内容阐述:

1、搜索引擎爬虫

对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

①360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

③其他爬虫

如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

①控制更新频率的列表

②反馈大量重复性,内容农场的页面

③善意的“蜘蛛陷阱”比如:Flash

④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。

2、链接分析爬虫

从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。

针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。

如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。

3、内容采集爬虫

但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

①Linux平台:hostip

②Widows平台:nslookupIP

从而去判断对方的解析地址,是否为对应的搜索引擎域名。

4、蜘蛛池爬虫

目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)

总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!

(0)

相关推荐

  • 百度蜘蛛如何更好的抓取和识别网站

    互联网信息爆发式增长,如何有效的获取并利用这些信息是百度搜索引擎工作中的首要环节.数据抓取系统作为整个搜索系统中的上游,是百度搜索的重点,也是网站优化的重要突破口.Spider从一些重要的种子 URL ...

  • 常见客户SEO问题解答:搜索引擎的优化规则是什么

    常见客户SEO问题解答:搜索引擎的优化规则是什么

  • 怎么加快页面收录蜘蛛池购买

    小编--带大家了解下@小红帽蜘蛛池,快速收录支持测试 看看百度优化相关博客和论坛,就能感觉到,许多百度优化人员并没有了解这些概念究竟指的是什么,区别在哪,noindex.nofollow.robots ...

  • 厚政工具排名

    一.厚政工具排名怎么样?,世界上最安全的交通工具排名? 厚政工具排名搜一搜站长工具如果查询批量关键词排名? 搜一搜站长工具支持分析网站的SEO数据变化,检测网站多项数据,提供数据分析.诸如:网站排名监 ...

  • 现在SEO人员做友情链接还有效吗?有这个必要吗?

    平哥SEO优化谈到友情链接交换,无论网站多大,但凡希望网站在搜索引擎获得自然流量且付诸行动的企业均有交换友情链接的工作内容.那如今链接算法比重大幅度下调的今天,链接交换真还有多大用处呢?是否有必要还进 ...

  • SEO人员提升网站权重必看的5个技巧!

    首先你要弄明白,什么是网站的权重,百度官方并没有权重的说法,只是外部站长平台给网站的一个评价值.第二.网站收录几页面和权重没什么关系,我见过不少网站就只要几个页面,权重也能到4-5,有的网站甚至就只要 ...

  • SEO人员做好与各部门需求沟通必看的小技巧

    我们知道,seo在自己工作过程中必须注意沟通问题,因为很多时候项目出现问题,出现互相推诿,互相埋怨其实非常重要的一部分就是因为事先没有沟通好或者沟通出现问题导致的,那么,现在我们该如何处理,其实在项目 ...

  • SEO人员到底要不要天天更新网站内容呢?

    很多做SEO优化的人员都非常纠结自己网站是否需要每天更新?更新的频率是多久?每天到底更新多少篇内容好?今天曾庆平SEO为大家解答一下到底网站哪种内容是受百度欢迎的,什么样的行业网站需要经常更新,而有些 ...

  • SEO人员为什么一定要学习手机移动端SEO优化?

    早在2014年10月份,百度的移动搜索量首次超越了PC(电脑端)的搜索量,这对于大部分SEO人员来说,是一个很重要的信号.这意味着很多的用户开始使用手机进行百度搜索了,而百度对于手机端的排名算法与PC ...

  • SEO人员如何搭建一个完整的移动端网站?

    了解了为什么要做移动端SEO,接下来开始讲具体的操作方法.不过做移动端的SEO,针对的就不会是PC端的网站了,需要重新搭建单独的移动端网站.所以,下面曾庆平SEO介绍如何搭建移动端的网站. 1.域名 ...

  • SEO人员如何优先选好网站域名?

    前面我们确定了品牌名和口号之后,就要开始考虑域名的问题了.域名和品牌名一样,基本上确定之后就不再修改,所以一样要重视.域名是稀缺资源.也许我们的确想了一个好的品牌名,但往往与品牌名全拼相同的域名早就有 ...

  • SEO人员应该具备的素质

    SEO人员应该具备的素质: 1.信心 无论做什么事情都需要有信心,SEO也不例外.SEO的各种新技术都是经过实践得来的,在实践的过程中会需要一些时间,不要因为一时排名没有优化上去而放弃,要对SEO技术 ...

  • SEO人员如何规避百度绿萝算法呢?

    今天再来谈谈绿萝算法,绿萝算法是百度在2013年初推出的一个算法,其目的是针对买卖链接的网站进行打击.包括出售链接的网站以及购买链接的网站都涉及.其打击的站点数量足足有10万多个站点,影响之广. 那什 ...