SEO蜘蛛是什么?

原创 新起点博客  2017-12-14 16:22 
【上云必备】上云仅?102/年

蜘蛛其实用通用的话来说就是搜索引擎编写的程序,这个程序非常的复杂,但是他的作用就是顺着互联网上的链接,读取到下一个网页,并将网站内所有的链接都读取一遍,并将信息数据带回到搜索引擎数据库内。

?? 蜘蛛程序最早是被叫做“机器人”程序,因为他由搜索引擎放出去以后,就顺着互联网类似蜘蛛爬行似的,到处寻找链接,并顺着链接读取网站信息,形成了跟网似的,类似蜘蛛网,因此大家都叫他蜘蛛程序。

?? 每个搜索引擎将蜘蛛都分为多类,然后将其分布在多台服务器上,最终将结果存储在一台或者几台服务器上。

?? 1:引路蜘蛛

?? 每天来我们站点访问的蜘蛛最多的就是这种蜘蛛,当然叫法不一定是这么叫,大家理解是什么意思就可以了,这些蜘蛛都是通过外链进来的,他们的途径一般就是论坛 博客 友情链接站点等等,来网站后就将一份书面报告返回到数据服务器,告诉服务器,这个站在哪哪有个链接并计算出导入链接的权重,此类蜘蛛由于每天都有大量外链发布,因此数量还是比较多的。

?? 2:驻留蜘蛛

?? 该蜘蛛是在搜索引擎中有收录的站点都有的蜘蛛,该蜘蛛的主要作用的根据站点的更新情况决定蜘蛛驻留在站点的时间段,以及驻留的时间,一般是一群这样的蜘蛛。当你的站点更新内容后,该蜘蛛会将更新内容反馈到该蜘蛛所在服务器,并让该服务器索引该新闻

?? 3:权重蜘蛛(pr蜘蛛)

?? 该蜘蛛的主要作用是通过外链来判断网站权重,反馈回服务器该网站的权重信息,从而让服务器给网站打分,该蜘蛛类似于引路蜘蛛,但是该蜘蛛比较懒,多天才能来一次,一般百度是每周一次 谷歌是每2周一次

?? 4:快照蜘蛛

?? 该蜘蛛就是来给网站照相的,根据权重蜘蛛来判断每个网站的权重,然后来照相,这就是为什么有的网站天天更新,但是快照不及时,而有的网站可能更新很不及时,但是快照却是天天,因为快照蜘蛛就知道根据权重蜘蛛的信息来照相,记者还管你单位是不是天天生产东西?如果你是海尔,没冰箱生产了,他照样天天来。

?? 5:收录蜘蛛

?? 该蜘蛛的作用是将驻留蜘蛛反馈的更新信息做个判断,判断这个页面跟网站其他页面是否重复度达到50%以上,如果是则放到缓存服务器备用 ,如果不是则放出。这个时间如果一个更高权重的网站驻留蜘蛛放回话来,说,我这才是原创,则,收录收回,留着备用,否则就一直放出。这就是为什么有些网站看看已经收录了,到第2天这个页面又没了,给收回了。

?? 大体来说蜘蛛是分这么多中,每种蜘蛛都是由一个集群服务器通过分流的方式来做的计算,就是几个服务器同时运算一个网站的内容,所以速度非常快,即便是几百万个站放到里边,也会在瞬间计算出来。就是收录蜘蛛所在服务器比较复杂,因为说不定某天新浪用了你的文章,由于他的权重问题,你的收录可能消失了,权重低的站就是这么可怜。

?? 最近百度的快照服务器出现点问题,造成大量站点快照不及时 或者干脆没了首页,这都是正常的,跟站点是否被k没有任何关系,只要你的流量还在,那就不用担心,等百度恢复了所有服务器跟所有收录后,如果你的站点还没有恢复,那时候再考虑调整!

?? 蜘蛛程序对于网站收录来说作用非常大,我们经常谈到的就是搜索引擎蜘蛛来爬我们的网站了,意思就是我们的网站被搜索引擎发现了,蜘蛛爬到一个网站的时候,就会将网站内的信息和内容返回到数据库内,并且刚开始,他会经常来网站读取信息,这个时候并不代表蜘蛛来了,网站就被收录了,蜘蛛来了带回数据,要等搜索引擎的数据库更新几次才可以将新网站放出来。

?? 就好比河南虎哥SEO博客来说,经常要看蜘蛛爬行的记录,这个是从空间日志里看的,如果你的虚拟主机没开通空间日志,请联系空间商开启,不过目前国内大概有一半以上的空间不支持日志,因为服务器上的软件环境不一样,有的无法提供日志记录的。通过日志的蜘蛛爬行记录,我们可以知道网站的健康程度,是否存在无效页面,是否页面出现问题这些都可以从蜘蛛的排行记录来分析。

本文地址:https://www.henenseo.com/archives/218
关注我们:请关注一下我们的微信公众号:扫描二维码新起点博客的公众号,公众号:xinqidian129
版权声明:本文为原创文章,版权归 新起点博客 所有,欢迎分享本文,转载请保留出处!
宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取
【腾讯云】海外1核2G服务器低至2折,半价续费券限量免费领取!

发表评论


表情