NEWS
建站资讯 网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
网站的排名、收录都要经常关注搜索引擎,大家经常会谈到蜘蛛抓取,那么怎么确定蜘蛛有没有来过你的网站呢?
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
soso蜘蛛:sosospider
msn蜘蛛:msnbot
有道蜘蛛:YodaoBot和OutfoxBot
搜狗蜘蛛:sougouspider
1、2010-11-15 18:18:10 是百度蜘蛛来的日期和时间。
2、 GET /post/5.html是百度蜘蛛访问的页面 get表示获取的意思。
3、80是端口
4、220.181.108.166是百度蜘蛛的ip地址
5、Baiduspider+(+http://www.baidu.com/search/spider.htm)就是指百度蜘蛛了
6、www.***.net 王大君网络营销博客的网络地址
7、200表示抓取成功,这是百度蜘蛛爬行后返回的代码。
本文由广州网站建设公司-三行网络原创,转载请保留版权( 广州网站建设www.3gonet.com )三行网络——专注于企业网站建设、响应式营销型网站定制,欢迎来电咨询!热线:020-85628720 【微信:15989229398】
上一篇:网页设计的目标和定位 下一篇:百度凤巢/谷歌adwords对比
微网站Webapp 三行网络专业订制开发微信网站制作,让微信公众账号实现微菜单、微活动、微会员、微商城等功能,打造炫丽的企业微网站!公众平台搭配"微网站",犹如虎添翼!在保留公众平台所有优势的前提下,提升展示形象,更好的与客户互动。