网络营销策划

添加微信号:niuwen84,免费学习网络营销

知名客户

宁波永发集团有限公司

浙江科太厨房电器有限公司

杭州百草味企业管理咨询有限公司

安美拉国际集团有限公司

耐思电气(嘉兴)有限公司

真彩文具股份有限公司

杭州小拇指汽车维修科技股份有限公司

广州市梵婕缇生物科技有限公司

浙江健盛集团股份有限公司

贵州喜百年装饰工程有限公司

九阳股份有限公司

杭州夏果食品有限公司

上海邦路仕窗膜有限公司

广州尊宝比萨

上海雷普电气有限公司

浙江创远新材有限公司

北京东联智通科技有限公司

杭州雅琪化工有限公司

青岛沃隆国际贸易有限公司

迪安诊断技术集团股份有限公司

深圳市维辣服饰有限公司

浙江文投航美传媒有限公司

沪江教育科技(上海)股份有限公司

顾家家居股份有限公司

上海菁筑贸易有限公司

安默凯尔儿童安全座椅

哈药集团哈尔滨药六健康科技有限公司

众泰控股集团有限公司

南宁中民教育咨询有限公司

大连市中心医院

杭州甲虎科技有限公司

瑞安国际帆布鞋网销基地

艾耐儿隐形发造型服务品牌

北京中国国际旅行社

北京西藏中青旅

上海品音贸易有限公司

慧科教育科技集团有限公司

联系聚卓

杭州聚卓营销策划有限公司
咨询热线: 400-667-0113
固定电话: 0571-85464313
企业Q  Q: 竞价托管咨询点击这里给我发消息
品牌传播咨询点击这里给我发消息
营销策划咨询点击这里给我发消息
企业微信: niuwen84
咨询邮箱: ask@jz182.com
官方网站: http://www.jz182.com
联系地址: 杭州市拱墅区远洋国际A座609室

SEO优化

当前位置: 主页 > 专家见解 > SEO优化 >

怎么看蜘蛛是否爬行你的网站

 文章来源:聚卓营销 时间:2014-06-17 16:19 点击:
分享到:
    我们通常在优化的时候,很多新的站长朋友都不会去看网站日志的,其实网站日志里可以了解到很多的东西,比如说蜘蛛在你的网站爬行了哪个页面,什么时间到你的网站进行抓取的,抓取了哪个页面以及抓取情况。而且我们在日志里还能看到不同搜索引擎的蜘蛛来访问你的网站,因此我们就可以看到蜘蛛在你网站里做了什么。对于一些刚刚接触seo的朋友来讲,学会怎么看蜘蛛爬行你的网站是很重要的,现在我们也有很多强大的工具可以对这些蜘蛛进行分析,但是基础的你还是要去了解的,下面我就来为大家介绍。
 
    想要学会看蜘蛛在你网站做什么我们首先就要对各大搜索引擎的蜘蛛进行了解,不同的蜘蛛它的名字也是不一样的,他们在抓取网页的时候会发送一个请求,这个请求中就包含一个User-agcnt字段,它的用途是给这个网络蜘蛛做一个标识,确定这个蜘蛛的身份,那么常见的蜘蛛有:
 
    百度蜘蛛:Baiduspider
 
    google蜘蛛:googlebot
 
    yahoo蜘蛛:slurp
 
    alexa指出:ia_archiver
 
    有到蜘蛛:YodaoBot和OutfoxBot
 
    搜狗蜘蛛:sogou spider
 
    SOSO蜘蛛:sosospider
 
    360蜘蛛:360spider
 
    以上就就是比较常见的蜘蛛名字了,那么下面我们就要了解蜘蛛在你网站具体做了哪些事情,首先我们来看这样一段代码:
 
    [26/Dec/2013:01:32:15 +0800] "GET /silian.txt HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/plain "/usr/home/hmu145206/htdocs/silian.txt"  222.216.190.14
 
    我们要看一下有下划线的那一部分,它给我们的意思就是百度蜘蛛在2013-12-26  01:32:15爬过了/silian.txt这个页面,而后面状态码显示的是304就是说你这个页面没有更新过。
 
    我们再来看下一段代码:
 
    [26/Dec/2013:03:10:21 +0800] "GET /service/sed/?wangmeng HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/html "/usr/home/hmu145206/htdocs/service/sed/index.html"  222.216.190.8
 
    我们看下划线的部分,它表示的意思是百度蜘蛛在2013-12-26 03:10:21 来你的网站爬过,而“GET”是表示抓取到的意思,等于蜘蛛抓取的是这个页面“/service/sed/?wangmeng ” ,“200 16981 ”表示的意思是正常获取了16981个字节,200协议代表了请求完成,发现了这个页面并且已入库的意思,“222.216.190.8 ”这个是表示百度的IP地址。
 
    通过上面的介绍相信我们对怎么看蜘蛛是否爬行你的网站有了一定的了解了吧,我们学会了看网站日志对我们做SEO来说是有很大用处的,只有这样我们才知道怎么样去优化网站更好,而不是每天重复着那几样工作,不管有没有效果我们都不知道,那这就失去了做优化的意义了。
 本文关键词:蜘蛛 | 路径 |
分享到:

相关文章

聚卓首页 | 关于聚卓 | 服务项目 | 成功案例 | 客户见证 | 专家见解 | 媒体报道 | 联系聚卓  

杭州聚卓营销策划有限公司 工信部备案号:浙ICP备13001297号-1

服务热线:400-667-0113 电话:0571-87803343 邮编:310015

地址:杭州市拱墅区远洋国际A座609室

 竞价托管咨询点击这里给我发消息   品牌传播咨询点击这里给我发消息   营销策划咨询点击这里给我发消息