今天为什么会投这篇稿，是感觉seo这个行业现在大家很难像一些技术行业java、php等能够互相分享自己的研究成果或者说叫经验吧。可能是因为大家觉得别人会了，会影响到自己，但其实我个人觉得并不是这样，也希望这个圈子能够有一些改变(虽然我并不是只做seo,但这块确实一直是兴趣之一)。
好了废话不多说，接下来就给大家分享下，针对网站，在搜索引擎抓取这个环节，我们通过蜘蛛日志的分析，能够得到怎样的优化思路!
首先，需要拿到一份搜索引擎的抓取日志，怎么拿就不说了，大家应该都会。拿到抓取日志后，我们主要从两个方面来进行分析：
一、搜索引擎在各个时间段的抓取频次;
二、搜索引擎对于网站各级目录的抓取频次。当然还有其他的维度也是需要注意分析观察的，比如抓取一次所需时间长短，只是这个在站长平台上也有比较好的显示出来了，故这里不做进一步分析了。
一、搜索引擎在各个时间段的抓取频次
针对搜索引擎抓取日志，首先我们需要把不同的搜索引擎分别单独提取出来，来进行逐个分析，以下以百度为例。
根据log文件中的‘Baiduspider’这个字段，我们利用python写一段简单的脚本即可把百度抓取日志部分抽离出来，代码如下：
with open ('1.log',mode='r',encoding='utf-8') as f:
f_list = f.readlines()
【余下内容为付费内容，只需一点辛苦费或者开通VIP会员，保证都是干货，物超所值，改变人生】
此内容查看价格为8资源币立即购买（VIP免费）立即升级承蒙各位会员厚爱,本网站秉承"授人以鱼不如授人以渔"的原则，坚持研发赚钱项目和各类课程已6年有余，百万资源，已成就无数大咖。 项目有小到日赚几百，大到日赚几万几十万都有，绝对绝对的干货，网站搜索一下总有你想要的。 请记住我们的网址：shouyu.ee 我相信即便现在不需要，有一天一定会用得到！！！ 为了答谢新会员，现在注册会员就送VIP会员，免费体验和下载课程。 微信：jiuyue888123阅读全文
原文链接：https://shouyu.pw/?p=7435，转载请注明出处。
