搜易达软件官网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1310|回复: 0
打印 上一主题 下一主题

统计百度一共抓取的字节数:

[复制链接]
跳转到指定楼层
楼主
发表于 2017-2-22 10:35:58 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
统计百度一共抓取的字节数:
如图所示命令行即可,第一条命令行为统计百度在24日抓取网站的总字节数,第二条命令行做了进一步法计算,计算出了百度抓取网站的总兆数,可见百度在24日对该网站总抓取16 414 892 668BYTE,也就是15654.5MB.

有不少朋友的网站是放在虚拟空间中的,可能有些主机提供商会对空间流量做了一定限制,当这部分朋友发现网站实际流量变化不大,但空间流量消耗很大时,可以使用此命令行来查看是否是某个搜索引擎对网站的抓取量太大。一般情况下主流搜索引擎不会无节制的抓取网站,当发现是不知名的搜索引擎SPIDER对网站抓取量太大时,可以选择对其进行ROBOTS.TXT和IP封禁,如果经过分析发现是主流搜索引擎对网站的抓取量过大,则推荐做升级空间的工作。
以上演示基本把日志分析工作中的基本命令应用都涉及了,更为具体和细分的工作就需要大概根据自己网站的数据情况自行研究了,不过要时刻提醒自己,除非自己想转向技术,否则这些命令只是辅助自己分析数据的工具而已,只要懂得如何使用这些命令分析数据就可以了,并不需要把SHELL命令都系统地学习一遍。另外这些命令行所得出的数据都是没有意义的。
另外,在以上演示中我都是对原始日志文件进行操作,大家在真正分析日志时,如果只需要分析某个搜索引擎的抓取情况,可以先根据其SPIDER名字把相关记录提取到新文件中,这样就不必每次都对原始比较大的日志文件进行处理,分析速度会提升不少,还有,一般服务的日志格式是固定不变的,所以以上常规分析的命令行其实可以打包成脚本(DOS下直接保存为批处理文件),每次执行一下脚本就可以把常规数据提取出发来,不需要再一行行地重复输入命令行。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
分享到:  QQ好友和群QQ好友和群
收藏收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

|小黑屋|手机版|Archiver|搜易达软件论坛 ( )

GMT+8, 2019-2-23 20:15 , Processed in 0。073160 second(s), 15 queries 。

Powered by X3.4

© 2001-2017

快速回复 返回顶部 返回列表
金誉彩票 汇丰彩票 汇丰彩票 汇丰彩票 易发彩票 千禧彩票 平安彩票 金誉彩票 千禧彩票 易发彩票