搜易达软件官网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 701|回复: 0
打印 上一主题 下一主题

查看百度抓取最多的频道或目录:

[复制链接]
跳转到指定楼层
楼主
发表于 2017-2-22 10:24:02 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
查看百度抓取最多的频道或目录:
如图所示,首先把日志中百度抓取的URL数据提取出来,然后以"/"把URL进行分割并提取第1字段,也就是域名数据,再对这个数据进行排序,去重,按抓取量由高到低排序,由于此网站子域名过多,我只提取了抓取量最多的15域名,图中显示百度对各个域名抓取量之间的比例,基本上和各个子域名下的资源数量的比例是差不多的,因此这个数据表示百度对站内资源的抓取分配还是比较合理的。如果在这个数据中发现不合理的地方,那么就可以通过使用NOFOLLOW或ROBOTS.txt屏蔽的方式来调整百度对站内资源的抓取。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
分享到:  QQ好友和群QQ好友和群
收藏收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

|小黑屋|手机版|Archiver|搜易达软件论坛 ( )

GMT+8, 2019-2-23 20:14 , Processed in 0。072184 second(s), 15 queries 。

Powered by X3.4

© 2001-2017

快速回复 返回顶部 返回列表
金誉彩票 平安彩票 汇丰彩票 汇丰彩票 易发彩票 汇丰彩票 千禧彩票 平安彩票 千禧彩票 金誉彩票