爬虫怎么会浏览页面？日志文件分析成果疑难

理路里卢拉

本帖最后由 jasonxinlu 于 2011-3-2 10:22 编辑




   我把日志文件中的百度（谷歌）爬虫部分零丁分袂出来后，放倒日志分析软件里面分析，获得的其中一个工效如下
  









2011-3-2 10:20 上传

下载附件 (56.45 KB)





  
   
     
      
我的标题是，爬虫为什么会有页面浏览呢？就是图中的Total Page Views 465？  
我本人分析可能是：爬虫假装成浏览器爬取网站时，日志分析软件把这部分算作是个别的访客浏览，于是统计了这部分浏览为页面浏览？
  
    可是从事实的上，我查瞧日志文件找不出有假装成浏览器的百度爬虫，于是我就想不明白为什么爬虫页面浏览量呢？而且谷歌的爬虫基本都是
Mozilla/5.0+(compatible;+googlebot/ 2.1;++http:/ /
www.google.com/
bot.html)，可是分析出来的工效中页面浏览是也是多少百页，再次证明，我上面的阿谁揣摩是短处的。  
    请高手指教，感激。
  

夏琳

答复

jasonxinlu
的帖子




蜘蛛也是用户，只不过是出格的用户，这点可能诠释爬虫为什么会浏览页面。

至于你提倒的“Mozilla/5.0+(compatible;+googlebot/ 2.1;++http:/ / www.google.com/ bot.html)”，会不会是假充的谷歌爬虫呢？这点我不太断定，等待楼下的诠释～

柳之悠

是不是假充的瞧这里
http://www.gnbase.com/thread-718-1.html

VIVI

答复

蓝仁
的帖子




爬虫浏览页面是若何的？爬虫应当是不会浏览页面的，只是抓取罢了。