搜索引擎蜘蛛对搜索引擎来说就是信息来源所在，对于网站站长，总是希望网站对搜索引擎蜘蛛友好，希望蜘蛛能在自己的网站多待会多抓取点网页。其实这些蜘蛛又何尝不想多抓取点页面，多更新点页面呢，只不过互联网信息过于巨大，有时候蜘蛛也是力不能及。这就引出了对搜索引擎蜘蛛的一个考核，蜘蛛每天也是在苦逼的干活的，也是需要考核评价的，其中有3个最主要的考核标准:抓取网页覆盖率、抓取网页时效性及抓取网页的重要性。