当前位置:网站首页 >> 旅游

网页抓取优先策略7z

时间:2019-07-13 00:09:21 来源:互联网 阅读:0次

页抓取优先策略也称为页面选择问题(page Selection),通常是尽可能地首先抓取重要性的页,这样保证在有限的资源内尽可能地照顾到那些重要性高的页。那么那些页才是重要性高的呢?如何量化重要性呢?

重要性度量由链接欢迎度、链接重要度和平均链接深度这个方面决定。

定义链接欢迎度为IB(P),它主要由反向链接(Backinks)的数目和质量决定。首先考察数目,直观地讲,一个页有越多的链接指向它(反向链接数多),那么表示其他页对其的认可。同时这个页被民访问的机会就大,推测出其重要性也就越高;其次考察质量,如果被越多的重要性高的指向,那么其重要性也就越高。如果不考虑质量,就会出现局部,而不是全局的问题。典型的就是作弊页,人为地在一些页中设置了大量反策链接指向其自身的页,以提高该页的重要性。如果不考虑链接质量,就会被这些作弊者所利用。

定义链接重要度为IL(P),它是一个关于URL字符串的函数,仅仅考察字符串本身。链接重要度主要通过一些模式,比如认为包含&l的URL重要度高,以及具有较少斜杠(Slash)的URL重要度高等。

定义平均链接深度为ID(P),此为笔者所创。ID(P)表示在一个种子站点集合中,每个种子站点如果存在一条链路(宽度优先遍历规则)到达该页,那么平均链接深度就是这个页的又一个重要性指标。因为距离种子站点越近,说明被访问的机会越多,离种子站点越远,重要性越低。事实上,按照宽度优先的遍历规则即可满足这种重要性高的页被优先抓取的需要。

,定义页重要性的度量为I(P),它由以上两个量化值线性决定,即:

I(P)=a*IB(P)+*IL(P)

平均链接深度同宽度优先的遍历规则保证,因此不作为重要性评价的指标。在抓取能力有限的情况下,如果能够把重要性高的页尽可能地抓完,是合理科学的,终被用户查询到的页也往往是那些重要性高的页。

尽管这样看来已经足够完美,事实上,还是忽视了一个重要的要素--时间。时间导致万维动态变化的一面。如何抓取那些新增的页呢?如何重访那些被修改了的页呢?如何发现那些被删除了的页呢?为了保持和万维页的同步变化,就必须有页重访策略。通过该策略可以识别增加、修改及删除页这3种页变化的情况。

注:相关站建设技巧阅读请移步到建站教程频道。

微商城初期如何引入批流量
微信小程序商城
怎样做微商城销量

相关文章

一周热门

热点排行

热门精选

Copyright (c) 2011 八零CMS 版权所有 备案号:苏ICP备17012668号-3

网站地图