搜索蜘蛛、机器人模拟抓取页面

<p>搜索蜘蛛、机器人模拟抓取页面</p> <p>搜索蜘蛛的基本原理大家应该都知道,搜索引擎的蜘蛛一般分为两类,这第一类的主要工作就是收集网页的中有效的URL。它们的任务是一刻不停地扫描Internet资源,以随时更新其搜索引擎庞大的url列表以供它的第二类蜘蛛使用。也就是说,当这一类蜘蛛访问我们网页的时候,并不在于索引我们的网页,而是在寻找网页中的所有有效链接。</p> <p>1.工具功能:可以模拟蜘蛛抓取指定网页,包括Text、Link、Keywords及Description信息等。</p> <p>2.查询网址:<a href="http://www.webconfs.com/search-engine-spider-simulator.php">http://www.webconfs.com/search-engine-spider-simulator.php</a></p> <p>3.说明:这是国外的一个网站,对GB版的网页中文支持不好,但我们大概能看出蜘蛛在我们网页查找的信息。</p> <p></p>
RangeTime:0.006232s
RangeMem:204.55 KB
返回顶部 留言