什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用
2021-12-07 12:55
164
0
0
0
一、竞争的需要
国际互联网的用户在迅猛地增长，中国上网用户由1995年的一万户速增至2001年上半年的2650万用户。这增长速度是全世界范围的普遍现象。在美国、欧洲、日本、台湾、港澳及其它许多国家，网站和电子信箱系
2021-12-07 12:55
157
0
0
0
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。
查看日志的方式：
通过F
2021-12-07 12:55
196
0
0
0
Baiduspider - 百度蜘蛛：
百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。
它是一个程序，夜以继日得在互联网上找寻新
2022-03-03 15:22
165
0
0
0
Anchor Text 中文解释：“链接锚文本”。
举个例子说明链接锚文本：
哪里可以最简捷学习 SEO 呢，SEO十万个为什么或许是个不错的选择。这里，SEO 就是链接锚文本（A
2021-12-07 12:55
160
0
0
0
很多时候，我们考虑把无效的URL比如：用户拼错的URL、不存在的URL重定向到别的网页，例如网站的首页、404页面等。
在httpd.conf或.htaccess文件中使用ErrorDocument来捕获404
2021-12-07 12:55
132
0
0
0
DMOZ-开放目录，名字来自：Directory.Mozilla.org 也叫ODP(Open Directory Project开放目录工程)。由于由全球成千上万的志愿者在维护和管理这个非赢利性网站，Dmoz被认为
2021-12-07 12:55
176
0
0
0
Google网站管理员工具是什么？
地址：http://www.google.cn/webmasters/
Google为了更好地与网站管理员沟通，推出了这套服务，让站长可以在此查询站点在Goole的索引和排名情
2021-12-07 12:56
212
0
0
0