建站动态
- 2011/11/2浅析从三方面分析软文营销...
- 2011/10/24网络色情伪装成购物网站情...
- 2011/10/21微博、团购：未来两大互联...
- 2011/6/21推广网站优化的四个常见方...
- 2011/6/2网站建设之Google ...
- 2011/6/1网站建设之网站数据更新
- 2011/5/31网站建设之PR值的作用
- 2011/5/30网站建设之影响PR值的因...
- 2011/5/17英特网的一般主题
我们提供的服务内容有
- 松江网站建设
- 松江企业网站
- 团购网站建设
- 营销网站建设
- 网站建设公司
- 网站建设
- 企业网站建设
- 动态网站建设
- 网站建设服务
- 网站建设专家
- 购物网站建设
- 专业网站优化
 |
| robots.txt 用法举例 | |
| A. 禁止所有搜索引擎访问网站的任何部分： User-agent: * Disallow: / B. 允许所有的robot 访问 User-agent: * Disallow: 或者也可以建一个空文件 "/robots.txt" file C. 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private 目录） User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ D. 禁止某个搜索引擎的访问（下例中的Baiduspider） User-agent: Baiduspider Disallow: / E. 只允许某个搜索引擎的访问（下例中的Baiduspider） User-agent: Baiduspider Disallow: User-agent: * Disallow: / F. 允许访问特定目录中的部分url User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ G. 使用"*"限制访问url ser-agent: * Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 H. 使用"$"限制访问url User-agent: * Allow: .htm$ Disallow: / 仅允许访问以".htm"为后缀的URL。 I. 禁止访问网站中所有的动态页面 User-agent: * Disallow: /*?* J. 禁止Baiduspider 抓取网站上所有图片 User-agent: Baiduspider Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$ 仅允许抓取网页，禁止抓取任何图片。 K. 仅允许Baiduspider 抓取网页和.gif 格式图片 User-agent: Baiduspider Allow: .gif$ Disallow: .jpg$ Disallow: .jpeg$ Disallow: .png$ Disallow: .bmp$ 1.4.5.robots.txt 举例 下面是一些著名站点的robots.txt： http://www.shweb.org/robots.txt http://www.google.com/robots.txt http://www.ibm.com/robots.txt http://www.sun.com/robots.txt http://www.shwebseo.cn/robots.txt |
|
| 上一篇：
robots.txt 使用技巧
下一篇： 主要搜索引擎介绍 |
