忘记密码?

一键登录

草根吧源码论坛

禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法

查看: 130|回复: 0

禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法

[复制链接]

2555

主题

4642

热度

1488

贡献

民审

Rank: 8Rank: 8

发表于 2017-2-17 17:54:12 | 显示全部楼层 |阅读模式 | 百度  360  谷歌 
分享到:
禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法:
  1. User-agent: Baiduspider
  2. Disallow: /

  3. User-agent: Googlebot
  4. Disallow: /

  5. User-agent: MSNBot
  6. Disallow: /

  7. User-agent: Baiduspider-image
  8. Disallow: /

  9. User-agent: YoudaoBot
  10. Disallow: /

  11. User-agent: Sogou web spider
  12. Disallow: /

  13. User-agent: Sogou inst spider
  14. Disallow: /

  15. User-agent: Sogou spider2
  16. Disallow: /

  17. User-agent: Sogou blog
  18. Disallow: /

  19. User-agent: Sogou News Spider
  20. Disallow: /

  21. User-agent: Sogou Orion spider
  22. Disallow: /

  23. User-agent: ChinasoSpider
  24. Disallow: /

  25. User-agent: Sosospider
  26. Disallow: /


  27. User-agent: yisouspider
  28. Disallow: /

  29. User-agent: EasouSpider
  30. Disallow: /

  31. User-agent: *
  32. Disallow: /
复制代码
懒人包:直接上传覆盖网站根目录的robots.txt: 草根吧 禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法 搜索引擎,网站,robots,禁止,蜘蛛 精品教程 text robots.txt (651 Bytes, 下载次数: 0)

帖子地址: 

本文来源于草根吧源码论坛 www.caogen8.co,欢迎大家下载。
如果您没有贡献需要充值,可以直接在线充值,点击充值
如果你需要加入本站赞助VIP会员,可以直接在线开通,点击开通
如果找不到您要的资源,请搜索一下,点击搜索
回复

举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆 用百度帐号登录 一键登录:

本版积分规则

收藏帖子 返回列表 搜索
快速回复 返回顶部 返回列表