公司头条

推广运维推广运维
关注: 0贴子:14 排名: 6 
0 回复贴,170 次查看
<返回列表

discuz搜索引擎robots.txt如何写

176

主题

148

帖子

799

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
799
发表于 2018-9-22 17:22:35
本文参考了百度知道的robots.txt 的标准写法,屏蔽了一些恶意的搜索引擎蜘蛛爬取,消耗服务器资源,以本站为例:

  1. User-agent: Baiduspider
  2. Allow: /

  3. User-agent: Googlebot
  4. Allow: /

  5. User-agent: Googlebot-Mobile
  6. Allow: /

  7. User-agent: MSNBot
  8. Allow: /

  9. User-agent: Baiduspider-image
  10. Allow: /

  11. User-agent: YoudaoBot
  12. Allow: /

  13. User-agent: Sogou web spider
  14. Allow: /

  15. User-agent: Sogou inst spider
  16. Allow: /

  17. User-agent: Sogou spider2
  18. Allow: /

  19. User-agent: Sogou blog
  20. Allow: /

  21. User-agent: Sogou News Spider
  22. Allow: /

  23. User-agent: Sogou Orion spider
  24. Allow: /

  25. User-agent: ChinasoSpider
  26. Allow: /

  27. User-agent: Sosospider
  28. Allow: /

  29. User-agent: YYspider
  30. Allow: /


  31. User-agent: yisouspider
  32. Allow: /

  33. User-agent: EasouSpider
  34. Allow: /

  35. User-agent: YodaoBot
  36. Allow: /

  37. User-agent: Bingbot
  38. Allow: /

  39. User-agent: Slurp
  40. Allow: /

  41. User-agent: googlebot-image
  42. Allow: /

  43. User-agent: HaoSouSpider
  44. Allow: /

  45. User-agent: 360Spider
  46. Allow: /

  47. User-agent: 360Spider-Image
  48. Allow: /

  49. User-agent: *
  50. Disallow: /

  51. Sitemap:https://www.ewxf.com/sitemap.xml
复制代码
这应该是最标准的discuz搜索引擎robots.txt写法了。
回复

使用道具 举报

快速回帖 使用高级回帖 (可批量传图、还有插入视频等功能哦!)

您需要登录后才可以回帖 登录 | 立即注册

  • 发布信息免费
  • 发贴彩色标题
  • 签到额外经验值

如何快速提升等级,查看[积分规则]

活动中心

查看更多>>
最新热版
会员排行
相关推荐
©2001-2018 公司头条 https://www.ewxf.com中国互联网举报中心沪ICP备14046342号-13 本站内容均来自网络转载或网友提供,如有侵权请及时联系我们,Cxy@izhiben.CN 公安网备|网站地图 企业map 产品map 新闻map 其他map
Archiver手机版小黑屋广告合作QQ:864633495
发帖 客服 微信 手机版 举报