ZBlogger技术交流中心

 找回密码
 注册

QQ登录

只需一步,快速开始

Z-BlogPHP 最新开发动态 下载最新版:Z-BlogPHP 1.5 Zero Wordpress转换 - Emlog转换 - 找回密码

Z-BlogASP 最新开发动态 下载最新版:Z-Blog 2.2 Prism Build 140101 转换到Z-BlogPHP - 1.8升级指南 - 找回密码

DBS官方主机/域名/VPS 推荐:Z-BlogPHP主机-Z-BlogASP主机 联系值班客服(每天9:00-21:30)

搜索
【聚划算】宅男最新神器!你懂的!环球外贸论坛
查看: 265|回复: 11

robots写法?

[复制链接]
 楼主| 发表于 2017-3-7 21:07:34 | 显示全部楼层 |阅读模式
本帖最后由 pyslan 于 2017-3-7 21:08 编辑

官方有robots写法吗?谢谢
回复

使用道具 举报

发表于 2017-3-8 10:07:16 | 显示全部楼层
我使用的为:
User-agent: *
Disallow: /zb_users/
Disallow: /zb_system/
Sitemap: 域名/sitemap.xml
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-3-9 10:55:14 | 显示全部楼层
Seventeen 发表于 2017-3-8 10:07
我使用的为:
User-agent: *
Disallow: /zb_users/

谢谢!:)
回复 支持 反对

使用道具 举报

发表于 2017-3-9 20:44:03 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2017-3-11 00:27:05 | 显示全部楼层
看这个:http://bbs.zblogcn.com/forum.php?mod=viewthread&tid=93143&page=1&authorid=32078
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-3-14 11:36:15 | 显示全部楼层
卡卡北 发表于 2017-3-11 00:27
看这个:http://bbs.zblogcn.com/forum.php?mod=viewthread&tid=93143&page=1&authorid=32078

谢谢
回复 支持 反对

使用道具 举报

发表于 2017-3-18 23:43:33 | 显示全部楼层
  1. User-agent: *
  2. Disallow: /zb_system/
  3. Disallow: /zb_users/
复制代码


官方推荐的写法,如果有什么不想被抓取的文件夹也可以写进去
回复 支持 反对

使用道具 举报

发表于 2017-3-31 11:37:18 | 显示全部楼层
不懂可以在线生成,默认也押金有了robots
回复 支持 反对

使用道具 举报

发表于 2017-3-31 11:44:34 | 显示全部楼层
本人的robots。。。
  1. # robots.txt for http://blog.dingstudio.cn and friends
  2. #
  3. # Please note: There are a lot of pages on this site, and there are
  4. # some misbehaved spiders out there that go _way_ too fast. If you're
  5. # irresponsible, your access to the site may be blocked.
  6. #

  7. User-agent: Baiduspider
  8. Allow: /
  9. Allow: /article/
  10. Allow: /page/
  11. Allow: /zb_user/
  12. Allow: /search/
  13. Disallow: /zb_system/
  14. Disallow: /zb_install/
  15. Disallow: /dingstudio/
  16. Disallow: /oauth/
  17. Disallow: /TestProject/
  18. Disallow: /admin/

  19. User-Agent: Googlebot
  20. Allow: /
  21. Allow: /article/
  22. Allow: /page/
  23. Allow: /zb_user/
  24. Allow: /search/
  25. Disallow: /zb_system/
  26. Disallow: /zb_install/
  27. Disallow: /dingstudio/
  28. Disallow: /oauth/
  29. Disallow: /TestProject/
  30. Disallow: /admin/

  31. User-agent: Bingbot
  32. Allow: /
  33. Allow: /article/
  34. Allow: /page/
  35. Allow: /zb_user/
  36. Allow: /search/
  37. Disallow: /zb_system/
  38. Disallow: /zb_install/
  39. Disallow: /dingstudio/
  40. Disallow: /oauth/
  41. Disallow: /TestProject/
  42. Disallow: /admin/

  43. User-Agent: 360Spider
  44. Allow: /
  45. Allow: /article/
  46. Allow: /page/
  47. Allow: /zb_user/
  48. Allow: /search/
  49. Disallow: /zb_system/
  50. Disallow: /zb_install/
  51. Disallow: /dingstudio/
  52. Disallow: /oauth/
  53. Disallow: /TestProject/
  54. Disallow: /admin/

  55. User-Agent: Yisouspider
  56. Allow: /
  57. Allow: /article/
  58. Allow: /page/
  59. Allow: /zb_user/
  60. Allow: /search/
  61. Disallow: /zb_system/
  62. Disallow: /zb_install/
  63. Disallow: /dingstudio/
  64. Disallow: /oauth/
  65. Disallow: /TestProject/
  66. Disallow: /admin/

  67. User-Agent: Sogouspider
  68. Allow: /
  69. Allow: /article/
  70. Allow: /page/
  71. Allow: /zb_user/
  72. Allow: /search/
  73. Disallow: /zb_system/
  74. Disallow: /zb_install/
  75. Disallow: /dingstudio/
  76. Disallow: /oauth/
  77. Disallow: /TestProject/
  78. Disallow: /admin/

  79. User-Agent: Yahoo! Slurp
  80. Allow: /
  81. Allow: /article/
  82. Allow: /page/
  83. Allow: /zb_user/
  84. Allow: /search/
  85. Disallow: /zb_system/
  86. Disallow: /zb_install/
  87. Disallow: /dingstudio/
  88. Disallow: /oauth/
  89. Disallow: /TestProject/
  90. Disallow: /admin/

  91. User-Agent: *
  92. Disallow:  /
复制代码


评分

参与人数 1金币 +1 收起 理由
倔强蘑菇 + 1 很给力!

查看全部评分

回复 支持 反对

使用道具 举报

发表于 2017-3-31 18:38:48 | 显示全部楼层
dingstudio 发表于 2017-3-31 11:44
本人的robots。。。

这么壮观的robots,我也是头一次见
回复 支持 反对

使用道具 举报

发表于 2017-3-31 18:55:23 | 显示全部楼层
倔强蘑菇 发表于 2017-3-31 18:38
这么壮观的robots,我也是头一次见

主要是自己写的乱七八糟的东西太多了,没办法。。怕被搜索引擎挖出来,我的某些api入口都暴露了、、
回复 支持 反对

使用道具 举报

发表于 2017-4-1 23:06:21 | 显示全部楼层
学习了!楼上的写得很好!!!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|ZBlogger技术交流中心 ( 鄂ICP备11007414号 鄂公网安备 42060602000101号

GMT+8, 2017-6-25 01:25 , Processed in 0.218972 second(s), 12 queries , APCu On.

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表