# ============================================================================= # 51吃瓜网 — 站群 robots.txt(相对路径,多域名通用) # 全站允许抓取 | Sitemap 相对路径 /sitemap.xml # 新增页面后访问 /sitemap.xml 由 index.php 自动扫描更新 # ============================================================================= User-agent: * Allow: / User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Baiduspider-image Allow: / User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: Sogou inst spider Allow: / User-agent: 360Spider Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Bingbot Allow: / Sitemap: /sitemap.xml