User-agent: *
Allow: /

# 网站地图
Sitemap: https://seogeo.cc/sitemap.xml

# 禁止抓取的目录
Disallow: /admin/
Disallow: /private/
Disallow: /.git/
Disallow: /node_modules/

# 允许抓取所有CSS和JS文件
Allow: /css/
Allow: /js/
Allow: /images/

# 爬虫速度限制
Crawl-delay: 1

# 特定搜索引擎优化
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Baiduspider
Allow: /