# https://www.robotstxt.org/robotstxt.html

# 允许所有通用搜索引擎和主流 AI 爬虫 (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot 等)
User-agent: *
Disallow: /api/
Disallow: /history/
Disallow: /job/
Disallow: /*?*

# 明确允许所有主要 AI 爬虫（防御性策略，防止被默认的安全规则拦截）
User-agent: GPTBot
Disallow: /api/
Disallow: /history/
Disallow: /job/

User-agent: ChatGPT-User
Disallow: /history/
Disallow: /job/

User-agent: ClaudeBot
Disallow: /api/
Disallow: /history/
Disallow: /job/

User-agent: PerplexityBot
Disallow: /api/
Disallow: /history/
Disallow: /job/

# 指定 Sitemap 位置
Sitemap: https://www.cleanaudio.io/sitemap.xml