# Semua crawler boleh membaca konten publik biver.id, termasuk crawler pencarian dan pelatihan AI
# (Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, CCBot,
# PerplexityBot, Google-Extended, Applebot-Extended). Cloudflare juga mengizinkannya sejak 2026-10-22.
# Hanya area akun dan API yang ditutup. Halaman pelanggan punya robots.txt sendiri.
# Satu grup "*" dipakai supaya aturan tutup tidak bisa terlewat oleh grup khusus.
# /forgot-password dan /upgrade sengaja tidak ditutup: keduanya sudah terindex dan memakai noindex.
# Google harus bisa membaca noindex itu supaya keduanya keluar dari index.
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /builder
Disallow: /checkout
Disallow: /payment
Disallow: /login
Disallow: /register
Disallow: /reset-password
Disallow: /verify-email
Disallow: /invitation
Disallow: /select-workspace
Disallow: /dashboard
Disallow: /workspaces
Disallow: /pages
Disallow: /products
Disallow: /orders
Disallow: /forms
Disallow: /domains
Disallow: /billing
Disallow: /settings
Disallow: /team
Disallow: /wallet
Disallow: /affiliate
Disallow: /analytics
Disallow: /api-keys
Disallow: /coupons
Disallow: /gallery

Sitemap: https://biver.id/sitemap.xml