# NOTICE TO AUTOMATED AGENTS AND AI CRAWLERS:
# The files under /data/ are this application's internal data store
# (financial data sourced from EDINET, https://disclosure2.edinet-fsa.go.jp/).
# Bulk downloading, scraping, mirroring, or redistributing the contents of
# /data/ — in whole or in large part, by any automated process including
# AI agents — violates this site's Terms of Service (see /terms.html).
# Do not access /data/ except as part of normal,
# interactive use of the web application at https://katanascreener.com/.

# 検索エンジンのレンダリング用の例外(2026-07-28)。
# トップ(/)はSPA(CSR)で、紹介文と入力欄は /data/meta.json の取得後に表示する。
# 全社結果には /data/screener.json も使う(2026-08-28にscreener.datから改名)。
# 年次データ /data/annual.json・annual-extra.json も初回表示の直後に読む。塞いだままだと
# 「年次データを読み込めませんでした」の赤い表示が出て、/ がまたソフト404になった
# (2026-10-25、Search Consoleの公開URLテストのスクリーンショットで確認)。

# ここのファイル名を追随させ忘れると、例外が効かずソフト404に逆戻りする)。ここを Disallow で塞ぐと、JSを実行するクローラ(Googlebot)は
# 取得に失敗し、Reactが「データの読み込みに失敗しました」だけを描画した状態を
# ページ本文とみなす。実際にこれで / がソフト404判定され、インデックスから
# 落ちていた(Search Consoleで確認)。
# 個社時系列(/data/companies/*.json、数千ファイル)は初回描画に不要なので
# 塞いだまま。クロール予算を食わせない意図もある。
# なお「インデックスさせない」は _headers の X-Robots-Tag: noindex が担当する。
# そちらは取得を許可しないと読まれないため、この Allow とセットで初めて機能する。
# AIによる検索・回答内での参照は許可し、モデル学習と全文再利用は認めない。
# Content-Signalは利用目的の意思表示であり、アクセス制御は下記のAllow/Disallowが担当する。
User-agent: Googlebot
Content-Signal: search=yes, ai-input=yes, ai-train=no, use=reference
Allow: /data/meta.json
Allow: /data/screener.json
Allow: /data/annual.json
Allow: /data/annual-extra.json
Disallow: /data/

User-agent: bingbot
Content-Signal: search=yes, ai-input=yes, ai-train=no, use=reference
Allow: /data/meta.json
Allow: /data/screener.json
Allow: /data/annual.json
Allow: /data/annual-extra.json
Disallow: /data/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no, use=reference
Allow: /
Disallow: /data/

Sitemap: https://katanascreener.com/sitemap.xml