🤖 robots.txt生成器

robots.txt生成器について

このrobots.txt生成器は、すべてブラウザ内で完結します。デフォルトルールを選び、ユーザーエージェントごとのルールを追加し、オプションでサイトマップディレクティブを含めると、そのまま貼れる robots.txt ファイルを生成します。アップロードは一切なく、JavaScriptによってあなたのデバイス上で処理されます。

robots.txtとは？

robots.txt はドメインのルートに置かれるプレーンテキストファイル（例：https://example.com/robots.txt）で、クローラーにサイトのどの部分へアクセスしてよいかを伝えます。Robots Exclusion Protocol を使用し、Google・Bing・DuckDuckGoを含むすべての主要検索エンジンがサポートしています。

主なディレクティブ

• User-agent —— 続くルールを適用するクローラー。* はすべてのクローラーに一致。
• Allow —— 指定クローラーがアクセスしてよいパス。
• Disallow —— 指定クローラーがアクセスしてはいけないパス。
• Sitemap —— XMLサイトマップの絶対URL。各 Sitemap: 行に1つのサイトマップを列挙。

使い方

1. デフォルトルールを選択：すべて許可はサイト全体を開放、すべてブロックは閉鎖。
2. ルール追加ボタンで個別ルールを追加——ユーザーエージェント・アクション・パスを選びます。
3. オプションでサイトマップURLを入力し、検索エンジンがサイトマップを見つけられるようにします。
4. 生成してコピーし、結果をサイトのルートに robots.txt という名前のファイルとして保存します。

よくある質問

データはアップロードされますか？ いいえ。すべての処理はローカルブラウザで行われ、入力がデバイスから外に出ることはありません。

robots.txtはセキュリティ制御ですか？ いいえ。これは要求であり強制ではありません。悪意のあるボットは無視できます。機密URLの隠蔽には使わず、認証で保護してください。

誤ってURLをブロックしたら？ ブロックされたURLはクロールされませんが、他のページからリンクされていれば検索結果に表示される可能性があります。完全にURLを除去するには noindex メタタグやレスポンスヘッダーを使います。

robots.txtはどこに置きますか？ ドメインのルート：https://yourdomain.com/robots.txt。ホストごとに1つのファイルのみが有効です。