本文へスキップ
← ブログ

ブログ

llms.txt とは?お店のサイトに置く書き方の例と、置けているか確かめる方法

llms.txt は、AI に「このサイトはこういう所で、読むならここ」と伝える案内の紙です。無くても困りませんが、置くなら、AI から見て本当に置けているかまで確かめておくと安心です。

公開 llms-txtai-crawlerec

llms.txt とは

サイトのルートに置く llms.txt という名前のテキストファイルです。中身は Markdown で、サイトの名前、短い要約、AI に読んでほしいページへのリンクを並べます。2024年に Jeremy Howard さんが提案し、いまは v2 が llmstxt.org で公開されています。

仕様によれば、使われ方の中心は学習ではなく、AI が人に頼まれて調べものをするその場(推論のとき)です。AI は llms.txt を読んで、要る情報のあるページへリンクをたどります。HTML のページは人のために作られていて、ナビゲーションや広告の中から本文を取り出すのが難しいからです。

robots.txt との違い

よく混ざるので先に分けておきます。robots.txt は「どこを読んでよいか」の許可、llms.txt は「何が大事か」の案内です。llms.txt に書いても AI のクローラを断ることはできません。断りたいなら robots.txt に書きます(書き方は GPTBot を止めているか確かめる記事に)。

robots.txtllms.txt
役割読んでよい場所と、断る場所サイトの要点と、読むべきページ
形式User-agent・Disallow・Allow の行Markdown(見出しとリンクの一覧)
無いときどこでも読んでよい扱い困らない(任意)

書き方(お店のサイトの例)

決まっている順番は次のとおりです。必須なのは最初の見出し1つだけで、ほかは省けます。

  1. # の見出し1つ(サイトやお店の名前)。これだけが必須です
  2. > で始まる引用(短い要約)
  3. 見出しを使わない説明の段落(あれば)
  4. ## の見出しごとに、リンクの一覧。1行に [名前](URL) を1つ、続けて : のあとに一言の説明を付けられます
# 山田茶園 オンラインショップ

> 静岡の自社茶園の煎茶とほうじ茶を売っています。注文は会員登録なしでもできます。

送料は全国一律、5,000円以上で無料です。

## 商品

- [煎茶の一覧](https://example.com/collections/sencha): 産地と収穫時期つき
- [ほうじ茶の一覧](https://example.com/collections/hojicha)

## ご注文について

- [送料とお届け日数](https://example.com/pages/shipping)
- [返品と交換](https://example.com/pages/returns)

## Optional

- [茶園の紹介](https://example.com/pages/about)

最後の ## Optional は決まった名前の節で、「短く済ませたいときは飛ばしてよいリンク」という意味です。お店なら、商品の一覧、送料、返品のように、買う前に聞かれることへのリンクを上に置くと役に立ちます。

llms-full.txt という名前もよく見かけます。これは仕様の本文にある名前ではなく、Mintlify のようなドキュメントの基盤が、全ページの本文を1つにまとめて置くのに使っているものです。お店のサイトなら、まず llms.txt だけで足ります。

置けているかを確かめる

  1. ブラウザで https://お店のドメイン/llms.txt を開く
  2. 書いた Markdown がそのまま文字で出れば置けています。# の見出しが1行目(空行の次)にあるかも見てください
  3. お店のトップページや「ページが見つかりません」の画面が出たら、置けていません。下の落とし穴1です

置いたはずなのに「無い」と扱われる3つの形

1. /llms.txt を開くと、HTML の画面が返る

ファイルが無いとき、「見つかりません」ではなくトップページやエラー画面を、成功の返事(200)で返すサーバがあります。人の目には何か出ているので置けたように見えますが、中身は HTML の文書で、llms.txt ではありません。当社の無料チェックも、返ってきた本文が <!DOCTYPE html> や <html> で始まるときは「無い」と数えます。カートやホームページの作成サービスによっては、ルートに任意のファイルを置けないことがあります。その場合は、使っているサービスのヘルプで「ルートにファイルを置く」方法を確かめてください。

2. ルート以外の場所にだけ置いた

仕様は /docs/llms.txt のようにパスの下に置くことも認めていて、その場合はそのパスの下のページだけを説明します。サイト全体の案内にしたいならルートの /llms.txt です。Chrome の Lighthouse の説明も、置き場所にルート(https://example.com/llms.txt)を挙げています。当社の無料チェックもルートの /llms.txt と /llms-full.txt だけを見ます。

3. llms.txt で AI を断ったつもりになっている

「AI には読ませない」と llms.txt に書いても、断ったことにはなりません。許可と拒否を決めるのは robots.txt です。llms.txt は、読みに来た AI への案内です。

無くても困らない

llms.txt はいまのところ任意です。Chrome の Lighthouse には llms.txt を見る項目がありますが、ファイルが無い(404)ときは「対象外」の扱いで、減点しません。指摘されるのは、取りに行ってサーバのエラーが返ったときです。まず確かめるべきは robots.txt で AI のクローラを止めていないか、ページに検索に出さない指定(noindex)が付いていないか。llms.txt はその次で十分です。

3つまとめて確かめるなら

このページの下の入力欄にお店の URL を入れると、ルートの llms.txt と llms-full.txt があるか(HTML の画面が返っていないか)、AI のクローラ8種がトップページを読めるか、そのページに noindex が付いていないかを、その場で出します。登録もメールも要りません。読むのは公開ファイルとそのページだけです。

自分のサイトでも試す

URLを入れると、その場で分かります。AIのクローラが入れるか、AI向けの案内ファイルがあるか、検索に出さない指定が付いていないかを、公開されているページだけで確かめます。