ブログ
llms.txt とは?お店のサイトに置く書き方の例と、置けているか確かめる方法
llms.txt は、AI に「このサイトはこういう所で、読むならここ」と伝える案内の紙です。無くても困りませんが、置くなら、AI から見て本当に置けているかまで確かめておくと安心です。
llms.txt とは
サイトのルートに置く llms.txt という名前のテキストファイルです。中身は Markdown で、サイトの名前、短い要約、AI に読んでほしいページへのリンクを並べます。2024年に Jeremy Howard さんが提案し、いまは v2 が llmstxt.org で公開されています。
仕様によれば、使われ方の中心は学習ではなく、AI が人に頼まれて調べものをするその場(推論のとき)です。AI は llms.txt を読んで、要る情報のあるページへリンクをたどります。HTML のページは人のために作られていて、ナビゲーションや広告の中から本文を取り出すのが難しいからです。
robots.txt との違い
よく混ざるので先に分けておきます。robots.txt は「どこを読んでよいか」の許可、llms.txt は「何が大事か」の案内です。llms.txt に書いても AI のクローラを断ることはできません。断りたいなら robots.txt に書きます(書き方は GPTBot を止めているか確かめる記事に)。
| robots.txt | llms.txt | |
|---|---|---|
| 役割 | 読んでよい場所と、断る場所 | サイトの要点と、読むべきページ |
| 形式 | User-agent・Disallow・Allow の行 | Markdown(見出しとリンクの一覧) |
| 無いとき | どこでも読んでよい扱い | 困らない(任意) |
書き方(お店のサイトの例)
決まっている順番は次のとおりです。必須なのは最初の見出し1つだけで、ほかは省けます。
#の見出し1つ(サイトやお店の名前)。これだけが必須です>で始まる引用(短い要約)- 見出しを使わない説明の段落(あれば)
##の見出しごとに、リンクの一覧。1行に[名前](URL)を1つ、続けて:のあとに一言の説明を付けられます
# 山田茶園 オンラインショップ
> 静岡の自社茶園の煎茶とほうじ茶を売っています。注文は会員登録なしでもできます。
送料は全国一律、5,000円以上で無料です。
## 商品
- [煎茶の一覧](https://example.com/collections/sencha): 産地と収穫時期つき
- [ほうじ茶の一覧](https://example.com/collections/hojicha)
## ご注文について
- [送料とお届け日数](https://example.com/pages/shipping)
- [返品と交換](https://example.com/pages/returns)
## Optional
- [茶園の紹介](https://example.com/pages/about)最後の ## Optional は決まった名前の節で、「短く済ませたいときは飛ばしてよいリンク」という意味です。お店なら、商品の一覧、送料、返品のように、買う前に聞かれることへのリンクを上に置くと役に立ちます。
llms-full.txt という名前もよく見かけます。これは仕様の本文にある名前ではなく、Mintlify のようなドキュメントの基盤が、全ページの本文を1つにまとめて置くのに使っているものです。お店のサイトなら、まず llms.txt だけで足ります。
置けているかを確かめる
- ブラウザで
https://お店のドメイン/llms.txtを開く - 書いた Markdown がそのまま文字で出れば置けています。
#の見出しが1行目(空行の次)にあるかも見てください - お店のトップページや「ページが見つかりません」の画面が出たら、置けていません。下の落とし穴1です
置いたはずなのに「無い」と扱われる3つの形
1. /llms.txt を開くと、HTML の画面が返る
ファイルが無いとき、「見つかりません」ではなくトップページやエラー画面を、成功の返事(200)で返すサーバがあります。人の目には何か出ているので置けたように見えますが、中身は HTML の文書で、llms.txt ではありません。当社の無料チェックも、返ってきた本文が <!DOCTYPE html> や <html> で始まるときは「無い」と数えます。カートやホームページの作成サービスによっては、ルートに任意のファイルを置けないことがあります。その場合は、使っているサービスのヘルプで「ルートにファイルを置く」方法を確かめてください。
2. ルート以外の場所にだけ置いた
仕様は /docs/llms.txt のようにパスの下に置くことも認めていて、その場合はそのパスの下のページだけを説明します。サイト全体の案内にしたいならルートの /llms.txt です。Chrome の Lighthouse の説明も、置き場所にルート(https://example.com/llms.txt)を挙げています。当社の無料チェックもルートの /llms.txt と /llms-full.txt だけを見ます。
3. llms.txt で AI を断ったつもりになっている
「AI には読ませない」と llms.txt に書いても、断ったことにはなりません。許可と拒否を決めるのは robots.txt です。llms.txt は、読みに来た AI への案内です。
無くても困らない
llms.txt はいまのところ任意です。Chrome の Lighthouse には llms.txt を見る項目がありますが、ファイルが無い(404)ときは「対象外」の扱いで、減点しません。指摘されるのは、取りに行ってサーバのエラーが返ったときです。まず確かめるべきは robots.txt で AI のクローラを止めていないか、ページに検索に出さない指定(noindex)が付いていないか。llms.txt はその次で十分です。
3つまとめて確かめるなら
このページの下の入力欄にお店の URL を入れると、ルートの llms.txt と llms-full.txt があるか(HTML の画面が返っていないか)、AI のクローラ8種がトップページを読めるか、そのページに noindex が付いていないかを、その場で出します。登録もメールも要りません。読むのは公開ファイルとそのページだけです。
自分のサイトでも試す
URLを入れると、その場で分かります。AIのクローラが入れるか、AI向けの案内ファイルがあるか、検索に出さない指定が付いていないかを、公開されているページだけで確かめます。