Apa sebenarnya llms.txt?
Sebuah berkas teks berformat Markdown, disajikan di /llms.txt, dengan struktur sederhana: nama situs, deskripsi singkat, dan daftar tautan yang tertata per bagian menuju halaman-halaman terpenting. Idenya lahir dari komunitas dokumentasi teknis: model membaca Markdown bersih jauh lebih baik daripada halaman HTML yang penuh navigasi dan skrip, jadi llms.txt menawarkan peta konten yang sudah dikurasi.
Perayap OpenAI dan Anthropic sudah mulai mengikutinya. Berkas llms.txt situs ini dapat dipakai sebagai implementasi referensi — buka dan bandingkan strukturnya dengan kebutuhan situs Anda.
Gestur teknisnya sengaja rendah hati: llms.txt tidak berusaha memerintah model, hanya menurunkan biaya interpretasinya. Situs berisi ratusan halaman membebankan perayap dengan navigasi, templat, dan skrip; situs yang sama dengan llms.txt menawarkan indeks terkurasi dalam satu permintaan. Di dunia tempat konteks model adalah sumber daya langka, siapa pun yang menurunkan biaya itu memperbesar peluang bahwa konten kuncinya — bukan halaman sekunder mana pun — yang akan dibaca.
Apa yang bisa dan tidak bisa dilakukannya?
| Yang bisa | Yang tidak bisa |
|---|---|
| Memandu perayap menuju konten kunci dalam format bersih | Menjamin perayapan, pengindeksan, maupun kutipan |
| Merangkum entitas: apa situs ini, siapa di baliknya | Menggantikan robots.txt atau data terstruktur |
| Menawarkan versi Markdown dari halaman kompleks | Berfungsi sebagai tuas peringkat dengan sendirinya |
| Menurunkan biaya interpretasi situs besar | Mengompensasi konten yang biasa-biasa saja atau terblokir |
Bagaimana cara menulisnya? Struktur yang direkomendasikan
- H1 berisi nama situs atau proyek, diikuti deskripsi faktual 1–2 kalimat — teks yang sama dengan blok jawaban langsung Anda.
- Bagian H2 per jenis konten (produk, dokumentasi, harga, kontak), masing-masing dengan daftar tautan berformat
- [Judul](URL): deskripsi singkat. - Bagian opsional untuk konten sekunder yang boleh diabaikan perayap jika konteksnya terbatas.
- URL absolut, konten terkini, dan konsisten dengan apa yang dikatakan halaman yang ditautkan.
Setelah diterbitkan, verifikasinya sederhana: pastikan /llms.txt merespons dengan kode 200 dan tipe konten teks, tidak diblokir robots.txt, dan setiap tautan yang tercantum memang ada. Masukkan pemeriksaannya ke checklist kesegaran triwulanan: llms.txt yang mendeskripsikan arsitektur situs setahun lalu mengirimkan persis ketidakkonsistenan yang dihukum grounding.
Bagaimana posisinya dalam tumpukan teknis lainnya?
llms.txt adalah satu bagian dari saluran teknis, bukan saluran lengkapnya. Urutan logisnya: robots.txt menentukan siapa boleh masuk (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended diatur terpisah), data terstruktur membuat fakta terbaca mesin (Organization, Article, FAQPage, LocalBusiness), dan llms.txt memandu navigasinya. Panduan lengkapnya ada di implementasi teknis GEO.
Untuk situs multibahasa, satu llms.txt di root dapat memetakan versi per bahasa: cantumkan bagian per bahasa dengan tautan ke halaman inti masing-masing. Ini sejalan dengan logika GEO multibahasa — satu entitas yang sama, navigasi yang jelas untuk setiap pasar. Pastikan deskripsi di llms.txt konsisten kata demi kata dengan blok jawaban langsung beranda versi bahasa tersebut.
Jebakan umum
- Mengharap efek seketika: llms.txt tidak mengubah jawaban dalam semalam; ia infrastruktur jangka panjang.
- Menerbitkannya lalu tidak diperbarui: tautan mati atau bagian yang sudah tidak ada mengirimkan sinyal entitas yang terbengkalai.
- Memakainya sebagai pengganti: situs tanpa data terstruktur, perayap diblokir, tetapi «sudah punya llms.txt». Berkas itu tidak mengompensasi sisanya.
- Mengisinya dengan pemasaran: berkas ini harus faktual — model membuang teks promosi kosong.