В уеб пространството набра сериозна популярност темата за внедряването на специалния текстов файл llms.txt, предназначен да напътства роботите на изкуствения интелект при сканиране на съдържание. Водещият софтуерен анализатор и лице на Google Search Relations екипа – Джон Мюлер – обаче охлади ентусиазма на уеб администраторите. По време на последния епизод на официалния подкаст Search Off the Record той категорично заяви, че llms.txt не може да помогне на AI системите да диференцират и избират кои сайтове да показват при потребителски заявки.

Според Мюлер, тъй като става въпрос за самоопределяща се (self-reported) информация, подадена директно от собственика на съответния сайт, големите езикови модели (LLMs) нямат никакъв софтуерен механизъм, чрез който да класират един източник над друг въз основа на този файл.

Защо llms.txt е софтуерен „dead end“ за AI търсачките?

Дискусията в подкаста стартира с въпрос от уеб издатели дали трябва да започнат масово да конвертират HTML страниците си в опростен Markdown формат заради AI ботовете. Мюлер и неговият колега Мартин Сплит се съгласиха, че HTML си остава фундаменталната база за софтуерно пълзене (crawling) и откриване на съдържание.

Когато темата се прехвърли конкретно върху llms.txt, Мюлер описа този подход като задънена улица за откриваемостта:

„Това на практика означава да кажете на тези AI системи: ‘Вижте, аз имам най-страхотния уебсайт на света. Ето тук са страниците, които абсолютно всеки трябва да посети. И вие задължително трябва да купите всичките ми продукти.’ Една LLM система, по дизайн, просто няма как да се довери на написаното в този файл като метод за диференциране между различните уебсайтове.“

Проблемът „по дизайн“: Архитектура или липса на сигнал?

Анализаторите тълкуват софтуерното определение на Мюлер „по дизайн“ в две основни направления:

  1. Архитектурно ограничение: Самата структура на LLM моделите оценява реалното уеб съдържание и текстове, а не външни декларативни файлове, когато избира източници за отговорите си.
  2. Загуба на стойност като сигнал: Самоподадените софтуерни сигнали губят абсолютно всякаква стойност в момента, в който всеки започне да ги предоставя. Преди години мета таговете за ключови думи (meta keywords) спряха да работят в търсачките по абсолютно същата причина – всеки уебсайт ги претъпкваше с думи и те спряха да бъдат полезен сигнал за класиране.

Независимо кое от двете тълкувания е по-точно, изводът е един: вашият перфектно написан llms.txt файл няма никакъв начин да накара изкуствения интелект да предпочете вашия сайт пред този на прекия ви конкурент. Това се потвърждава и от мащабно проучване на платформата SE Ranking сред 300 000 домейна, което не откри никаква софтуерна връзка между наличието на llms.txt и честотата на цитиране на сайта в AI отговорите.

Къде всъщност llms.txt може да бъде полезен?

Въпреки критиката, Джон Мюлер не отхвърли напълно съществуването на този софтуерен стандарт. Той очерта една специфична ниша, в която файлът може да помогне – навигацията, след като AI агентът вече е влязъл в сайта.

Пример от практиката: Представете си умен AI агент, който има за цел да купи конкретна фотография от определен сайт. Той не се чуди кой сайт да избере, а отива директно на вашия. В този случай файлът llms.txt действа като вътрешна директория (пътеводител), която дава ясни софтуерни инструкции на робота как по най-бързия начин да завърши процеса по покупка.

Сравнение: Как AI открива и как навигира в сайтовете

Фаза на софтуерния процес Какво работи реално (Според Google) Ефективност на файла llms.txt
1. Откриване и Класиране (Discovery) Стандартни HTML страници и вътрешни линкове. БЕЗПОЛЕЗЕН (AI не му вярва за сравнение).
2. Изпълнение на задачи (Navigation) Автоматизирани софтуерни инструкции вътре в сайта. ПОЛЕЗЕН (Действа като магазинна директория).

Поглед в бъдещето: Кога ще имаме истински стандарт?

Мюлер призна, че софтуерните стандарти за това как AI агентите трябва да навигират из мрежата все още не са окончателно уредени в индустрията. В момента в технологичните среди се обсъждат множество формати, включително и протоколът WebMCP.

По негова лична оценка, ще отнеме между шест месеца, една година или дори повече, преди агентските AI системи да се обединят около един единствен дигитален стандарт. Дотогава слоят на откриваемост остава непроменен – залагайте на чист HTML код, добра вътрешна структура и силни линкове.

Интегрирахте ли вече файла llms.txt във вашия сайт с надеждата за по-добро класиране в AI търсачките, или след изявлението на Google смятате да се придържате изцяло към традиционното HTML оптимизиране?