Η ανάλυση αξιοποίησε δεδομένα της Ahrefs για τον εντοπισμό των user agents που ανακτούσαν αρχεία.
Περίπου το 28% των 137.000 domains δημοσιεύουν ένα αρχείο llms.txt, αλλά επειδή οι πελάτες της Ahrefs είναι πιο tech-savvy, η πραγματική υιοθέτηση στον ευρύτερο ιστό είναι πιθανότατα χαμηλότερη.
Από τα περίπου 38.000 domains με έγκυρα αρχεία, μόνο περίπου 1.100 δέχτηκαν traffic.
Από τα αρχεία που δέχτηκαν requests, το 96% προήλθε από bots, κυρίως μη-AI. Τα AI retrieval bots που συνδέονται με το ChatGPT και το Perplexity αποτελούσαν το 1%.
Ποιος ανακτά αρχεία llms.txt
Τα SEO audit tools είχαν το 21% των requests, ακολουθούσαν τα μη αναγνωρισμένα bots (14%), οι web crawlers όπως το Googlebot (13%) και τα tech profiling tools όπως το BuiltWith (11%).
Τα AI bots, σε τέσσερις κατηγορίες, αποτελούσαν το 19% των requests.
Το AI είναι το μεγαλύτερο segment, αλλά η κατανομή διαφέρει από τις προσδοκίες των περισσότερων υποστηρικτών του llms.txt.
Οι coding agents έστειλαν το 10% των requests, οι training crawlers το 5%, και οι assistants το 2%.
Τα Claude-Code και GPTBot ήταν τα κορυφαία μεμονωμένα bots.
Το Slackbot, από μόνο του, αναζήτησε αρχεία llms.txt πιο συχνά από το PerplexityBot.
Η βιομηχανία μελετά τον εαυτό της
Η έκθεση βρήκε ότι το 12% των requests προέρχονταν από εργαλεία που ελέγχουν, σαρώνουν ή μελετούν τα αρχεία llms.txt, αντί να τα χρησιμοποιούν.
Τα εργαλεία ετοιμότητας GEO και AEO έστειλαν το 5% των requests.
Οι ειδικοί σαρωτές και validators έστειλαν το 3%, περισσότερο από τα AI retrieval bots και τους assistants συνδυαστικά. Τα Research bots έστειλαν το 2%, με τον μεγαλύτερο research crawler να αυτοπροσδιορίζεται ως prompt injection survey.
Ένα οικοσύστημα έχει αναπτυχθεί γύρω από το scoring και την καταλογογράφηση μιας μορφής αρχείου πριν ακόμη εμφανιστεί ένα σημαντικό κοινό.
Κανένα AI Bot δεν αναζητά αρχεία που δεν υπάρχουν
Τα requests για paths /llms.txt με 404 errors δεν προσέλκυσαν traffic από AI.
Οι άνθρωποι που οδηγούνται σε αυτά τα 404s φαίνεται να πληκτρολογούν τη URL σε browsers, πιθανότατα για να ελέγξουν τους ανταγωνιστές.
Το Chrome Lighthouse llms.txt audit, το οποίο αναζωπύρωσε τη συζήτηση για το llms.txt τον Μάιο, δημιούργησε περίπου 22 requests σε όλο το dataset, περίπου 1 στις 1.000.
Γιατί είναι σημαντικό
Τα δεδομένα αυτά ευθυγραμμίζονται με όσα έχει πει ο John Mueller της Google για το llms.txt εδώ και πάνω από ένα χρόνο.
Η Lily Ray είχε πιέσει τον Mueller σχετικά με το χάσμα μεταξύ της απόρριψης από το Google Search και του Lighthouse audit του Chrome.
Εκείνος είχε δηλώσει ότι το llms.txt «δεν έχει γίνει για την Αναζήτηση» και το είχε χαρακτηρίσει «προσωρινή πατερίτσα, ίσως για να εξοικονομήσει tokens» για εργαλεία AI κωδικοποίησης.
Τα στοιχεία δείχνουν ότι το κοινό του αρχείου είναι οι agentes κωδικοποίησης και τα training crawlers, όχι τα bots αναζήτησης και ανάκτησης ΑΙ που θα δημιουργούσαν citations.
Στο παρελθόν, σε σχετικό άρθρο, είχε αναφερθεί η διάσταση μεταξύ Google Search και της τεκμηρίωσης του Lighthouse τον Μάιο.
Η προηγούμενη ανάλυση της SE Ranking σε 300.000 domains δεν έδειξε καμία σύνδεση μεταξύ της ύπαρξης llms.txt και της συχνότητας των AI citations.
Τα δεδομένα της Ahrefs υποδεικνύουν έναν πιθανό λόγο: τα bots που συνδέονται πιο άμεσα με την live AI ανάκτηση, μόλις και μετά βίας ζήτησαν αυτά τα αρχεία τον Mάιο.
Τι να περιμένεις
Το εύρημα του prompt injection αξίζει να το παρακολουθήσεις.
Η Ahrefs εντόπισε ένα crawler να μελετά το llms.txt ως κίνδυνο prompt injection, δεδομένου ότι οι agents εμπιστεύονται το ingested content. Τα sites που δημιουργούν αυτόματα αυτά τα αρχεία μέσω CMS θα πρέπει να επανεξετάσουν το περιεχόμενό τους.
Κάθε αριθμός σε αυτή την αναφορά αποτελεί ένα «ταβάνι». Η Ahrefs μέτρησε τα requests, όχι αν τα bots ενήργησαν βάσει του περιεχομένου που ανέκτησαν.
Σκέψου αν το δικό σου website εξυπηρετεί ένα επαρκώς μεγάλο και ελκυστικό κοινό AI bots ώστε να δικαιολογεί την προσπάθεια. Για την πλειονότητα των domains, φαίνεται ότι η δημιουργία ενός llms.txt δεν είναι μια άμεση προτεραιότητα.
Πώς να Αποφασίσεις για το llms.txt
Πριν βιαστείς να δημιουργήσεις ένα llms.txt αρχείο, λάβε υπόψη σου τα εξής:
- Engagement των AI Bots: Ελέγχει τα log files σου ή χρησιμοποίησε analytics για να δεις αν υπάρχουν AI retrieval bots που αλληλεπιδρούν με το site σου. Αν δεν υπάρχουν, τότε η ανάγκη για llms.txt είναι ανύπαρκτη.
- Πόροι: Ο χρόνος και οι πόροι σου είναι πολύτιμοι. Αν το llms.txt δεν προσφέρει άμεση αξία ή δεν λύνει ένα υπαρκτό πρόβλημα, ίσως είναι προτιμότερο να τους διοχετεύσεις σε άλλες ενέργειες με αποδεδειγμένο ROI.
- Μελλοντικές Εξελίξεις: Η τεχνητή νοημοσύνη εξελίσσεται ραγδαία. Κράτα το νου σου ανοιχτό για μελλοντικές εξελίξεις και best practices σχετικά με τον έλεγχο των AI bots. Το σήμερα μπορεί να είναι διαφορετικό από το αύριο.
Συνοψίζοντας, τα δεδομένα της Ahrefs υποδεικνύουν ότι, προς το παρόν, η συντριπτική πλειονότητα των llms.txt αρχείων παραμένει αναξιοποίητη.
Εστίασε στους βασικούς παράγοντες SEO και στα κανάλια που φέρνουν πραγματική επισκεψιμότητα και conversions, διατηρώντας μια στρατηγική επιφυλακτικότητα όσον αφορά τις νέες αυτές τεχνολογίες.
Συμπεράσματα
Είναι σαφές ότι τα αρχεία llms.txt βρίσκονται ακόμα σε πρώιμο στάδιο ανάπτυξης και υιοθέτησης. Παρά τη φαινομενικά υψηλή υιοθέτηση (περίπου 2,9 εκατομμύρια websites), η συντριπτική πλειοψηφία αυτών των αρχείων δεν έχει δεχτεί ακόμα requests από large language models.
Αυτά τα δεδομένα υποδηλώνουν ότι, παρόλο που οι webmasters έχουν εφαρμόσει την οδηγία, είτε τα LLMs δεν τη διαβάζουν ακόμα σε μεγάλη κλίμακα, είτε οι περισσότεροι webmasters απλώς ακολουθούν τις τάσεις χωρίς συγκεκριμένο λόγο.
Καθώς τα LLMs εξελίσσονται και ενσωματώνονται περισσότερο στο web, είναι πιθανό να δούμε αυξημένη δραστηριότητα στα αρχεία llms.txt. Μέχρι τότε, η τρέχουσα κατάσταση υπογραμμίζει την ανάγκη για μεγαλύτερη σαφήνεια και τυποποίηση σχετικά με το πώς τα chatbots και τα LLMs θα πρέπει να αλληλεπιδρούν με το περιεχόμενο του web.
Η Ahrefs θα συνεχίσει να παρακολουθεί αυτά τα δεδομένα και να παρέχει περαιτέρω insights καθώς ο ψηφιακός κόσμος εξελίσσεται.
Πηγή: https://www.searchenginejournal.com/97-of-llms-txt-files-got-no-requests-ahrefs-data-shows/579478/
