Sayfa yapısı
İlk HTML yanıtındaki başlık, dil, canonical adres, ana başlık ve içerik.
Herkese açık bir sitenin ilk HTML yanıtını, robots.txt, sitemap ve llms.txt sinyallerini kontrol et.
Ana sayfaya dönİlk HTML yanıtındaki başlık, dil, canonical adres, ana başlık ve içerik.
robots.txt dosyasında AI botları için ana sayfaya uygulanan kurallar.
Site haritası ve isteğe bağlı llms.txt rehberi önemli sayfaların bulunmasına yardımcı olur.
İlk yanıttaki JSON-LD blokları sayfayı makinelerin okuyabileceği bir biçimde tanımlar.
Karmaşık terimleri biraz basitleştirelim.
Test; ana sayfanın ilk HTML yanıtını, meta verilerini, başlıklarını, ana içerik alanını ve JSON-LD bloklarını inceler; robots.txt, site haritası ve llms.txt dosyalarını kontrol eder. Amaç, otomatik okuyucular açısından eksik bilgileri ve beyan edilen tarama kurallarını görünür kılmaktır. Sitenin JavaScript kodu çalıştırılmaz, tüm sayfalar taranmaz ve işletmen hakkında bir AI yorumu üretilmez. Bulgular belirli sorunları araştırmana yardımcı olur; kapsamlı SEO denetimi veya her ajan için canlı erişim testi değildir.
Astrotor’un 100 puanlık kontrol listesinde meta veri 30, okunabilir metin 25, yapılandırılmış veri 20, site haritası 10 ve arama botu kuralları 15 puandır. Alt ölçütler raporda açıklanır. Yüksek puan, bu kontrollerin daha fazlasının karşılandığını gösterir; bir AI servisinin siteni önereceği veya kaynak göstereceği anlamına gelmez. llms.txt isteğe bağlıdır ve puanı düşürmez. Tamamlanamayan kontrollerde belirsizlik başarısızlık sayılmaz; sonuç puan aralığıyla gösterilir.
İzinli sonucu, aracın okuduğu kurallarda ilgili botun ana sayfaya erişiminin engellenmediğini belirtir. Gerçek botun siteyi ziyaret ettiğini kanıtlamaz; güvenlik duvarı, oturum gereksinimi veya istek sınırı erişimi ayrıca durdurabilir. Arama botları ve model eğitimi için kullanılan botlar farklı kurallara sahip olabilir. Astrotor puanlamada OAI-SearchBot, Claude-SearchBot ve PerplexityBot’u değerlendirir; eğitim botlarını engellemek bu puanı düşürmez. İzinleri sitenin kullanım tercihine göre belirle.
llms.txt, siteyi tanıtan ve AI okuyucularını yararlı içeriklere yönlendiren Markdown biçiminde önerilmiş bir rehberdir. robots.txt tarama kurallarını bildirir; site haritası ise keşif için URL’leri veya alt site haritalarını listeler. Bu dosyalar farklı işler yapar ve birbirinin yerine geçmez. Astrotor kök dizindeki llms.txt dosyasında başlık, özet, bölüm ve bağlantı bilgilerini inceler. Yayımlanması bu testte isteğe bağlıdır; bulunması her AI servisinin dosyayı okuduğunu veya içeriğinin doğru olduğunu kanıtlamaz.
Sıfır, bu okuyucunun ilk HTML’den metin çıkaramadığı anlamına gelir. JavaScript ile sonradan gelen veya ayıklama yönteminin dışında kalan içerik ziyaretçiye görünebilir; bu sonuç sitenin boş olduğunu ya da hiçbir AI ajanının okuyamayacağını kanıtlamaz. Çıkarılan metni sayfa kaynağıyla birlikte incele. Kelime ve karakter sayıları yalnızca bu metin parçasına aittir; AI modeli çalıştırılmaz. Uzun sayfalarda metin sınırına ulaşıldığı raporda belirtilir.
WhatsApp kartını ve Open Graph etiketlerini kontrol et.
HTTPS, HSTS, yönlendirme ve sertifika bilgilerini incele.
Bir alan adının IP, e-posta ve doğrulama kayıtlarını sorgula.
Tarayıcının gönderdiği istek başlıklarını ve anlamlarını öğren.