Robots.txt Tester
Bir sitenin robots.txt kurallarına göre belirli bir yolun bir tarayıcı için izin verilip verilmediğini test edin. Bir User-Agent seçin (örn., Googlebot, bingbot veya *), son robots.txt'ye ulaşmak için yönlendirmeleri takip edin, Sitemap yönergelerini çıkarın ve SEO denetimleri ve izleme için sonuçları JSON olarak dışa aktarın.
Özellikler
- Seçilen bir User-Agent (Googlebot, bingbot veya *) için robots.txt'ye karşı belirli bir yolu test edin.
- Kuralları değerlendirmeden önce doğru ana bilgisayar/protokole ulaşmak için yönlendirmeleri takip edin.
- Robots.txt'de bulunan Sitemap: yönergelerini çıkarın ve doğrulayın.
- Yaygın yapılandırma hatalarını vurgulayın (çok geniş disallow'lar, eksik sitemap'lar, tutarsız ana bilgisayar yönlendirmeleri).
- SEO talepleri ve hata ayıklama için sonuçları kopyalayın.
- Denetimler, gerileme kontrolleri ve CI izleme için bir JSON raporu dışa aktarın.
- Varsayılan olarak güvenli: özel ağ hedeflerini engeller ve sabit bir User-Agent kullanır.
🧭 Nasıl kullanılır for robots-txt-tester
Site URL'sini girin
Sitenin temel URL'sini yapıştırın (örneğin [https://example.com](https://example.com)). Araç, o site için robots.txt dosyasını bulacak ve okuyacaktır.
Bir User-Agent seçin
Herhangi bir botu simüle etmek için * seçin veya belirli grup kurallarını değerlendirmek için Googlebot / bingbot'u seçin. Robots.txt davranışı bota göre farklılık gösterebilir.
Test edilecek yolu ayarlayın
Doğrulamak istediğiniz yolu girin (örneğin /private/ veya /products/widget). Bu, Allow/Disallow kurallarına karşı değerlendirilir.
“Yönlendirmeleri Takip Et” seçeneğini etkin tutun (önerilir)
Siteniz http→https veya non-www→www (veya tersi) yönlendirmesi yapıyorsa, yönlendirmeleri takip etmek doğru ana bilgisayarın robots.txt dosyasını değerlendirmenizi sağlar.
Kararı ve sitemap satırlarını gözden geçirin
Yolun izin verilip verilmediğini onaylayın ve çıkarılan Sitemap yönergelerini kontrol edin. Denetimler veya izleme için kanıt saklamak üzere JSON'u dışa aktarın.
Teknik özellikler
Aracın değerlendirdikleri
Test aracı, sitenin robots.txt dosyasını getirir ve sağlanan yola User-Agent grup kurallarını uygular. Ayrıca SEO doğrulaması için Sitemap yönergelerini çıkarabilir.
| Girdi | Anlamı | Örnek |
|---|---|---|
| Site URL | Robots.txt'nin alındığı temel site | [https://example.com](https://example.com) |
| User-Agent | Değerlendirilecek tarayıcı grup kuralları | Googlebot, bingbot, * |
| Test edilecek yol | Allow/Disallow direktiflerine karşı kontrol edilen yol | /private/ |
İstek davranışı ve güvenlik
İstekler, güvenlik sınırları ve isteğe bağlı yönlendirme takibi ile sunucu tarafında gerçekleştirilir; bu, kanonik host/protokol kurulumları için önemlidir.
| Ayar | Davranış | Varsayılan |
|---|---|---|
| Yönlendirmeleri Takip Et | Değerlendirmeden önce son host/protokole yönlendirmeleri takip eder | Etkin |
| Maks. Yönlendirme | Takip etkin olduğunda yönlendirme sınırı | 10 |
| Zaman Aşımı | İstek zaman aşımı sınırı | 15000 ms |
| User-Agent (istekler) | Araç isteği kullanıcı ajanını tanımlar | Encode64Bot/1.0 (+[https://encode64.com](https://encode64.com)) |
| Özel ağlar | Güvenlik için özel ağ hedeflerini engeller | Devre dışı (özel ağlara izin verilmez) |
Pratik robots.txt kuralları yorumlaması
Robots.txt bir tarayıcı direktifidir (erişim kontrol sistemi değildir). Taramayı önlemeye yardımcı olur, ancak dizinden kaldırmayı garanti etmez ve hassas verileri korumaz.
Komut satırı
Curl kullanarak robots.txt'yi hızlıca inceleyebilir ve yönlendirmeleri doğrulayabilirsiniz.
macOS / Linux
Robots.txt'yi getir
curl -s [https://example.com/robots.txt](https://example.com/robots.txt)Manuel inceleme için robots.txt içeriğini indirir.
Robots.txt'ye yönlendirmeleri takip et
curl -sL [https://example.com/robots.txt](https://example.com/robots.txt)Ana bilgisayar veya protokol yönlendirme yaptığında kullanışlıdır (http→https, www olmayan→www, vb.).
robots.txt isteği için başlıkları göster
curl -I [https://example.com/robots.txt](https://example.com/robots.txt)HTTP durumunu, önbellekleme başlıklarını ve yönlendirmelerin olup olmadığını kontrol eder.
Windows (PowerShell)
robots.txt'yi getir
Invoke-WebRequest -Uri [https://example.com/robots.txt](https://example.com/robots.txt) | Select-Object -ExpandProperty Contentrobots.txt içeriğini yazdırır.
Kullanım alanları
“İndexlendi, ancak robots.txt tarafından engellendi” sorunlarını teşhis et
Hangi kuralın bir yolu engellediğini ve hangi bot grubu için olduğunu doğrulayın.
- Tüm siteyi engelleyen yanlışlıkla yapılmış Disallow: / kuralını bul
- Googlebot kurallarının * kurallarından farklı olduğunu doğrula
Geçiş ve kanonik ana bilgisayar değişikliklerini doğrula
Üretim kanonik ana bilgisayarının taranabilir olduğundan ve yönlendirmelerden sonra robots.txt'nin mevcut ve doğru olduğundan emin olun.
- http→https yönlendirmeleri robots.txt keşfine hala izin veriyor
- www/www olmayan kanonik ana bilgisayarı amaçlanan kuralları sunuyor
Site haritası bildirimlerini kontrol et
Sitemap: satırlarını çıkarın ve doğru, erişilebilir site haritası URL'lerine işaret ettiğinden emin olun.
- Site haritası URL'lerinin kanonik ana bilgisayarı ve https kullandığını doğrula
- Büyük sitelerde eksik Sitemap yönergelerini tespit et
Yanlışlıkla tarama israfını önle
Gerçekten önemsiz yolları (yönetici, dahili arama, parametreler) engellerken değerli bölümleri taranabilir tutun.
- Dahili arama URL'lerini engelle
- Önemli sayfalandırılmış/kategori yollarına izin ver
❓ Frequently Asked Questions
❓Robots.txt indekslemeyi engeller mi?
❓Robots.txt bir güvenlik özelliği mi?
❓Neden farklı User-Agent'ları test etmeliyim?
❓“Yönlendirmeleri Takip Et” neden önemli?
❓En güvenli varsayılan yapılandırma nedir?
❓Taramayı engelleyip indekslemeye izin verebilir miyim?
Pro Tips
robots.txt'yi her zaman kanonik ana bilgisayar ve protokolde (https + seçtiğiniz www/non-www) test edin. Birçok 'engellenmiş' olay, yanlış ana bilgisayarın robots.txt'sini düzenlemekten kaynaklanır.
İndeks dışı bırakmak için robots.txt kullanmayın. Kaldırma ihtiyacınız varsa, noindex kullanın (ve taramaya izin verin), ayrıca dahili bağlantıları kaldırın ve site haritalarını güncelleyin.
Kanonik, erişilebilir site haritası URL'lerine (https, doğru ana bilgisayar adı) işaret eden Sitemap: yönergelerini ekleyin.
Dağıtımlar/geçişler sırasında, robots.txt'nin var olduğunu, 200 döndürdüğünü ve üretim için Disallow: / içermediğini doğrulayan hızlı bir CI kontrolü ekleyin.
Geniş kalıplarla aşırı engellemeden kaçının. Kaynakları veya ana bölümleri engellemek, oluşturma ve keşfi olumsuz etkileyebilir.
Additional Resources
Other Tools
- CSS Güzelleştirici
- HTML Güzelleştirici
- JavaScript Güzelleştirici
- PHP Güzelleştirici
- Renk Seçici
- Sprite Çıkarıcı
- Base32 İkili Kodlayıcı
- Base32 Çözücü
- Base32 Kodlayıcı
- Base58 İkili Kodlayıcı
- Base58 Çözücü
- Base58 Kodlayıcı
- Base62 İkili Kodlayıcı
- Base62 Çözücü
- Base62 Kodlayıcı
- Base64 İkili Kodlayıcı
- Base64 Çözücü
- Base64 Kodlayıcı
- Hex İkili Kodlayıcı
- Hex Çözücü
- Hex Kodlayıcı
- C# Biçimlendirici
- CSV Biçimlendirici
- Dockerfile Formatter
- Elm Biçimlendirici
- ENV Biçimlendirici
- Go Biçimlendirici
- GraphQL Biçimlendirici
- HCL Biçimlendirici
- INI Biçimlendirici
- JSON Biçimlendirici
- Latex Biçimlendirici
- Markdown Biçimlendirici
- ObjectiveC Biçimlendirici
- Php Formatter
- Proto Biçimlendirici
- Python Biçimlendirici
- Ruby Biçimlendirici
- Rust Biçimlendirici
- Scala Biçimlendirici
- Shell Script Biçimlendirici
- SQL Biçimlendirici
- SVG Biçimlendirici
- Swift Biçimlendirici
- TOML Biçimlendirici
- Typescript Formatter
- XML Biçimlendirici
- YAML Biçimlendirici
- Yarn Biçimlendirici
- CSS Küçültücü
- Html Minifier
- Javascript Minifier
- JSON Küçültücü
- XML Küçültücü
- Cache Headers Analyzer
- Cors Checker
- Csp Analyzer
- Dns Records Lookup
- HTTP Başlıkları Görüntüleyici
- Http Status Checker
- Open Graph Meta Checker
- Redirect Chain Viewer
- Security Headers Checker
- Security Txt Checker
- Sitemap Url Inspector
- Tls Certificate Checker
- PDF'den Metne
- Regex Test Edici
- SERP Sıra Kontrolü
- Whois Sorgulama