تستکننده Robots.txt
بررسی کنید که آیا یک مسیر مشخص برای یک خزنده بر اساس قوانین robots.txt سایت مجاز است یا خیر. یک User-Agent انتخاب کنید (مثلاً Googlebot، bingbot یا *)، تغییر مسیرها را دنبال کنید تا به robots.txt نهایی برسید، دستورات Sitemap را استخراج کرده و نتایج را برای ممیزیها و نظارت سئو به JSON صادر کنید.
ویژگیها
- یک مسیر خاص را در برابر robots.txt برای یک User-Agent انتخاب شده (Googlebot، bingbot یا *) آزمایش کنید.
- تغییر مسیرها را دنبال کنید تا قبل از ارزیابی قوانین به میزبان/پروتکل صحیح برسید.
- دستورات Sitemap: موجود در robots.txt را استخراج و اعتبارسنجی کنید.
- پیکربندیهای اشتباه رایج را برجسته کنید (ممنوعیتهای بیش از حد گسترده، sitemapهای گمشده، تغییر مسیرهای ناسازگار میزبان).
- نتایج را برای تیکتهای سئو و اشکالزدایی کپی کنید.
- یک گزارش JSON برای ممیزیها، بررسیهای بازگشتی و نظارت CI صادر کنید.
- ایمن به طور پیشفرض: اهداف شبکه خصوصی را مسدود کرده و از یک User-Agent ثابت استفاده میکند.
🧭 نحوه استفاده for robots-txt-tester
آدرس سایت را وارد کنید
آدرس پایه سایت را جایگذاری کنید (مثلاً [https://example.com](https://example.com)). ابزار robots.txt آن سایت را پیدا کرده و میخواند.
یک User-Agent انتخاب کنید
* را برای شبیهسازی هر ربات انتخاب کنید، یا Googlebot / bingbot را برای ارزیابی قوانین گروه خاص آنها انتخاب کنید. رفتار Robots.txt میتواند برای هر ربات متفاوت باشد.
مسیر مورد آزمایش را تنظیم کنید
مسیری که میخواهید اعتبارسنجی کنید را وارد کنید (مثلاً /private/ یا /products/widget). این مسیر در برابر قوانین Allow/Disallow ارزیابی میشود.
گزینه «دنبال کردن تغییر مسیرها» را فعال نگه دارید (توصیه میشود)
اگر سایت شما http→https یا non-www→www (یا برعکس) را تغییر مسیر میدهد، دنبال کردن تغییر مسیرها اطمینان میدهد که robots.txt میزبان صحیح را ارزیابی میکنید.
نتیجه و خطوط sitemap را مرور کنید
تأیید کنید که آیا مسیر مجاز است یا خیر، و دستورات Sitemap استخراج شده را بررسی کنید. JSON را صادر کنید تا شواهد را برای ممیزیها یا نظارت نگه دارید.
مشخصات فنی
آنچه ابزار ارزیابی میکند
تست کننده robots.txt سایت را دریافت کرده و قوانین گروه User-Agent را بر روی مسیر ارائه شده اعمال میکند. همچنین میتواند دستورات Sitemap را برای اعتبارسنجی سئو استخراج کند.
| ورودی | معنی | مثال |
|---|---|---|
| آدرس سایت | سایت پایهای که robots.txt از آن دریافت میشود | [https://example.com](https://example.com) |
| عامل کاربر | کدام گروه از قوانین خزندهها باید ارزیابی شوند | Googlebot, bingbot, * |
| مسیر برای آزمایش | مسیری که در برابر دستورالعملهای Allow/Disallow بررسی میشود | /private/ |
رفتار و ایمنی درخواست
درخواستها سمت سرور با محدودیتهای ایمنی و امکان دنبال کردن تغییر مسیر اختیاری هستند، که برای تنظیمات میزبان/پروتکل متعارف مهم است.
| تنظیم | رفتار | پیشفرض |
|---|---|---|
| دنبال کردن تغییر مسیرها | قبل از ارزیابی، تغییر مسیرها را تا میزبان/پروتکل نهایی دنبال میکند | فعال |
| حداکثر تغییر مسیرها | سقف تغییر مسیر هنگام فعال بودن دنبال کردن | 10 |
| مهلت زمانی | محدودیت مهلت زمانی درخواست | 15000 میلیثانیه |
| عامل کاربر (درخواستها) | عامل کاربر درخواست ابزار را شناسایی میکند | Encode64Bot/1.0 (+[https://encode64.com](https://encode64.com)) |
| شبکههای خصوصی | برای ایمنی، اهداف شبکه خصوصی را مسدود میکند | غیرفعال (شبکههای خصوصی مجاز نیستند) |
تفسیر عملی قوانین robots.txt
Robots.txt یک دستورالعمل برای خزندهها است (نه یک سیستم کنترل دسترسی). این به جلوگیری از خزش کمک میکند، اما حذف از فهرست را تضمین نمیکند و از دادههای حساس محافظت نمیکند.
خط فرمان
میتوانید به سرعت robots.txt را بررسی و تغییر مسیرها را با استفاده از curl تأیید کنید.
macOS / Linux
دریافت robots.txt
curl -s [https://example.com/robots.txt](https://example.com/robots.txt)محتوای robots.txt را برای بررسی دستی دانلود میکند.
دنبال کردن تغییر مسیرها به robots.txt
curl -sL [https://example.com/robots.txt](https://example.com/robots.txt)زمانی مفید است که میزبان یا پروتکل تغییر مسیر میدهد (http→https، غیر-www→www و غیره).
نمایش هدرهای درخواست robots.txt
curl -I [https://example.com/robots.txt](https://example.com/robots.txt)وضعیت HTTP، هدرهای کش و اینکه آیا تغییر مسیر دخیل هستند را بررسی میکند.
ویندوز (PowerShell)
دریافت robots.txt
Invoke-WebRequest -Uri [https://example.com/robots.txt](https://example.com/robots.txt) | Select-Object -ExpandProperty Contentمحتوای robots.txt را چاپ میکند.
موارد استفاده
تشخیص مشکلات «ایندکس شده، اما توسط robots.txt مسدود شده»
تأیید کنید که کدام قانون دقیقاً یک مسیر را مسدود میکند و برای کدام گروه ربات.
- پیدا کردن Disallow: / تصادفی که کل سایت را مسدود میکند
- تأیید اینکه قوانین Googlebot با قوانین * متفاوت است
اعتبارسنجی تغییرات مهاجرت و میزبان متعارف
اطمینان حاصل کنید که میزبان متعارف تولید قابل خزش است و robots.txt پس از تغییر مسیرها موجود و صحیح است.
- تغییر مسیرهای http→https همچنان امکان کشف robots.txt را فراهم میکنند
- میزبان متعارف www/غیر-www قوانین مورد نظر را ارائه میدهد
بررسی اعلامهای نقشه سایت
خطوط Sitemap: را استخراج کنید و مطمئن شوید که به URLهای نقشه سایت صحیح و قابل دسترسی اشاره میکنند.
- تأیید کنید که URLهای نقشه سایت از میزبان متعارف و https استفاده میکنند
- تشخیص دستورات Sitemap مفقود شده در سایتهای بزرگ
جلوگیری از اتلاف تصادفی خزش
مسیرهای واقعاً بیاهمیت (مدیر، جستجوی داخلی، پارامترها) را مسدود کنید در حالی که بخشهای ارزشمند قابل خزش باقی میمانند.
- مسدود کردن URLهای جستجوی داخلی
- اجازه دادن به مسیرهای صفحهبندی شده/دستهبندی مهم
❓ Frequently Asked Questions
❓آیا robots.txt از ایندکس شدن جلوگیری میکند؟
❓آیا robots.txt یک ویژگی امنیتی است؟
❓چرا باید User-Agentهای مختلف را آزمایش کنم؟
❓چرا «دنبال کردن تغییر مسیرها» مهم است؟
❓امنترین پیکربندی پیشفرض چیست؟
❓آیا میتوانم خزش را مسدود کنم اما همچنان نمایهسازی را مجاز کنم؟
Pro Tips
همیشه robots.txt را روی میزبان و پروتکل کانونی (https + www/non-www انتخابی شما) آزمایش کنید. بسیاری از حوادث «مسدود شده» ناشی از ویرایش robots.txt میزبان اشتباه است.
از robots.txt برای حذف از نمایه استفاده نکنید. اگر نیاز به حذف دارید، از noindex استفاده کنید (و خزش را مجاز کنید)، به علاوه پیوندهای داخلی را حذف کرده و نقشههای سایت را بهروز کنید.
دستورالعملهای Sitemap: را شامل شوید که به آدرسهای اینترنتی نقشه سایت کانونی و قابل دسترسی (https، نام میزبان صحیح) اشاره میکنند.
در طول استقرارها/مهاجرتها، یک بررسی سریع CI اضافه کنید که وجود robots.txt، بازگشت کد 200 و عدم وجود Disallow: / برای محیط تولید را تأیید میکند.
از مسدودسازی بیش از حد با الگوهای گسترده خودداری کنید. مسدود کردن منابع یا بخشهای کلیدی میتواند به رندر و کشف آسیب برساند.
Additional Resources
Other Tools
- زیباکننده CSS
- زیباکننده HTML
- زیباکننده JavaScript
- زیباکننده PHP
- انتخابگر رنگ
- استخراجکننده اسپرایت
- رمزگذار باینری Base32
- رمزگشای Base32
- رمزگذار Base32
- رمزگذار باینری Base58
- رمزگشای Base58
- رمزگذار Base58
- رمزگذار باینری Base62
- رمزگشای Base62
- رمزگذار Base62
- رمزگذار باینری Base64
- دیکودر Base64
- انکودر Base64
- رمزگذار باینری هگز
- رمزگشای هگز
- رمزگذار هگز
- فرمتدهنده C#
- فرمتدهنده CSV
- Dockerfile Formatter
- فرمتدهنده Elm
- فرمتدهنده ENV
- فرمتدهنده Go
- فرمتدهنده GraphQL
- فرمتدهنده HCL
- فرمتدهنده INI
- فرمتدهنده JSON
- فرمتدهنده LaTeX
- فرمتدهنده Markdown
- فرمتدهنده Objective-C
- Php Formatter
- فرمتدهنده Proto
- فرمتدهنده Python
- فرمتدهنده Ruby
- فرمتدهنده Rust
- فرمتدهنده Scala
- فرمتدهنده اسکریپت شل
- فرمتدهنده SQL
- قالببندی SVG
- قالببندی Swift
- قالببندی TOML
- Typescript Formatter
- قالببندی XML
- قالببندی YAML
- قالببندی Yarn
- کوچککننده CSS
- Html Minifier
- Javascript Minifier
- کوچککننده JSON
- کوچککننده XML
- Cache Headers Analyzer
- Cors Checker
- Csp Analyzer
- Dns Records Lookup
- نمایشگر هدرهای HTTP
- Http Status Checker
- Open Graph Meta Checker
- Redirect Chain Viewer
- Security Headers Checker
- Security Txt Checker
- Sitemap Url Inspector
- Tls Certificate Checker
- PDF به متن
- تستکننده Regex
- بررسیکننده رتبه SERP
- جستجوی Whois