فایل robots.txt کجا قرار میگیرد؟

دقیقاً در ریشه سایت (public_html در cPanel) — باید از آدرس yourdomain.com/robots.txt قابل دسترس باشد.

تفاوت Disallow و Noindex چیست؟

Disallow فقط خزش را میبندد؛ صفحه ممکن است بدون محتوا در نتایج ظاهر شود. برای حذف از نتایج، متاتگ noindex لازم است.

آیا همه رباتها به Crawl-delay احترام میگذارند؟

خیر؛ گوگل این دستور را نادیده میگیرد اما بینگ و برخی رباتهای دیگر رعایت میکنند.

با گذاشتن .htaccess سایت من خراب نمیشود؟

این قوانین رایج و استانداردند؛ اما همیشه قبل از جایگزینی، از .htaccess فعلی بکاپ بگیرید و پس از آپلود چند صفحه سایت را تست کنید.

چند User-agent میتوانم تعریف کنم؟

هر چند تا که لازم دارید؛ برای هر ربات یک بلوک جداگانه با دکمه «ربات جدید» بسازید.

مولد آنلاین robots.txt و .htaccess | ساخت فایل سئو با فرم

مولد robots.txt و htaccess

ساخت robots.txt و .htaccess استاندارد با فرم گزینه‌ای: قوانین ربات‌ها، اجبار HTTPS و www، کش مرورگر و GZIP با پیش‌نمایش زنده.

رایگان و بدون ثبت‌نام اجرای فوری در مرورگر

میانگین — از ۵ (۰ رأی)

راهنمای مولد robots.txt و htaccess

فایل robots.txt اولین چیزی است که هر خزنده (کراولر) قبل از گشت‌وزگزار در سایت شما می‌خواند؛ یک اشتباه کوچک در آن می‌تواند کل سایت را از نتایج جستجو حذف کند! این ابزار ساخت هر دو فایل حساس سئو و سرور را به یک فرم ساده تبدیل می‌کند: قوانین هر ربات (Allow/Disallow/Crawl-delay)، آدرس سایت‌مپ، سیاست اجازه یا مسدودسازی کامل — و خروجی را زنده با پیش‌نمایش می‌بینید.

بخش .htaccess چه می‌دهد؟

اجبار HTTPS و www: ریدایرکت ۳۰۱ استاندارد برای جلوگیری از محتوای تکراری و هشدار قفل سبز.
فشرده‌سازی GZIP: کاهش حجم صفحات و سرعت‌بخشیدن به لود.
کش مرورگر: هدرهای Expires برای تصاویر، CSS، JS و فونت‌ها.
مسدودسازی فایل‌های حساس: جلوگیری از دسترسی به json، log، sql و env.

نکات مهم قبل از استفاده

مسیر Disallow: / یعنی «کل سایت را ایندکس نکن» — فقط برای محیط توسعه استفاده شود. دستور Allow برای بازکردن استثناها داخل مسیرهای بسته است و همه ربات‌ها به Crawl-delay توجه نمی‌کنند (گوگل نادیده می‌گیرد). فایل نهایی را در ریشه سایت (public_html) قرار دهید و بعد از آپلود، آدرس /robots.txt را در مرورگر باز کنید تا مطمئن شوید سرو می‌شود. سپس در Search Console بخش robots tester صحت آن را بررسی کنید.

پس از تغییر robots.txt، درخواست بازخزنی (Validate & Index) در گوگل سرچ کنسول بدهید تا نسخه جدید زودتر اعمال شود.

مولد robots.txt و htaccess چیست و برای چه کسانی است؟

سئوی تکنیکال پر از جزئیات ریز است که ساختن دستی آن‌ها وقت‌کش و خطاخیز است. «مولد robots.txt و htaccess» دامینز خروجی استاندارد و آماده ایندکس می‌دهد تا هم گوگل راحت‌تر سایت شما را بخواند و هم زمان کمتری صرف کارهای تکراری کنید.

چرا از مولد robots.txt و htaccess دامینز استفاده کنیم؟

خروجی دقیقاً مطابق مستندات رسمی موتورهای جستجو

بدون نیاز به افزونه وردپرس یا ابزار پولی

پردازش در مرورگر — داده سایت شما جایی ارسال نمی‌شود

مناسب وبمسترها، سئوکارها و مدیران سایت‌های کوچک و بزرگ

چطور از مولد robots.txt و htaccess استفاده کنیم؟ (گام‌به‌گام)

داده‌های لازم (آدرس، عنوان، توضیح یا پارامترهای دیگر) را وارد کنید.

خروجی تولیدشده را در پیش‌نمایش بررسی کنید.

کد یا فایل نهایی را کپی و در سایت خود قرار دهید.

برای اطمینان، نتیجه را با ابزارهای تست رسمی گوگل هم چک کنید.

💡 نکته: بعد از اعمال تغییرات سئو، از پنل دامینز یا Search Console درخواست ایندکس مجدد بدهید تا اثر تغییرات زودتر دیده شود.

امنیت و حریم خصوصی

این ابزار بدون ثبت‌نام و رایگان است و پردازش آن در مرورگر شما انجام می‌شود؛ متن، فایل و داده‌ای که وارد می‌کنید روی سرور ذخیره نمی‌شود. اگر سوال یا پیشنهادی برای بهتر شدن ابزار دارید، از دکمه گزارش مشکل یا صفحه تماس برای ما بنویسید — تیم دامینز معمولاً سریع پاسخ می‌دهد.