فایل robots.txt
این فایل به موتورهای جستجو نشون می ده که اجازه دسترسی به چه قسمتهایی را دارند؟!
.
.
یعنی شما اگر قسمتی از صفحات سایتتون را برای موتورهای جستجو و کاربران مناسب نمی بینید،باید در این فایل مشخص کنید که موتورهای جستجو به این بخش راه پیدا نکنند
البته با متاتگ NOINDEX و همچنین پسورد گذاری پوشه ها در فایل .htaccess هم میشه این کارو کرد!
تمامی موتورهای جستجو با مشاهده علامت * دیگه به پوشه هایی که شما مشخص کردید وارد نمیشن.البته شما میتونید این محدودیت را فقط برای یک یا چند روبوت جستجوگر بزارید .
کد زیر نمونه ای از فایل robots.txt هستش:
در این فایل همه روبوتهای جستجوگر از دسترسی به پوشه ی privatefolder و صفحه privatefile.html منع شده اند.شما اگه در خط اول بجای * اسم روبوت مربوطه را بنویسید،اون روبوت از ورود منع میشه.
البته دوستانی که با برنامه نویسی آشنایی ندارند،لازم نیست این فایل را دستکاری کنند و میتونند فایل زیر را دانلود کنند و در قسمت روت سایتشون قرار بدند...
robots.txt