قابل توجه کاربران عزیز از این پس کلیه تخفیف های محصولات فقط در کانال تلگرام تالار وردپرس اطلاع داده می شود.
بهینه سازی فایل robots.txt برای سئو

سلام دوستای عزیز. موضوع امروز درباره بهینه سازی فایل robots.txt برای سئو هستش. اما بهتره در ابتدا بدونیم که اصن چرا فایل robots.txt براس سئو مهم و ضروری است. در این مقاله یاد میگیریم که فایل robots.txt را بهینه کنیم و همچنین نکات مفیدی درباره این فایل را خواهیم گفت.

ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.

این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

آیا واقعا به فایل robots.txt نیاز داریم؟

این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید

این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )

نحوه استفاده از فایل robots.txt

فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

بهینه سازی فایل robots.txt برای سئو

بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.

البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید

همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..

فایل نقشه سایت را در robots.txt قرار دهید

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :

یک فایل robots.txt استاندارد چگونه خواهد بود؟

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند

اینم یه نمونه دیگه:

موفق باشید

برای دریافت آخرین مطالب,محصولات و تخفیف های ویژه ما به کانال تلگرام تالار وردپرس بپیوندید

درباره محمد جواد

در راه رسیدن به هدف تون شکست های زیادی خواهید خورد ولی باید خوشحال باشید چون دلیل شکست شما , تلاش کردن شماست ... به تلاش تون ادامه بدید و هرگز نا امید نشید ...