فایل Robots.txt به موتورهای جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند ، که آن را به یک ابزار فوق العاده قدرتمند SEO تبدیل می کند.
در این مقاله ، ما به شما نشان خواهیم داد که چگونه یک فایل robots.txt بی نقص برای سئو ایجاد کنید.
پرونده robots.txt چیست؟
Robots.txt یک فایل متنی است که دارندگان وب سایت می توانند با ایجاد آن برای رباتهای موتور جستجو چگونه صفحات را در سایت خود بخزند و فهرست کنند. این به طور معمول در پوشه اصلی وب سایت شما ذخیره می شود. قالب اصلی فایل robots.txt به این شکل است:User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
آیا برای سایت وردپرس خود به یک پرونده Robots.txt نیاز دارید؟
اگر فایل robots.txt ندارید ، موتورهای جستجو همچنان وب سایت شما را خزنده و فهرست می کنند. با این وجود ، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند. این برای اولین بار که یک وبلاگ راه اندازی می کنید و محتوای زیادی ندارید ، تأثیر زیادی نخواهد داشت. با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید ، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید. در اینجا دلیل آن وجود دارد. ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند. این بدان معنی است که آنها تعداد مشخصی از صفحات را در یک جلسه خزیدن خزنده می کنند. اگر آنها خزیدن در تمام صفحات سایت شما را تمام نکنند ، آنها دوباره برمی گردند و در جلسه بعدی خزیدن را از سر می گیرند. این می تواند سرعت نمایه سازی وب سایت شما را کاهش دهد. با جلوگیری از تلاش رباتهای جستجو برای جستجوی صفحات غیرضروری مانند صفحات مدیریت وردپرس ، پرونده های پلاگین و پوشه تم ها ، می توانید این مشکل را برطرف کنید. با اجازه دادن به صفحات غیرضروری ، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آنها را فهرست بندی کنند. دلیل خوب دیگر استفاده از فایل robots.txt زمانی است که می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید. این امن ترین راه برای مخفی کردن مطالب از بین عموم نیست ، اما به شما کمک می کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.یک فایل Ideal Robots.txt چگونه به نظر می رسد؟
بسیاری از وبلاگ های معروف از یک پرونده robots.txt بسیار ساده استفاده می کنند. محتوای آنها بسته به نیاز سایت خاص ممکن است متفاوت باشد:User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟
برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد. روش 1: ویرایش فایل Robots.txt با استفاده از همه در یک SEO All in One SEO همچنین به عنوان AIOSEO شناخته می شود ، بهترین افزونه SEO WordPress در بازار است که بیش از 2 میلیون وب سایت از آن استفاده می کنند. استفاده از آن آسان است و به همراه یک مولد فایل robots.txt ارائه می شود. توجه: نسخه رایگان AIOSEO نیز موجود است و از این ویژگی برخوردار است. پس از نصب و فعال سازی افزونه ، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم از منطقه مدیر وردپرس خود استفاده کنید. برای ویرایش پرونده robots.txt خود کافیست به All in One SEO , Tools بروید.
ابتدا باید با کلیک روی گزینه "Enable Custom Robots.txt" گزینه آبیاری را ویرایش کنید ، گزینه ویرایش را روشن کنید.
با روشن کردن این ضامن ، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.
All in One SEO پرونده موجود robots.txt شما را در بخش "Robots.txt Preview" در پایین صفحه نمایش نشان می دهد.
این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.
این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند ، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و به آنها پیوندی به نقشه های سایت XML سایت شما می دهد.
اکنون ، می توانید قوانین سفارشی خود را برای بهبود robots.txt خود برای جستجوگرها اضافه کنید.
برای افزودن قانون ، یک عامل کاربری در قسمت "User Agent" وارد کنید. استفاده از * این قانون را برای همه نمایندگان کاربر اعمال می کند.
سپس ، آیا می خواهید موتورهای جستجو برای خزیدن "مجاز" باشند یا "اجازه ندهید" را انتخاب کنید.
بعد ، نام پرونده یا مسیر دایرکتوری را در قسمت 'Directory Path' وارد کنید.
این قانون به طور خودکار در مورد robots.txt شما اعمال می شود. برای افزودن قانون دیگر ، دکمه "افزودن قانون" را کلیک کنید.
توصیه می کنیم قوانینی را اضافه کنید تا زمانی که قالب ایده آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد کنید.
قوانین سفارشی شما به این شکل خواهد بود.
پس از اتمام کار ، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه "ذخیره تغییرات" کلیک کنید.
روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید
برای این روش ، شما باید از سی پنل برای ویرایش پرونده robots.txt استفاده کنید.
به سی پنل یا حساب میزبانی وردپرس خود متصل شوید .
پس از ورود ، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود مشاهده کنید.
اگر یکی را نمی بینید ، پس احتمالاً پرونده robots.txt ندارید.
در این صورت ، می توانید پیش بروید و یکی ایجاد کنید.
Robots.txt یک فایل متنی ساده است ، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit ویرایش کنید.
پس از ذخیره تغییرات ، می توانید دوباره آن را در پوشه اصلی وب سایت خود بارگذاری کنید.
چگونه فایل Robots.txt خود را آزمایش کنیم؟
هنگامی که فایل robots.txt خود را ایجاد کردید ، همیشه بهتر است آن را با استفاده از یک ابزار تستر robots.txt تست کنید. ابزارهای زیادی برای آزمایش robots.txt وجود دارد ، اما توصیه می کنیم از یکی از ابزارهای موجود در کنسول جستجوی Google استفاده کنید . سپس ، می توانید از ابزار آزمایش Google Search Console Robots استفاده کنید .
به سادگی اموال خود را از لیست کشویی انتخاب کنید.
این ابزار به طور خودکار پرونده robots.txt وب سایت شما را واکشی می کند و در صورت مشاهده خطاها و هشدارها را برجسته می کند.
