بهترین راهکارها برای برچسب ها و Robots.txt راه اندازی متا ربات ها

آیا این فقط من است یا کلمات “برچسب های متا روبات” و “robots.txt” مانند چیزی است که شوارتزنگر در “Terminator 2” گفته است؟

این یکی از دلایلی است که من در SEO شروع به کار کردم – به نظر می رسد آینده نگر اما برای مهارت هایم در آن زمان کاملاً فنی است.

امیدوارم که این مقاله باعث شود تا برچسب ها و پرونده های robots.txt ربات های متا شما را کمتر نگران کنند. بیایید شروع کنیم.

برچسب های متا روبات ها در مقابل Robots.txt

قبل از اینکه به اصول اولیه برچسب های ربات های متا و پرونده های robots.txt بپردازیم ، مهم است بدانید که هیچ یک از طرف های دیگر برای استفاده در سئو وجود ندارد.

پرونده های Robots.txt به خزنده ها در مورد کل سایت آموزش می دهند.

در حالی که برچسب های روبات های متا به یک صفحه خاص دسترسی پیدا می کنند.

من ترجیح می دهم برای بسیاری موارد از تگ های روبات های متا استفاده کنم که ممکن است سایر متخصصان سئو فقط از سادگی پرونده robots.txt استفاده کنند.

هیچ جواب درست و غلطی وجود ندارد. این یک اولویت شخصی است که بر اساس تجربه شما است.

Robots.txt چیست؟

یک پرونده robots.txt به crawlers می گوید چه باید کرد.

این بخشی از پروتکل طرد روبات ها (REP) است.

Googlebot نمونه ای از خزنده است.

Google از Googlebot برای خزیدن وب سایت ها و ضبط اطلاعات در آن سایت ، برای درک نحوه رتبه بندی سایت در نتایج جستجوی Google استفاده می کند.

بعد از آدرس وب مانند این می توانید پرونده robots.txt هر سایت را با افزودن /robots.txt پیدا کنید:

www.mywebsite.com/robots.txt

در اینجا به نظر می رسد که یک فایل اولیه ، تازه ، robots.txt چگونه است:

ربات های txt نمونه پرونده

ستاره پس از * کاربر عامل به خزنده ها می گوید که فایل robots.txt برای همه ربات هایی که به سایت می آیند است.

اسلش / بعد از “Disallow” به ربات می گوید که به هیچ صفحه‌ای در سایت نرود.

در اینجا نمونه ای از پرونده robots.txt Moz.

پرونده ربات های moz

مشاهده می کنید که آنها به crawlers می گویند که چه صفحاتی را می توان با استفاده از عوامل و دستورالعمل های کاربر ، به خزیدن. کمی بعداً وارد آن ها می شوم.

چرا Robots.txt مهم است؟

نمی توانم بگویم که چه تعداد مشتری پس از مهاجرت وب سایت یا راه اندازی یک وب سایت جدید به من مراجعه می کنند و از من می پرسند: چرا رتبه سایت من پس از ماه ها کار نیست؟

من می گویم 60٪ دلیل این است که پرونده robots.txt به درستی به روز نشده است.

به معنی ، پرونده robots.txt شما هنوز به این شکل به نظر می رسد:

ربات های txt نمونه پرونده

با این کار همه خزنده های وب سایت شما بازدید می کنند.

یکی دیگر از دلایل مهم بودن robots.txt این است که گوگل این چیز را به نام بودجه خزیدن دارد.

Google اعلام می کند:

Googlebot به عنوان شهروند خوب وب طراحی شده است. خزیدن اولویت اصلی آن است ، در حالی که اطمینان می دهید تجربه کاربرانی که از سایت بازدید می کنند ، تخریب نمی شود. ما این را “حد خزنده نرخ” می نامیم ، که حداکثر میزان واگذاری برای یک سایت خاص را محدود می کند.

به عبارت ساده ، این تعداد اتصالات موازی همزمان Googlebot ممکن است برای خزیدن سایت و همچنین زمان لازم برای انتظار بین واگذاری ها را نشان می دهد. “

بنابراین ، اگر سایتی بزرگ با صفحات با کیفیت پایین دارید که نمی خواهید گوگل خزنده شود ، می توانید به Google بگویید که آنها را در پرونده robots.txt خود “غیرفعال” کنید.

با این کار بودجه خزیدن شما بیشتر می شود تا فقط صفحات با کیفیتی را که می خواهید Google برای شما در رتبه بندی کند ، خزنده کند.

هیچ قانونی سخت و سریع برای پرونده های robots.txt وجود ندارد … هنوز

گوگل در ژوئیه سال 2019 پیشنهادی را برای آغاز اجرای برخی از استانداردها اعلام كرد ، اما در حال حاضر من بهترین كارهایی را كه در چند سال گذشته انجام داده ام دنبال می كنم.

مبانی Robots.txt

نحوه استفاده از Robots.txt

استفاده از robots.txt برای موفقیت SEO بسیار مهم است.

اما درک نکردن عملکرد آن می تواند باعث شود شما سر خود را خراشیده کنید که چرا رتبه بندی نمی شوید.

موتورهای جستجو بر اساس آنچه به آنها می گویید در فایل robots.txt با استفاده از دستورالعمل ها و اصطلاحات سایت شما را خزیده و نمایه می کنند.

در زیر دستورالعملهای معمول robots.txt که باید بدانید:

عامل کاربر: * – این اولین خط در پرونده robots.txt شماست که برای خزندگان قوانین مربوط به آنچه شما می خواهید در سایت شما خزنده توضیح دهند ، توضیح می دهد. ستاره همه عنکبوت ها را آگاه می کند.

نماینده کاربر: Googlebot – این فقط آنچه را می خواهید عنكبوت Google برای خزیدن نشان می دهد.

مقاله پیشنهادی  آنچه در استراتژی جستجوی ویژوال خود را گم کرده اید ببینید

عدم اجازه: / – این به همه خزندگان می گوید که کل سایت شما را خزیده نکنند.

رد کردن: – این به همه خزندگان می گوید که کل سایت شما را خزید.

مجاز نیست: / مرحله بندی / – این به همه خزندگان می گوید که سایت مرحله بندی خود را نادیده بگیرند.

عدم اجازه: / کتابهای الکترونیکی / * .pdf – این به خزنده ها می گوید که کلیه قالبهای PDF خود را که ممکن است باعث ایجاد مشکلات محتوای تکراری شود ، نادیده بگیرند.

نماینده کاربر: Googlebot

مجاز نیست: / تصاویر / – این فقط به خزنده Googlebot می گوید که تمام تصاویر موجود در سایت خود را نادیده بگیرید.

* – این به عنوان یک کارت ویزیت دیده می شود که نشان دهنده هر توالی از شخصیت ها است.

$ – این مورد برای مطابقت با پایان URL استفاده می شود.

برای ایجاد یک پرونده robots.txt از Yoast برای وردپرس استفاده می کنم. در حال حاضر با سایر ویژگیهای سئو در سایتهای من ادغام شده است.

اما ، قبل از شروع به ایجاد فایل robots.txt خود ، در اینجا چند اصول اساسی را به یاد می آورید:

  • robots.txt خود را به درستی قالب بندی کنید. SEMrush نمونه ای عالی از چگونگی قالب بندی صحیح robots.txt را ارائه می دهد. می بینید ساختار از این الگوی پیروی می کند: نماینده کاربر → Disallow → مجاز → میزبان نقشه سایت. این اجازه می دهد تا عنکبوتهای موتور جستجو به دسته بندی ها و صفحات وب به ترتیب مناسب دسترسی پیدا کنند.

روبات های semrush

  • اطمینان حاصل کنید که هر نشانی اینترنتی که می خواهید “مجاز:” یا “مجاز نیست:” طبق بهترین خرید در زیر ، روی یک خط جداگانه قرار داده شده است. و ، با فاصله از هم جدا نشوید.

روبات های webceo

  • همیشه از حروف کوچک برای نامگذاری robots.txt خود استفاده کنید مانند WebCEO.

روبات های webceo

  • از کاراکترهای خاص به جز * و $ استفاده نکنید. شخصیت های دیگر به رسمیت شناخته نمی شوند.
  • پرونده های جداگانه robots.txt برای زیر دامنه های مختلف ایجاد کنید. به عنوان مثال ، “hubspot.com” و “blog.hubspot.com” پرونده های جداگانه ای دارند و هر دو پرونده های robots.txt متفاوتی دارند.
  • از # برای گذاشتن نظرات در پرونده robots.txt استفاده کنید. خزنده ها خطوطی با شخصیت # مانند من در اینجا با این پرونده robots.txt انجام نمی دهند.
  • اگر صفحهای در پرونده های robots.txt مجاز نباشند ، حق امتیاز لینک نمی گذرد.
  • هرگز از robots.txt برای محافظت یا مسدود کردن داده های حساس استفاده نکنید.

چه چیزی را با Robots.txt مخفی کنید

پرونده های Robots.txt اغلب برای حذف فهرست ها ، دسته ها یا صفحات خاص از SERP ها استفاده می شوند.

شما می توانید با استفاده از دستورالعمل “مجاز” مجاز نیست.

چند صفحه متداول که با استفاده از یک فایل robots.txt مخفی می شوند آورده شده است:

  • صفحات با محتوای تکراری (اغلب محتوای سازگار با چاپگر)
  • صفحات صفحه
  • صفحات محصول و خدمات پویا
  • صفحات حساب
  • صفحات سرپرست
  • سبد خرید
  • چت
  • با تشکر از شما صفحات

این امر برای سایت های تجارت الکترونیکی با استفاده از پارامترهایی مانند Macy بسیار مفید است.

بهترین راهکارها برای تنظیم برچسب های روتا متا & # 038؛ Robots.txt

و ، می توانید در اینجا ببینید که چگونه صفحه تشکر را منع نکردم.

روبات های سربسته

این مهم است که بدانید همه خزنده ها پرونده robots.txt شما را دنبال نمی کنند.

ربات های بد می توانند پرونده robots.txt شما را به طور کامل نادیده بگیرند ، بنابراین اطمینان حاصل کنید که داده های حساس را در صفحات مسدود شده نگه ندارید.

اشتباهات مشترک Robots.txt

بعد از مدیریت پرونده های robots.txt به مدت 10+ سال ، در اینجا چند مورد از اشتباهات رایج من مشاهده می شود:

اشتباه شماره 1: نام پرونده حاوی پرونده بزرگ است

تنها نام پرونده ممکن robots.txt است و نه Robots.txt یا ROBOTS.TXT.

همیشه در هنگام جستجوگرها ، به حروف کوچک بروید.

اشتباه شماره 2: قرار دادن پرونده Robots.Txt در فهرست اصلی

اگر می خواهید پرونده robots.txt شما پیدا شود ، باید آن را در فهرست اصلی سایت خود قرار دهید.

اشتباه

www.mysite.com/tshirts/robots.txt

درست

www.mysite.com/robots.txt

اشتباه شماره 3: عامل نادرست قالب بندی شده توسط کاربر

اشتباه

عدم اجازه: Googlebot

درست

نماینده کاربر: Googlebot

عدم اجازه: /

اشتباه شماره 4: ذکر چندین فهرست در خط “غیرفعال کردن”

اشتباه

مجاز نیست: / css / / cgi-bin / / images /

درست

رد کردن: / css /

مجاز نیست: / cgi-bin /

مجاز نیست: / تصاویر /

اشتباه شماره 5: خط خالی در “عامل کاربر”

اشتباه

عامل کاربر:

رد کردن:

درست

عامل کاربر: *

رد کردن:

اشتباه شماره 6: وب سایتهای آینه و آدرس در راهنمای میزبان

هنگام ذکر دستورالعمل های “میزبان” ، مراقب باشید تا موتورهای جستجو شما را به درستی درک کنند:

اشتباه

نماینده کاربر: Googlebot

مجاز نیست: / cgi-bin

درست

نماینده کاربر: Googlebot

مجاز نیست: / cgi-bin

میزبان: www.site.com

اگر سایت شما دارای https است ، گزینه صحیح این است:

نماینده کاربر: Googlebot

مجاز نیست: / cgi-bin

میزبان: https://www.site.com

خطای شماره 7: لیست تمام پرونده های موجود در فهرست

اشتباه

عامل کاربر: *

عدم اجازه: /pajamas/flannel.html

رد کردن: /pajamas/corduroy.html

عدم اجازه: /pajamas/cashmere.html

درست

عامل کاربر: *

مجاز نیست: / لباس خواب /

مقاله پیشنهادی  25 اشتباه در جستجوگر وردپرس برای رفع رتبه های بهتر

مجاز نیست: / پیراهن /

اشتباه شماره 8: دستورالعمل ها را نمی پذیرید

دستورالعمل های مجاز مجاز نیستند تا رباتهای موتور جستجو قصد شما را درک کنند.

اشتباه

نماینده کاربر: Googlebot

میزبان: www.mysite.com

درست

نماینده کاربر: Googlebot

رد کردن:

میزبان: www.mysite.com

اشتباه شماره 9: مسدود کردن سایت کامل شما

اشتباه

نماینده کاربر: Googlebot

عدم اجازه: /

درست

نماینده کاربر: Googlebot

رد کردن:

اشتباه شماره 10: استفاده از دستورالعمل های مختلف در بخش *

اشتباه

عامل کاربر: *

رد کردن: / css /

میزبان: www.example.com

درست

عامل کاربر: *

رد کردن: / css /

اشتباه شماره 11: هدر HTTP اشتباه

اشتباه

نوع محتوا: text / html

درست

نوع محتوا: متن / ساده

اشتباه شماره 12: بدون نقشه

همیشه نقشه های سایت خود را در پایین فایل robots.txt خود قرار دهید.

اشتباه

روبات های بدون نقشه سایت

درست

روبات ها نقشه سایت

اشتباه شماره 13: استفاده از Noindex

گوگل در سال 2019 اعلام کرد که دیگر دستورالعمل noindex مورد استفاده در پرونده های robots.txt را تصدیق نخواهد کرد.

بنابراین ، در عوض از برچسب های روبات های متا که در زیر صحبت می کنم استفاده کنید.

اشتباه

noindex با تشکر از شما روبات ها

درست

روبات ها از شما

خطای شماره 14: غیرفعال کردن صفحه در پرونده Robots.Txt اما هنوز به آن پیوند دارید

اگر صفحه‌ای را در پرونده robots.txt نگذارید ، اگر پیوندهای داخلی به آن اشاره داشته باشید ، Google همچنان صفحه را خزنده خواهد کرد.

برای جلوگیری از خزیدن کامل آن صفحه ، باید آن پیوندها را برای عنکبوتها حذف کنید.

اگر مطمئن نیستید ، می توانید بررسی کنید که صفحات در گزارش پوشش جستجوی کنسول Google شما نمایه شده اند.

شما باید چیزی شبیه به این را ببینید:

و می توانید از ابزار تست robots.txt Google استفاده کنید.

با این حال ، اگر از ابزار تست سازگار با موبایل توسط Google استفاده می کنید ، در پرونده robots.txt قوانین شما را رعایت نمی کند.

کنسول جستجوی گوگل روبات

برچسب های روبات های متا چیست؟

برچسب های روبات های متا (همچنین به عنوان دستورالعمل ربات های متا خوانده می شوند) قطعه کد HTML هستند که به خزنده های موتور جستجو می گوید چگونه می توانند صفحات را در وب سایت خود خزنده و نمایه سازند.

برچسب های روبات های متا به آن اضافه می شوند بخش یک صفحه وب.

به عنوان مثال:

برچسب های روبات های Ther meta از دو بخش تشکیل شده اند.

قسمت اول تگ است name = “”.

اینجاست که عامل کاربر را شناسایی می کنید. به عنوان مثال ، “Googlebot”.

قسمت دوم تگ است محتوا = “”. اینجاست که به رباتها می گویید چه کاری می خواهید انجام دهند.

انواع برچسب ها Meta Robots

برچسب های روبات های متا دارای دو نوع برچسب هستند:

  • برچسب ربات های متا.
  • برچسب X-tag.

نوع 1: برچسب ربات متا

برچسب های روبات های متا معمولاً توسط بازاریابان سئو استفاده می شوند.

این امکان را به شما می دهد تا به نمایندگان کاربر (فکر کنید Googlebot) برای خزیدن مناطق خاص.

به عنوان مثال:

این برچسب متا روبات به crawler Google ، Googlebot می گوید که صفحه موجود در موتورهای جستجو را فهرست نکند و هیچ پیوندی را دنبال نکند.

بنابراین ، این صفحه جزئی از SERP ها نیست.

من از این برچسب متا روبات ها برای صفحه تشکر می کنم.

در اینجا مثالی از صفحه تشکر از شما پس از بارگیری کتاب الکترونیکی آورده شده است.

ledfeeder page Thank you page

اکنون ، اگر به کد باطن نگاه کنید ، خواهید دید که آن می گوید noindex و nofollow.

noindex nofollow

اگر از دستورالعمل های مختلف برچسب روبات های متا برای عوامل مختلف جستجوی کاربر استفاده می کنید ، باید برای هر ربات از برچسب های جداگانه استفاده کنید.

بسیار مهم است که شما برچسب های روبات های متا را در خارج از آن قرار ندهید بخش. گلن گاب به شما نشان می دهد که چرا در این مطالعه موردی.

نوع 2: برچسب X-robots

برچسب x-robots به شما امکان می دهد همان کاری را انجام دهید که برچسب های روبات های متا اما در هدر های پاسخ HTTP قرار دارند.

در اصل ، عملکرد بیشتری نسبت به برچسب های روبات های متا به شما می دهد.

با این وجود ، به فایلهای .php ، .htaccess یا سرورها نیاز دارید.

به عنوان مثال ، اگر می خواهید یک تصویر یا ویدیو را مسدود کنید ، اما نه کل صفحه ، به جای آن از برچسب x-robots استفاده خواهید کرد.

پارامترهای برچسب متا روبات

روش های زیادی برای استفاده از دستورالعمل های برچسب زدن به روبات های متا در کد وجود دارد. اما ، اول ، شما باید درک کنید که این دستورالعمل ها چیست و چه کاری انجام می دهند.

در اینجا تفکیک دستورالعمل های برچسب روبات های متا:

  • همه – هیچ محدودیتی برای نمایه سازی و محتوا وجود ندارد. این بخشنامه بصورت پیش فرض استفاده می شود. این هیچ تاثیری در کار موتورهای جستجو ندارد. من از آن به عنوان یک برش کوتاه برای فهرست استفاده کرده ام ، دنبال کنید.
  • فهرست مطالب – به موتورهای جستجو اجازه دهید این صفحه را در نتایج جستجوی خود فهرست بندی کنند. این یک پیش فرض است نیازی نیست که این مورد را به صفحات خود اضافه کنید.
  • noindex – صفحه را از فهرست موتورهای جستجو و نتایج جستجو حذف می کند. این بدان معناست که جستجوگران سایت شما را پیدا نمی کنند و از طریق آن کلیک نمی کنند.
  • دنبال کردن – به موتورهای جستجوگر اجازه می دهد لینک های داخلی و خارجی را در آن صفحه دنبال کنند.
  • nofollow – اجازه ندهید که پیوندهای داخلی و خارجی را دنبال کنید. این بدان معنی است که این پیوندها از حقوق صاحبان پیوند عبور نمی کنند
  • هیچ یک – همانند noindex و برچسب های متداول nofollow.
  • غیرارشی – پیوند “کپی ذخیره شده” را در SERP ها نشان ندهید.
  • نوسپت – نسخه توضیحات گسترده این صفحه را در SERP ها نشان ندهید.
  • برگرداندن – ترجمه این صفحه را در SERP ها ارائه ندهید.
  • noimageindex – تصاویر صفحه را ایندکس نکنید.
  • unavailable_after: [RFC-850 date/time] – بعد از تاریخ / زمان مشخص شده ، این صفحه را در SERP ها نشان ندهید. از فرمت RFC 850 استفاده کنید.
  • حداکثر قطعه – در توضیحات متا حداکثر تعداد را برای شمارش کاراکترها تعیین می کند.
  • max-video-preview – تعیین تعداد ثانیه ای که یک ویدیو پیش نمایش می کند.
  • حداکثر تصویر-پیش نمایش – حداکثر اندازه را برای پیش نمایش تصویر تعیین می کند.
مقاله پیشنهادی  چگونه می توان مخاطبان کمتری از کمپین های PPC خود را از بین برد

بعضی اوقات ، موتورهای جستجوگر مختلف پارامترهای متاگرافی مختلف را می پذیرند. در اینجا تفکیک شده است:

ارزش گوگل بینگ یاندکس
فهرست مطالب آره آره آره
noindex آره آره آره
هیچ یک آره شک آره
noimageindex آره نه نه
دنبال کردن آره شک آره
nofollow آره آره آره
غیرارشی آره آره آره
نوسپت آره نه نه
برگرداندن آره نه نه
در دسترس نیست آره نه نه

نحوه استفاده از برچسب های Meta Robots

اگر از وب سایت WordPress استفاده می کنید ، گزینه های افزونه بسیاری برای تنظیم تگ های روبات های متا وجود دارد.

من ترجیح می دهم از Yoast استفاده کنم. این یک افزونه جستجوگرها همه در یک برای وردپرس است که ویژگی های زیادی را ارائه می دهد.

اما ، افزونه Meta Tags Manager و افزونه GA Meta Tags نیز وجود دارد.

کاربران جوملا ، من EFSEO و Tag Meta را توصیه می کنم.

مهم نیست که سایت شما بر چه اساس ساخته شده باشد ، در اینجا سه ​​نکته برای استفاده از برچسب های روبات های متا وجود دارد:

  • آن را حساس نگه دارید. موتورهای جستجو صفات ، مقادیر و پارامترها را در هر دو حروف بزرگ و کوچک می شناسند. توصیه می کنم برای بهبود خوانایی کد ، به حروف کوچک بپیوندید. بعلاوه ، اگر شما یک بازاریاب سئو هستید ، بهتر است عادت به استفاده از حروف کوچک داشته باشید.
  • از چندگانه خودداری کنید برچسب ها. استفاده از چندین برچسب متا باعث درگیری کد خواهد شد. از مقادیر چندگانه در خود استفاده کنید برچسب ، مانند این: .
  • از نشانه های متا متضاد برای جلوگیری از اشتباه در فهرست بندی استفاده نکنید. به عنوان مثال ، اگر چندین خط کد با برچسب های متا مانند این دارید و این فقط “nofollow” مورد توجه قرار خواهد گرفت. دلیل این امر این است که روبات ها مقادیر محدود کننده را در درجه اول قرار می دهند.

برچسب ها Robots.txt & Meta Robots با هم کار می کنند

یکی از بزرگترین اشتباهاتی که هنگام کار در وب سایت های مشتری من مشاهده می کنم این است که پرونده robots.txt با آنچه شما در برچسب های روبات های متا گفته اید مطابقت ندارد.

به عنوان مثال ، پرونده robots.txt صفحه را از نمایه سازی پنهان می کند ، اما برچسب های روبات های متا برعکس عمل می کنند.

مثالی از Leadfeeder را که در بالا نشان دادم به خاطر دارید؟

بنابراین ، توجه خواهید کرد که این صفحه با تشکر در پرونده robots.txt مجاز نیست و با استفاده از برچسب های متا روبات های noindex ، nofollow ، استفاده می شود.

در تجربه من ، Google به آنچه ممنوع است توسط پرونده robots.txt اولویت داده است.

اما ، شما می توانید عدم تطابق بین برچسب های روبات های متا و robots.txt را به روشنی با گفتن موتورهای جستجو از بین ببرید که صفحات باید ایندکس شوند و کدام یک از این موارد نیست.

افکار نهایی

اگر هنوز در مورد روزهای خرید یک فیلم Blockbuster در یک مرکز فروش نواری در حال یادآوری مجدد هستید ، ممکن است ایده استفاده از robots.txt یا برچسب های متا هنوز به نظر برسد.

اما اگر قبلاً “چیزهای غریبه” را تماشا کرده اید ، به آینده خوش آمدید.

امیدوارم این راهنما بینش بیشتری نسبت به اصول اولیه robots.txt و متا تگ ها داشته باشد. اگر بعد از خواندن این پست به امید روبات هایی هستید که به هواپیماهای جت و سفر در سفر پرواز کنند ، متاسفم.


اعتبار تصویر

تصویر برجسته: پائولو بابیتا