سایت‌ها از عناصر مختلفی چون متا تگ‌ها ساخته می‌شوند. هر کدام از این متا تگ‌ها نقش خاصی دارند و بر حسب همین نقش و وظیفه‌شان، به طور انتخابی و یا الزامی در سایت استفاده می‌شوند. تگ‌های متا کدهای HTMLای هستند که در هدر سایت قرار می‌گیرند و توسط موتورهای جستجو خوانده می‌شوند. یکی از متا تگ‌های مهم، متا تگ ربات – robots نام دارد. این تگ همچون سایر تگ‌ها، از نقش و کاربرد خاصی برخوردار است که قرار است در این مطلب به آن بپردازیم.
متا تگ robots چیست؟
هر سایت از صفحات مختلفی برخوردار است که برخی از آنها از اهمیت بیشتری نسبت به سایر صفحات برخوردار هستند. صفحاتی که از اهمیت بیشتری برخوردار هستند و در رتبه سایت تاثیرگذار می‌باشند را میتوان از طریق تگ ربات مورد توجه موتورهای جستجو قرار داد. در واقع با استفاده از meta robots میتوان گوگل و موتورهای جستجو را به گونه‌ای کنترل کرد که فقط بخشی از صفحات سایت را خزش و ایندکس نمایند. meta robots یک تگ HTML است که در هدر سایت قرار دارد و شامل دستورالعمل‌های خاصی برای ربات‌های جستجو می‌باشد. وجود این تگ در هدر سایت باعث می‌شود تا خزنده‌ها متوجه شوند که اجازه ایندکس کردن کدام یک از صفحات سایت را دارند. اگر قصد دارید روی یک صفحه وب این تگ را مشاهده کنید، می‌توانید با کلیک راست روی صفحه و انتخاب گزینه View Source، به دنبال اسم robots باشید. پس از آن احتمالا با یکی از کدهای زیر روبرو خواهید شد:
<meta name=”robots” content=”noindex” />
<meta name=”slurp” content=”noindex” />
<meta name=”googlebot-news” content=”noindex” />
<meta name=”msnbot” content=”noindex” />
<meta name=”googlebot” content=”noindex” />
پس با توجه به توضیحات ارائه شده میتوان اینطور نتیجه گرفت که متا تگ ربات برای ایندکس شدن یا نشدن صفحه‌ای از سایت کاربرد دارد. در حقیقت می‌توانید صفحه‌ای از سایت را از نتایج گوگل حذف کنید و یا آن را مورد توجه خزنده‌های گوگل قرار دهید. برای همین است که متا تگ ربات با عباراتی چون متا تگ نوایندکس (noindex) نیز شناخته می‌شوند.
نقش meta robots در سئوی سایت
بیشتر تگ‌های استفاده شده در سایت، در سئوی سایت نقش دارند. در صورتی که از متا تگ‌ها به شکل بهینه و اصولی استفاده شود، سایت از نظر سئو به جایگاه خوبی می‌رسد. برنامه‌نویسان سایت با استفاده از متا تگ‌ها دستورات مهمی را به موتورهای جستجو می‌دهند. متا تگ robots جزو تگ‌هایی است که در سئوی داخلی سایت نقش دارد. دلیل آن هم این است که اعمال آن روی صفحات سایت و یا تغییرات آن، در دست مدیر یا سئوکار سایت است. برای همین متا تگ ربات، جزو تگ‌های تاثیرگذار بر روی سئو بوده و بهتر است به آن توجه شود.
انواع دستورات متا تگ ربات (meta robots)
برای استفاده از تگ ربات، دستورات زیادی وجود دارد که در اینجا به آنها اشاره می‌کنیم.
- دستور index: اگر قصد دارید ربات‌ها صفحه‌ای از سایتتان را ایندکس کنند و به آنها اجازه این کار را دهید، باید از دستور index استفاده کنید.
- دستور noindex: این دستور بر خلاف دستور index است و به ربات جستجو اجازه ایندکس یا خزش صفحه داده نمی‌شود. پیشنهاد می‌شود اگر اطلاعی از ایندکس شدن یا نشدن صفحات سایت ندارید، از این دستور استفاده ننمایید.
- دستور follow: با استفاده از این دستور نیز می‌توانید به موتورهای جستجو اعلام کنید که کدام صفحه سایت را دنبال نمایند.
- دستور nofollow: این دستور بر خلاف دستور follow است و به معنای عدم اجازه به موتور جستجو برای دنبال کردن صفحه‌ای از سایت است. زمانی که از تگ nofollow در متا تگ‌های یک صفحه استفاده کنید، ربات‌های موتورهای جستجو اجازه دنبال کردن هیچ یک از لینک‌ها را نخواهند داشت.
- دستور none: دستور none مشابه دستورهای nofollow و noindex است. در واقع این دستور اجازه ایندکس و دنبال کردن لینک‌ها را به موتورهای جستجو نمی‌دهد. برای همین تفاوتی ندارد که برای این کار از کدام یک از این دستورها استفاده نمایید.
- دستور noimageindex: زمانی که از دستور noimageindex در متا تگ‌های سایت استفاده کنید، ربات‌ها اجازه دسترسی به عکس‌های سایت را نخواهند داشت. با این حال اگر عکسی در بخش دیگری لینک داده شده باشد، موتور جستجو قادر به ایندکس کردن آن خواهد بود.
- دستور notranslat: با استفاده از تگ notranslate به ربات گوگل اجازه ترجمه در SERP داده نخواهد شد.
- دستور nocache: این دستور برای این است که موتور جستجو، نسخه‌ای از صفحه را در کش خود قرار ندهد. دستور nocache تنها برای موتورهای جستجوی MSN/Live کاربرد دارد.
- دستور noarchive: این دستور همانند دستور nocache نبوده و برای جلوگیری از قرار گرفتن صفحه‌ای از سایت در کش موتورهای جستجو می‌شود. با این تفاوت که دستور noarchive برای تمام موتورهای جستجو قابل اعمال است.
- دستور noodp: از این دستور برای عدم نمایش توضیحات سایت که در سایت‌های دایرکتوری به کار رفته‌اند، استفاده می‌شود. در واقع زمانی که از دستور noodp استفاده کنید، توضیحات و اطلاعاتی که در سایت‌هایی چون dmoz جمع‌آوری شده‌اند، در نتایج جستجو نشان داده نمی‌شوند.
- دستور noydir: این دستور همانند دستور قبلی است؛ با این تفاوت که noydir تنها به دایرکتوری سایت یاهو اشاره دارد. در واقع زمانی که از این دستور استفاده کنید، به موتورهای جستجو دستور می‌دهید تا از توضیحات سایتی که در دایرکتوری یاهو است، استفاده نکنند.
- دستور nosnippet: برای عدم نمایش توضیحات نوشته و یا همان تگ متا دیسکریپشن، می‌توانید از دستور nosnippet استفاده کنید.
نحوه کار کردن متا تگ ربات به چه صورت است؟
متا تگ ربات شامل دو بخش است که در بخش اول عبارت name و در بخش دوم عبارت content وجود دارد. در بخش نام باید اسم User Agent مورد نظر مشخص شود. بیشتر دستورات متا تگ ربات شامل عبارت robots در بخش نام هستند. پس از آن باید به بخش content بروید. در این بخش به ربات‌های جستجو اعلام می‌شود که چه کاری را باید انجام بدهند. برای مثال اگر در جلوی content کلمه noindex را بنویسید، به موتورهای جستجو اعلام می‌کنید که از ایندکس کردن صفحه خودداری کنند. در واقع تمام 12 دستور متا تگ ربات که در بخش قبل اشاره شد، در بخش دوم تگ یعنی content به کار برده می‌شوند. پس همانطور که متوجه شدید نحوه نوشتن متا تگ robots کار سختی نبوده و تنها نیاز به دقت در نوشتن اسم و مشخص کردن نوع کانتنت دارد.
استفاده از تگ meta robots برای سئوی سایت
متا تگ ربات در سئوی سایت تاثیر دارد. اما چگونه؟ یکی از کارهایی که برای صفحات سایت باید در نظر گرفت این است که مشخص شود کدام یک از آنها بی‌ارزش هستند و نباید توسط ربات‌ها ایندکس شوند. زمانی که صفحات بی‌ارزش سایت مشخص شوند، تنها صفحاتی به لیست نتایج جستجو می‌رسند که از نظر سئو ارزشمند باشند. برای مثال صفحه مدیریتی سایت و یا صفحه لیست مخاطبان، ارزشی برای رفتن به نتایج جستجو ندارد و بهتر است جزو صفحات بی‌ارزش در نظر گرفته شود. زمانی که از ایندکس شدن چنین صفحاتی جلوگیری کنیم، crawl demand یا همان درخواست پیمایش سایت افزایش پیدا می‌نماید. بنابراین با استفاده از متا تگ ربات می‌توانید صفحات مهم سایت را به موتورهای جستجو بشناسانید و سئو و جایگاه سایت را با توجه به این صفحات بهبود ببخشید.
نکاتی که بهتر است راجع به متا تگ ربات بدانید
- در صورتی که فایل‌ها و صفحات خصوصی دارید، می‌توانید آنها را با استفاده از متا تگ ربات مسدود نمایید. با این کار موتورهای جستجو فایل‌های شخصی را ایندکس نکرده و در نتایج جستجو آنها را ظاهر نمی‌کنند.
- زمانی که از meta robots استفاده کنید، موتورهای جستجو سایت شما را مفیدتر و اثربخش‌تر پیمایش می‌نمایند. موتورهای جستجو از ظرفیت محدودی برای پیمایش برخوردارند که بهتر است از این ظرفیت به طور بهینه‌ای استفاده شود. بنابراین اگر صفحاتی که از ارزش بالایی برخوردار هستند و قصد ایندکس شدن دارند را مشخص نمایید، به بهبود رتبه و سئوی سایت خود کمک خواهید کرد.
- با استفاده از متا تگ ربات و دستور فالو، می‌توانید صفحه‌ی پربازدید خود که دیگر تمایل به ایندکس شدن آن ندارید را به صفحات دیگری منتقل نمایید.
- در صورتی که از دستور noindex استفاده نکنید، موتورهای جستجو به طور پیش فرض آن را index در نظر می‌گیرند. همچنین اگر دستور nofollow را به کار نبرید، ربات‌ها آن را follow می‌پندارند.
- در نوشتن متا تگ ربات، بزرگ و کوچک بودن حروف هیچ اهمیتی ندارد. بنابراین نیازی به توجه به این موضوع نبوده و تنها باید کلمات به صورت صحیح نوشته شوند.
- از متا تگ‌های ربات میتوان برای موتور جستجو خاصی استفاده کرد. برای مثال اگر قصد دارید یک دستور تنها برای موتور جستجو گوگل اعمال شود، به جای عبارت robots باید از عبارت Googlebot استفاده کنید. برای یاهو عبارت SLURP و برای MSN / Live عبارت MSNBOT باید در نظر گرفته شود.
جمع بندی
در این مطلب به طور کامل به بررسی متا تگ ربات پرداختیم و به 12 دستور مهم آن اشاره کردیم. همانطور که متوجه شدید کاربرد متا تگ robots این است که صفحات با ارزش و بی‌ارزش برای موتورهای جستجو مشخص شوند و تنها صفحات با ارزش مورد ایندکس و خزش قرار بگیرند. با این کار صفحات با ارزش به لیست نتایج جستجو راه پیدا می‌کنند و سایت از نظر سئو رتبه بهتری پیدا می‌نماید.