این برچسب یکی از برچسب های حیاتی در بهینه سازی سایت است که در بخش طراحی سایت بسیار مهم است، به طوری که اگر از این برچسب به درستی استفاده نکنید مطمئن باشید سایت یا وبلاگ شما نابود خواهد شد. برچسب Robots برای اجازه دادن یا ندادن به خزنده های موتور جست و جو برای وارد شدن به صفحه HTML ما تعبیه می شود.
موتور جست و جو برای اینکه بتواند شبکه اینترنت را برای پیدا کردن صفحاتی که هنوز فهرست نکرده است، و یا برای بازبینی از آنهایی که فهرست کرده است، زیر پا بگذارد، از برنامه هایی به نام خزنده استفاده می کند. این خزنده ها همه جا را زیر و رو می کنند، برای همین اگر خواسته باشید یک صفحه را از فهرست شدن در موتور جست و جو مصون نگه دارید، باید از این برچسب به صورت زیر استفاده کنید:
"No Index" به موتور جست و می فهماند که آن صفحه ای که این برچسب را دارد فهرست نکند. و "No Follow" هم به این معنی است که این صفحه را برای پیدا کرد محتوا و صفحات جدید دنبال نکن. کلاً با این برچسب به موتور جست و جو می فهمانید که به این صفحه برای فهرست کردن آن در پایگاه داده خودش کاری نداشته باشد. خیلی کم پیش می آید که سایت یک سایت یا وبلاگ بخواهد یک چنین مفهومی را به موتور جست و جو با استفاده از این برچسب Robots برساند. در عوض همه دوست دارند که صفحات سایت یا وبلاگشان در موتور جست و جو فهرست شده و در رتبه های بالاتر برای بدست آوردن بازدید کننده بیشتر قرار گیرد. ولی برخی صفحات هستند که ارزشی برای فهرست شدن ار موتور جست و جو ندارند، مانند صفحات ثبت نام در برخی سایت ها، که در اینجا بهتر است از این برچسب به صورتی که گفته شد استفاده کرد.
برخی مواقع می توان خزنده موتور جست و جو را از خزیدن یک صفحه منع کرد، ولی به دنبال کردن پیوندهای آن صفحه تشویق نمود. و این کار با کد متای Robots زیر امکان پذیر است:
تنها فرقی که این برچسب با یکی بالایی دارد این است که "No follow" به "Follow" تغییر پیدا کرده است، وگرنه بقیه کد مانند قبلی است. در اصل شما برای دستور دادن به خزنده با استفاده از برچسب روبوت فقط باید با مقادیر درون مشخه Content بازی کنید. ولی توجه کنید که اگر یک خزنده را از فهرست کردن یک صفحه یا سایت منع کنید ولی این برخلاف میل شما باید واقعاً ضرر خواهید کرد، پس در استفاده از این برچسب نهایت دقت را بکنید.
حالت بعدی در بهره بردن از این برچسب این است که به خزنده دستور دهید هم صفحه را فهرست کند و هم پیوند های موجود در آن را دنبال کند:
به صورت پیش فرض اگر یک همچین برچسبی از HTML را در صفحه خود به کار نبرید، خزنده فکر می کند که باید به این صورت با صفحه مورد نظر برخورد کند. پس اگر می خواهید صفحه یا سایت شما هم فهرست شود و هم پیوند های موجود در آن بوسیله موتور جستجو دنبال شود، میتوانید از این برچسب اصلاً استفاده نکنید.
حالت چهارم از استفاده از این کد هم به شکل زیر است، که صفحه مورد نظر در موتور جستجو فهرست می شود، ولی پیوند های آن دنبال نمی شود.
در این صورت صفحه شما فهرست می شود ولی پیوند های آن دنبال نمی شود. البته در همه این موارد ما فقط نظر خود را به موتور جست و جو اعلام می کنید، و نباید انتظار این را داشت که موتور جست و جو مطابق میل ما عمل نماید.
