ربات‌های گوگل (Googlebot) چگونه کار می‌کنند؟

مدت زمان مطالعه این مقاله
7 دقیقه

آیا محتوای سایت شما برای ربات‌های گوگل محبوب هستند؟ آیا محتوای شما علاوه بر ربات‌ها، برای کاربران هم رضایت‌بخش است؟ در این مقاله به نحوۀ کار ربات‌های گوگل و نکاتی برای بهینه‌سازی صفحات سایت جهت خزش Googlebot خواهیم پرداخت.

Googlebot چیست؟

احتمالاً نام ربات‌های گوگل را شنیده‌اید. آیا می‌دانید آن‌ها چه چیزی هستند؟

به زبان ساده Googlebot یا ربات گوگل، یک خزندۀ وب است که از طریق لینک‌ها به خزیدن در صفحات سایت می‌پردازد. ربات‌ها از یک صفحه به صفحه دیگر می‌روند و تمامی لینک‌ها را بررسی می‌کنند تا پایگاه دادۀ گوگل را به‌روز نگه دارند.

خزیدن به چه معناست؟

خزیدن یا Crawling فرآیندی است که در آن گوگل تیمی از عنکبوت‌ها یا خزنده‌ها (Crawler) را برای یافتن هرگونه محتوای تازه‌منتشر شده فعال می‌کند.

این فرآیند به Google امکان می‌دهد که فقط در یک ثانیه بیش از 1 میلیون گیگابایت داده جمع‌آوری کند. برای درک کامل این فرآیند، باید بدانید که موتورهای جستجو چگونه کار می‌کنند.

ایندکس (Index) چیست؟

فرایند جمع آوری و سازماندهیِ محتوا توسط ربات‌های گوگل را Indexing می‌نامیم. به عبارت دیگر ایندکس، فهرستی از سایت‌ها است که اطلاعات محتوای آن‌ها در اختیار گوگل قرار دارد.

فراموش نکنید که موتورهای جستجو به هر نحوی که شده محتوای شما را به همراه موضوع و ارزش آن پیدا کرده و رتبه‌بندی می‌کنند.

در اینجا چند نکته مهم در مورد SEO وجود دارد که کار Googlebot را برای درک ارزش محتوا، بسیار ساده‌تر می‌کند:

• اطمینان حاصل کنید که سایت شما برای موتورهای جستجو قابل مشاهده است.
• از لینک‌های No-Follow در صفحات داخلیِ خود استفاده نکنید.
• برای سایت خود یک Sitemap سازمان‌یافته ایجاد کنید. چرا که ربات گوگل می‌تواند محتوای شما را به راحتی ببیند و آن را مرور کند.
• برای یافتن خطاهای خزنده های گوگل (همان ربات‌ها) می‌توانید از Google Search Console استفاده کنید. این ابزار شما را راهنمایی می‌کند که چگونه این خطاها را برطرف کنید (گوگل سرچ کنسول، اتاق فرمان سایت شما در موتور جستجوی گوگل است).

گفتنی است که سایر موتورهای جستجو نیز اتاق فرمانی شبیه به گوگل، در اختیار کاربران قرار داده‌اند. مثلاً برای موتور جستجوی بینگ (Bing Webmaster Tools) و برای موتور جستجوی یاندکس (Yandex Webmaster) وجود دارد.

بهینه‌سازی صفحات برای خزش Googlebot

قابلیت خزیدن و میزان Crawling در صفحات، به میزان دسترسی Googlebot و همینطور عملکرد شما در SERP (صفحه نتایج موتور جستجو) بستگی دارد.

خزنده‌ها از صفحه‌ای به صفحه‌ی دیگر سفر می‌کنند و با شناسایی کلمات کلیدیِ شما، هر صفحه را بر اساس کلمه کلیدی منحصر به خودش، در فهرست گوگل ذخیره می‌کند.

پیش از آنکه گوگل محتوای شما را پیدا کند، شما باید گوگل را از محتوای جدیدتان آگاه سازید تا ایندکس محتوای جدید سریع‌تر انجام شود.

اکنون می‌پرسید چگونه نظر ربات‌های گوگل را جلب کنیم؟

شما باید سایت خود را برای خزیدن Googlebot بهینه کنید، بنابراین این نکات را در نظر بگیرید:

• ربات گوگل نمی‌تواند ارزش محتوا در صفحاتی که فقط از Ajax و JavaScript تشکیل شده‌اند را بررسی کند.
• معمولا برخی سایت‌های ناشی، چندین URL برای یک کلمه کلیدی دارند که اشتباه است و باعث می‌شود سیگنال‌های اشتباهی به ایندکس گوگل ارسال شود. همین سیگنال اشتباه باعث کاهش خزیدن ربات‌ها در صفحات خواهند شد.
• URL‌ های غیر مهم را Noindex کنید. از فایل Robots.txt یا برچسب‌های متا استفاده کنید تا به ربات‌های گوگل کمک کنید ساختار سایت شما را بفهمند.
• استفاده از لینک‌های داخلی باعث می‌شود خزنده‌های گوگل سایت شما را بهتر بررسی کنند. بنابراین سایت خود را به صفحات یا محصولات بی‌ربط لینک نکنید.
• Sitemap برای هدایت ربات‌های گوگل به سایت بسیار مفید است. با استفاده از Sitemap، سایت شما به راحتی و با سرعت بیشتری ایندکس می‌شود.
• برای کمک به Googlebot بک لینک‌های قدرتمند بسازید.

Google Search Console چیست؟

گوگل سرچ کنسول، یکی از کارآمدترین ابزارهایی است که می‌توانید با استفاده از آن وضعیت خزیدن ربات‌ها در سایت خود را بررسی کنید.

شما با این سرویس رایگان می‌توانید نقشه سایت خود را به گوگل معرفی کنید، سایت خود را عیب‌یابی نمایید، خطاها را پیدا کنید و بک لینک‌ها را مشاهده کنید.

با گوگل سرچ کنسول می‌توانید سایت خود را برای بهینه‌سازی هدایت کرده و روند افزایش ترافیک طبیعی را بهبود ببخشید.

گوگل سرچ کنسول می‌تواند به شما کمک کند تا وضعیت پیشرفت کلمات کلیدی خود را اندازه‌گیری کنید.

چرا باید مثل ربات‌های گوگل فکر کنیم؟

گوگل همیشه توصیه کرده است که یک سایت تمیز با محتوای عالی برای کاربران‌تان درست کنید. یعنی اولویت اول، رضایت کاربران انسانی است و سپس باید به رضایت ربات‌ها و الگوریتم‌های گوگل توجه کنید.

به عبارت دیگر، افکار ربات‌های گوگل به رضایت کاربران گره خورده است و اگر کاربران راضی باشند، ربات هم راضی است.

حالا طبق توضیحات بالا، هنگام ایجاد یک محتوا، جلب رضایت کاربران مهم است یا ربات‌های گوگل؟

پاسخ: هر دو! اما اولویت با کاربران انسانی است.

در واقع طراحان UX معمولاً بیشتر به دنبال جلب رضایت کاربرانند، اما اغلب تازه کاران سئو به دنبال جلب رضایت گوگل هستند.

نکاتی برای بهینه‌سازی ربات‌های گوگل

در این قسمت با 8 نکته مهم آشنا می‌شوید که روی عملکرد ربات‌ها در صفحات سایت شما تأثیرگذار هستند و کیفیت گزارشاتی که خزنده‌ها از سایت شما به گوگل ارسال می‌کنند را تعیین می‌کند.

1. Robots.txt

Robots.txt یک فایل متنی است که در Root همۀ سایت قرار می‌گیرد. فایل Robots یکی از اولین مواردی است که ربات‌های گوگل هنگام جستجوی سایت به دنبال آن هستند.

Root یعنی ریشه‌ی هاست و اولین مسیر پس از آدرس دامنه است.

توصیه می‌شود لینک Sitemap.xml را به فایل Robots.txt اضافه کنید تا سرعت خزش ربات‌ها در صفحات سایت افزایش یابد.

روش‌های زیادی برای بهینه‌سازی فایل Robots وجود دارد، اما احتیاط در انجام این کار بسیار مهم است.

یک توسعه‌دهنده ممکن است به طور تصادفی، صفحاتی را Noindex کند و مدت‌ها ربات‌های گوگل را از خزیدن در آن صفحات محروم سازد.

نکات و آموزش‌های زیادی در مورد نحوه بهینه‌سازی فایل Robots.txt وجود دارد. قبل از اقدام به هرگونه ویرایش، به خوبی تحقیق کنید.

2. Sitemap.xml

Sitemap یا نقشه سایت یک روش مرسوم برای پیدا کردن صفحات توسط ربات‌های گوگل به حساب می‌آید. ضمن آنکه نقشه سایت، یک عامل مهم برای شناسایی و رتبه‌بندی صفحات نیز محسوب می‌شود.

در اینجا سه نکته برای بهینه‌سازی نقشه سایت آورده‌ایم:

1. فقط یک نقشه سایت داشته باشید.
2. صفحات 404 را از نقشه سایت حذف کنید.
3. فایل Sitemap.xml را به Google Search Console ارسال کرده و وضعیت خزیدن ربات‌ها را بررسی نمایید.

3. سرعت سایت

سرعت بارگیری سایت به یکی از مهمترین فاکتورهای رتبه‌بندی، خصوصاً در دستگاه‌های موبایل تبدیل شده است. اگر سرعت بارگذاری سایت شما خیلی کُند باشد، ممکن است کاربران رغبتی برای تماشای صفحات دیگر را نداشته باشند و همین موضوع در امتیاز سئوی شما تأثیرگذار شود.

یک روش آسان برای اینکه بفهمید ربات‌های گوگل دربارۀ سرعت سایت شما چگونه فکر می‌کنند، استفاد از ابزارهای رایگان موجود است. برای نمونه می‌توانید سایت خود را اینجا بررسی کنید.

4. Schema

افزودن داده‌‌های ساختار یافته به سایت شما می‌تواند به ربات‌های گوگل کمک کند تا ارزش محتوای صفحات شما را به طور کامل درک کنند.

برای کارایی بهتر، گوگل توصیه می‌کند از JSON-LD استفاده کنید. مثلاً افزونۀ Schema Pro از JSON-LD استفاده می‌کند.

5. Cannibalization

یک مشکل اساسی برای سایت‌های بزرگ به ویژه سایت‌های فروشگاهی، تکراری بودن صفحات وب است.

دلایل بسیاری برای داشتن صفحات تکراری وجود دارد. به عنوان مثال، اگر چند URL روی یک کلمه کلیدی، سئو شده باشند احتمالاً کلمه کلیدی مورد نظر با Cannibalization روبه‌رو خواهد شد.

یا مثلاً اگر سایتی چند زبانه دارید که صفحات تکراری (به زبان‌های دیگر) اجرا می‌کند، بسیار مهم است که صفحه وب مورد نظر خود را با برچسب Hreflang متمایز کنید.

6. ساختار اصولی URL

تجربه ثابت کرده است که داشتن ساختار اصولی URL منجر به رتبه‌بندی بالاتر و بهبود تجربۀ کاربری می‌شود.

ساختار اصولی URL ها چیزی است که باید در ابتدای توسعۀ سایت ایجاد شود. اما اگر ساختار URL شما اصولی نیست و برای صفحات قدیمی، رتبه‌بندیِ خوبی دارید، می‌توانید از ریدایرکت 301 استفاده کرده و Sitemap خود را به‌روزرسانی کنید تا بدون از دست‌رفتنِ رتبه، ساختار URL های شما اصلاح شود.

7. تصاویر

گوگل مدت‌هاست که به اهمیت بهینه‌سازی تصاویر اشاره می‌کند. بهینه‌سازی تصاویر می‌تواند به ربات‌های گوگل کمک کند تا بهتر بتوانند ارتباط تصاویر شما با محتوای شما را درک کنند.

اگر به دنبال موفقیت سریع در بهینه‌سازی تصاویر هستید، توصیه می‌کنیم موارد زیر را به کار بگیرید:

جذابیت: از تصاویر جذاب و منحصر به‌‎فرد استفاده کنید و تصاویر تکراری را در سایت قرار ندهید.

اندازه: یک اندازۀ ثابت برای تصاویر سایت تعیین کنید که عرض و ارتفاع آن، حداقل 600 پیکسل و حداکثر 1200 پیکسل باشد.

نام: با حداقل کلمات ممکن، تصویر مورد نظر را توصیف کنید (اگر کلمه کلیدی در تصاویر بیاید بهتر است).

Alt: حتماً از تگ Alt تصاویر به عنوان توضیحات یا خصوصیات تصاویر استفاده کنید که می‌تواند شامل کلمه کلیدی و یا مترادف‌های آن باشد.

Structured Data: برای توصیف تصاویر موجود در صفحه می‌توانید از Schema استفاده کنید.

8. لینک‌های شکسته

همه ما می‌دانیم که لینک‌های خراب و شکسته برای سئوی سایت مضر هستند و برخی از فعالان سئو ادعا می‌کنند که لینک‌های شکسته می‌توانند بودجه خزش را هدر دهند.

با این حال، جان مولر (کارشناس گوگل) اظهار داشته که لینک‌های خراب باعث کاهش بودجه خزش نمی‌شود!

بودجه خزش چیست؟

بودجه خزش به تعداد صفحاتی از یک سایت گفته می‌شود که ربات‌های Google در هر روز و در یک سایت بررسی می‌کنند. این تعداد در هر روز با روز دیگر متفاوت است اما روند نسبتاً پایداری دارد.

برای یافتن لینک‌های شکستۀ سایت خود می‌توانید از brokenlinkcheck.com و یا سایر ابزارهای رایگان کمک بگیرید.

اگر در هدایت ربات‌ها و کار کردن در فضای Google Search Console مشکل دارید، شرکت در دوره جامع سئوکاران وبمستر را به شما پیشنهاد می‌کنیم.

لیست IP ربات‌های گوگل

همانطور که در جریان هستید، ربات‌های گوگل دارای IP هستند و با هربار بازدیدشان از صفحات سایت، اطلاعات IP آن‌ها در گوگل آنالیتیکس ثبت می‌شود.

لیست IP آدرس‌های Googlebot را از لینک زیر مشاهده نمایید.

با IP ایران نمی‌توانید لینک را ببینید!

developers.google.com/search/apis/ipranges/googlebot.json

انواع ربات‌های گوگل

ربات‌های گوگل به 6 دستۀ زیر تقسیم می‌شوند که از میان آن‌ها، ربات‌های اول و دوم به عنوان خزنده‌های اصلی گوگل به شمار می‌آیند.

همانطور که بالاتر گفتیم این ربات‌ها برای خزش در صفحات سایت، از Robots.txt تبعیت می‌کنند. برای اکثر سایت‌ها گوگل ابتدا با ربات Smartphone، نسخۀ موبایلی محتوا را ایندکس می‌کند.

جالب است بدانید که ربات Desktop در اولویت دوم برای ایندکس محتوا قرار دارد.

1. Googlebot Smartphone

خزندۀ Smartphone وظیفۀ ایندکس محتوای موبایلی را بر عهده دارد.

2. Googlebot Desktop

خزندۀ Desktop همانند ربات اول، ایندکس محتوا در صفحات دسکتاپ را انجام می‌دهد.

3. Googlebot Video

همانطور که از نام خزندۀ Video پیداست، وظیفۀ این ربات ایندکس محتوای ویدیویی است.

4. Googlebot Image

ربات Images وظیفۀ ایندکس تصاویر را بر عهده دارد.

5. Googlebot News

این ربات روی ایندکس سایت‌های خبری متمرکز است.

6. Googlebot Favicon

و نهایتاً ربات Favicon وظیفۀ تشخیص فاوآیکون سایت‌ها را عهده دار است.

در آخر

Googlebots ربات‌‌های کوچکی هستند که روزانه به سایت شما مراجعه می‌کنند و به دنبال مطالب جدیدند.

هر زمانی که تغییری در سایت خود ایجاد کردید، می‌توانید ربات‌های گوگل را از طریق Inspect URL در ابزار Google Search Console دعوت کنید تا تغییرات و به‌روزرسانی محتوای شما را  مشاهده کنند.

امیدواریم با مطالعه این مقاله، به پاسخ سوالات خود دربارۀ عملکرد ربات‌های گوگل رسیده باشید و اگر همچنان سوالی باقی مانده از بخش نظرات بپرسید.

منابع

developers.google.com

searchenginejournal