چرا صفحات سایت ایندکس نمیشوند؟ مطالعهی موردی ۳۲ صفحه
یک ماه بعد از انتشار همین سایت، Google Search Console را باز کردیم و گزارش ایندکس را دیدیم. سایت ۳۲ صفحه دارد، ۱۶ صفحه فارسی و ۱۶ صفحه انگلیسی. گوگل ۲۴ صفحه را ایندکس کرده بود؛ یعنی ۷۵ درصد. پس ۸ صفحه بیرون از ایندکس مانده بودند و هیچکس با جستجو نمیتوانست آنها را پیدا کند.
ما کارمان سئو است و وسوسهانگیز بود که این ماجرا را رد کنیم و فقط داستانهای موفقیت منتشر کنیم. ولی بیشتر راهنماهای ایندکس فقط تئوری را کلی توضیح میدهند و تئوری با یک مثال واقعی خیلی راحتتر فهمیده میشود. این مقاله میگوید روی سایت خودمان چه دیدیم، چطور پیدایش کردیم، چه چیزی را تغییر دادیم و از چه میانبرهایی پرهیز میکنیم. وقتی گوگل تغییرها را دوباره خزید، نتیجه را به همین مقاله اضافه میکنیم.
«ایندکس نشده» دقیقاً یعنی چه؟
خزیده شدن و ایندکس شدن دو چیز جدا هستند. گوگل میتواند یک صفحه را ببیند، بخواند و باز هم تصمیم بگیرد آن را وارد ایندکس نکند. گوگل صریح گفته که هر صفحهای را که پیدا میکند ایندکس نمیکند و یک سایت تازه باید انتظار داشته باشد بعضی صفحههایش منتظر بمانند. گزارش ایندکس صفحهها (Page indexing) در Search Console این صفحهها را بر اساس دلیل گروهبندی میکند و همین دلیل مفیدترین اطلاعاتی است که دارید. اینها وضعیتهایی هستند که بیشتر میبینید.
Discovered – currently not indexed. گوگل میداند این آدرس وجود دارد، معمولاً از نقشهی سایت یا یک لینک، ولی هنوز آن را نخزیده است. در سایت کاملاً جدید اغلب فقط مسئلهی زمان است، ولی میتواند به این معنی هم باشد که گوگل از آن بخش ارزش زیادی انتظار ندارد.
Crawled – currently not indexed. گوگل صفحه را دیده و تصمیم گرفته، دستکم فعلاً، آن را ایندکس نکند. این وضعیت بیشتر از همه به مشکل محتوایی اشاره دارد: صفحههای کمعمق، خیلی شبیه صفحههای دیگر یا صفحههایی که برای جستجوگر بهروشنی مفید نیستند.
Duplicate, Google chose different canonical. گوگل صفحه را کپی یک آدرس دیگر میداند و همان آدرس را بهعنوان نسخهی اصلی انتخاب کرده است. این وضعیت به مشکل تکرار یا canonical اشاره دارد.
Alternate page with proper canonical tag. معمولاً مشکلی نیست. یعنی صفحه درست اعلام کرده که نسخهی ترجیحیاش یک صفحهی دیگر است.
Excluded by noindex، blocked by robots.txt، page with redirect و soft 404. اینها وضعیتهای فنی هستند و معمولاً یا عمدیاند یا نتیجهی یک اشتباه در تنظیمات که مستقیم میتوانید درستش کنید.
درس اصلی این است: قبل از هر کاری دلیل را بخوانید. دو صفحه که هر دو «ایندکس نشده» هستند ممکن است به اصلاحهایی کاملاً متضاد نیاز داشته باشند.
قدم اول: مانعهای فنی را کنار بگذارید
با بررسیهای خستهکننده شروع کردیم، چون مانع فنی ارزانترین مشکل برای رفع و شرمآورترین مورد برای جا انداختن است. بررسی کردیم فایل robots.txt چیز مهمی را نبسته باشد، هیچ صفحهای دستور noindex نداشته باشد، هر صفحه یک canonical به آدرس خودش داشته باشد، نقشهی سایت فقط صفحههای سالم را فهرست کند و نسخهی فارسی و انگلیسی پاسخ عادی برگردانند.
پایهی فنی سالم بود. هیچ چیز بسته نشده بود و هیچ صفحهای اشتباهی کنار گذاشته نشده بود. البته بررسی چند مشکل کوچکتر هم پیدا کرد و ما آنها را هم اصلاح کردیم. روی یازده صفحه نام برند دو بار در عنوان آمده بود. چهار صفحه تصویر اشتراکگذاری نداشتند. نقشهی سایت به گوگل نمیگفت کدام صفحهی فارسی با کدام صفحهی انگلیسی جفت است. یک layout مشترک هم canonical پیشفرضی داشت که هر صفحهی جدیدِ بدون canonical را به صفحهی اصلی میفرستاد. هیچکدام اینها توضیح نمیداد چرا یک صفحه از ایندکس بیرون مانده و صادقانه باید این را بگوییم. رفع مشکلهای فنی کوچک حس مفید بودن میدهد، ولی عدد ما را تکان نمیداد.
قدم دوم: دلیلی را که گوگل نشان میدهد بخوانید
پاسخ در همین گزارش بود. در مورد ما، دلیل صفحههایی که کنار گذاشته شده بودند کیفیت و عمق محتوا بود، نه یک ایراد فنی. Search Console عیناً ننوشته «این صفحه کمعمق است»، پس تشخیص با ماست: وضعیت را نشان میدهد و ما باید صفحه را صادقانه با آن بسنجیم.
قدم سوم: محتوای خودتان را صادقانه اندازه بگیرید
کلمههای همهی صفحهها را شمردیم و نتیجه ناخوشایند بود. مقالههای وبلاگمان بین حدود ۱۳۰ تا ۵۲۰ کلمه متن اصلی داشتند و بیشترشان کمتر از ۳۵۰ کلمه بودند. صفحههای خدمات حدود ۳۰۰ تا ۳۸۰ کلمه متن اختصاصی هر صفحه داشتند. هر صفحهی فارسی هم یک همتای انگلیسی داشت که تقریباً همان حرف را میزد، پس آنطور که فکر میکردیم دو محتوای متفاوت به گوگل نمیدادیم.
تعداد کلمه عامل رتبه نیست و اضافه کردن کلمه صفحه را بهتر نمیکند. ولی صفحهی کوتاه یک علامت است. مقالهی ۲۵۰ کلمهای دربارهی «سئوی فنی» با صفحههایی رقابت میکند که همان موضوع را عمیق و با مثال، مرحله و جزئیات پوشش دادهاند. وقتی نسخههای بهتر از قبل وجود دارند، گوگل تقریباً دلیلی ندارد نسخهی سطحی را وارد ایندکس کند. مقالههای ما درست بودند ولی کلی بودند، تجربهی دستاول نداشتند و به سؤالی که بعد از پاراگراف اول در ذهن خواننده میآید جواب نمیدادند.
چه چیزی را تغییر دادیم
راهحل این بود که هر صفحه را شایستهی ایندکس شدن کنیم. این کارها را انجام دادیم.
- هر هفت مقاله را به هر دو زبان بازنویسی کردیم و اکنون هرکدام بین حدود ۱۰۰۰ تا ۱۵۰۰ کلمه است. این طول از مرحلههای عملی، دلیلها، اشتباههای رایج و مثال آمده، نه از پرکردن.
- بخش «مطالب مرتبط» و لینکهای داخلی بین مقالهها و صفحههای خدمات اضافه کردیم تا صفحهها از هم پشتیبانی کنند و خزنده راحت به آنها برسد.
- صفحههایی را که یک سایت کسبوکاری کم داشت ساختیم: یک صفحهی خدمت مستقل برای پشتیبانی سایت، صفحهای که همهی خدمات را فهرست میکند و صفحهی «درباره ما».
- برای هر صفحه عنوان و توضیح مخصوص خودش نوشتیم که با عبارتهایی که مردم واقعاً جستجو میکنند هماهنگ است.
- به نقشهی سایت hreflang اضافه کردیم و مشکلهای فنی کوچک قدم اول را رفع کردیم.
- برای هر مقاله زمان تقریبی مطالعه اضافه کردیم، چون انتظار خواننده را روشن میکند.
از چه چیزهایی عمداً پرهیز میکنیم
چند میانبر وسوسهانگیز هست و ما از همهشان دور میمانیم. برای همهی صفحهها بارها و بارها درخواست ایندکس نمیفرستیم. ابزار درخواست سهمیهی محدودی دارد و درخواست ایندکس نظر گوگل دربارهی یک صفحه را عوض نمیکند. برای بالا آوردن صفحهها لینک نمیخریم. صفحههای ضعیف را در هول و ولا حذف نمیکنیم و برای پنهان کردن مشکل noindex نمیگذاریم. حذف یا کنار گذاشتن صفحه وقتی صفحه هدفی ندارد میتواند انتخاب درستی باشد، ولی اینجا صفحهها دربارهی موضوعهایی بودند که مخاطب ما به آنها اهمیت میدهد، پس بهتر کردنشان راه درستتر بود. و هر چند روز یک بار کل سایت را دوباره عوض نمیکنیم. گوگل برای خزش دوباره زمان لازم دارد و تغییر مداوم باعث میشود نفهمیم چه چیزی مؤثر بوده.
چه انتظاری داشته باشیم
بعد از بهتر کردن یک صفحه، جواب صادقانهی «چقدر طول میکشد؟» این است که فرق میکند. گوگل ممکن است ظرف چند روز دوباره بخزد یا چند هفته طول بکشد و حتی برای یک صفحهی خیلی بهتر هم ایندکس شدن تضمین نیست. ما هر هفته همین نسبت ساده را میسنجیم، تعداد صفحههای ایندکسشده از کل صفحهها، و تاریخ هر تغییر را ثبت میکنیم تا علت و معلول روشن بماند. وقتی اعداد ثابت شد، نتیجه را، خوب یا بد، به همین مقاله اضافه میکنیم.
یک چکلیست که میتوانید همین حالا روی سایت خودتان اجرا کنید
- گزارش Page indexing را باز کنید و مجموع صفحهها، تعداد ایندکسشده و دلیل هر گروه کنارگذاشتهشده را یادداشت کنید.
- مانعهای فنی را کنار بگذارید: robots، noindex، canonical، ریدایرکتها، نقشهی سایت و خطاهای سرور.
- دو یا سه صفحهی مشکلدار را با ابزار URL Inspection بررسی کنید و ببینید گوگل چه چیزی دیده است.
- تعداد کلمهی واقعی صفحههای مشکلدار را بشمارید و با صفحههای ایندکسشده مقایسه کنید.
- صادقانه بپرسید هر صفحه چه چیزی به خواننده میدهد که جای دیگر پیدا نمیکند.
- اول ضعیفترین صفحهها را بهتر کنید، به آنها لینک داخلی بدهید و مطمئن شوید در نقشهی سایت هستند.
- چند هفته صبر کنید و بعد نسبت ایندکس را دوباره مقایسه کنید.
اگر نقطهی شروع میخواهید، چکلیست سئوی فنی قبل از انتشار سایت بخش فنی را با جزئیات پوشش میدهد و تحلیلگر رایگان سئو یک نگاه اولیه به هر صفحه میدهد. سرعت هم روی کارآمدی خزش گوگل اثر دارد که در راهنمای سرعت سایت و Core Web Vitals توضیح دادهایم.
نتیجهگیری
مشکل ایندکس ما باگ نبود. مشکل کیفیت بود و از خود ما. صفحهها از نظر فنی درست بودند ولی به گوگل و به خواننده دلیل قوی برای نگه داشتنشان نمیدادند. اگر بخشی از صفحههای شما از ایندکس بیرون ماندهاند، اول دلیل را بخوانید، دربارهی محتوا صادق باشید و قبل از رفتن سراغ ترفندها صفحهها را بهتر کنید. اگر میخواهید یک کارشناس سایت خودتان را بررسی کند، خدمات سئو ما دقیقاً با همین نوع تشخیص شروع میشود.
مطالب مرتبط
- تأثیر سرعت سایت بر نرخ تبدیل و رتبه گوگلمعیارهای Core Web Vitals (LCP و INP و CLS) چطور روی نرخ تبدیل و رتبهی گوگل اثر میگذارند و چطور بسنجیم و بهبودشان بدهیم.
- چکلیست سئوی فنی قبل از انتشار سایتمواردی از سئوی فنی که قبل از انتشار سایت باید بررسی شود: ایندکس، متادیتا، canonical، نقشهی سایت، دادهساختاریافته، سرعت و چندزبانگی.
- نکست جی اس یا وردپرس؟ انتخاب پلتفرم برای سایت کسبوکارمقایسهی صادقانهی Next.js و وردپرس برای سایت کسبوکار: هزینه، سئو، سرعت، امنیت، ویرایش محتوا، هاست و چندزبانگی، بههمراه یک روش ساده برای تصمیمگیری.