جلوگیری از ایندکس سایت در گوگل! چگونه می توان موتورهای جستجو را از پیمایش در یک سایت وردپرس منصرف کرد؟
اخیرا یکی از کاربران از ما پرسید که چگونه می توان سایت وردپرس خود را از دید موتورهای جستجو پنهان و یا به عبارتی اندیس سایت را متوقف نمود؟ سناریوهای بسیاری در رابطه با توقف فهرست کردن وبسایت در نتایج جستجو وجود دارد. در این مقاله به بررسی این سناریوها می پردازیم.
برای اکثر وب سایت ها، موتورهای جستجو بزرگترین منبع ترافیک هستند. ممکن است بپرسید چرا کسی می خواهد موتورهای جستجو را مسدود کند؟
در هنگام شروع، بسیاری از مردم نمی دانند چگونه یک محیط توسعه محلی یا یک سایت رسمی ایجاد کنند. اگر وب سایت خود را بر روی یک نام دامنه قابل دسترس توسعه می دهید، احتمالا نمی خواهید گوگل ساختار صفحه و حالت آن را فهرست بندی نماید.
همچنین بسیاری از افراد برای ایجاد وبلاگ های شخصی از وردپرس استفاده می کنند و بدلیل خصوصی بودن نمی خواهند آن ها در نتایج جستجو فهرست بندی شوند.
بعضی افراد نیز نمی خواهند از وردپرس برای مدیریت پروژه استفاده کنند و شما نمی خواهید اسناد داخلی خود را به صورت عمومی در دسترس قرار دهید.
در تمام شرایط فوق، احتمالا نمی خواهید موتورهای جستجو وب سایت شما را فهرست کنند.
یک تصور غلط رایج این است که اگر من به دامنه لینک ندهم، پس احتمالاً موتورهای جستجو هرگز وب سایت من را پیدا نخواهند کرد. این کاملا غلط است.
راه های زیادی وجود دارد که موتورهای جستجو می توانند متوجه شوند که وبسایت به جای دیگری لینک شده است. مثلا:
چیزهای زیادی در وب اتفاق می افتد و بسیاری از آنها تحت کنترل شما نیستند. با این حال، وب سایت شما همچنان تحت کنترل شما است و شما می توانید به موتورهای جستجو بفهمانید تا آن را فهرست و دنبال نکنند.
وردپرس دارای یک ویژگی داخلی است که به شما اجازه می دهد تا نشانه گذاری موتورهای جستجو را از سایت خود بردارید. برای دسترسی به این ویژگی می بایست از قسمت تنظیمات گزینه Reading را انتخاب کنید و کادر Serch engine visibility را علامت دار نمایید.
با انتخاب این کادر وردپرس خط زیر را به هدر سایت اضافه می کند:
<meta name=’robots’ content=’noindex,follow’ />
همچنین وردپرس فایل robots.txt سایت شما را ویرایش می کند و خطوط زیر را به آن اضافه می کند:
User-agent: *
Disallow: /
این خطوط از روبات ها (خزنده های وب) می خواهند صفحات شما را فهرست نکنند. اگرچه، پذیرش این درخواست و یا نادیده گرفتن آن کاملاً به موتورهای جستجو بستگی دارد. با اینکه موتورهای جستجو به این موضوع توجه می کنند، برخی از صفحات یا تصاویر تصادفی از سایت شما ممکن است فهرست شوند.
تنظیمات پیش فرض وردپرس موتورهای جستجو را راهنمایی می کنند که وب سایت شما را فهرست نکنند. با این حال، موتورهای جستجو ممکن است وب سایت شما، صفحه، فایل یا تصویر آن را فهرست نمایند.
تنها راه برای اطمینان از عدم فهرست موتورهای جستجو، محافظت از کل سایت وردپرس شما در سطح سرور از طریق رمزگذاری است.
این بدان معناست که وقتی موتورهای جستجو و یا فردی برای دسترسی به وب سایت شما تلاش می کند، از آنها خواسته می شود تا قبل از دستیابی به وردپرس، نام کاربری و رمز عبور را ارائه دهند. بنابراین با ورود آن ها به سیستم، صفحه خطای 401 نشان داده می شوند و ربات ها دور می شوند.
اگر تامین کننده میزبانی وب شما دسترسی Cpanel را برای مدیریت حساب کاربری هاست شما ارائه دهد، می توانید کل سایت خود را با استفاده از Cpanel محافظت کنید. همه چیزهایی که باید انجام دهید این است که به داشبورد Cpanel خود وارد شوید و سپس بر روی نماد « Password Protect Directories» در بخش «امنیت» کلیک کنید.
سپس پوشه ای را که در آنجا وردپرس را نصب کرده اید انتخاب کنید که معمولاً این پوشه public_html است.
اگر چندین سایت وردپرس را در دایرکتوری public_html نصب کرده باشید، باید روی آیکون پوشه کلیک کنید تا پوشه ای را جهت ایجاد رمز عبور برای وب سایت خود انتخاب کنید.
در صفحه بعد، شما باید یک نام برای پوشه محافظت شده وارد کنید و روی دکمه Save کلیک کنید.
اطلاعات شما ذخیره خواهد شد و Cpanel صفحه را دوباره بارگذاری می کند. پس از آن، با وارد کردن یک نام کاربری و رمز عبور، باید یک کاربر مجاز را اضافه کنید.
شما با موفقیت محافظت با استفاده از رمز عبور را به سایت وردپرسی خود اضافه کردید.
در حال حاضر، هر زمان که کاربر یا موتور جستجو وب سایت شما را بازدید می کند، درخواست می شود تا نام کاربری و رمز عبور را که قبلاً ایجاد کرده اید برای مشاهده سایت وارد کنید.
اگر شما از راه حل دیگری برای مدیریت میزبانی وب استفاده می کنید، گاهی اوقات شما به cPanel دسترسی ندارید.
در این صورت، شما می توانید از پلاگین های مختلف وردپرس استفاده کنید تا رمز عبور وب سایت خود را حفظ کنید.
رایج ترین راه حل ها عبارتند از:
پلاگینی برای تعمیر و نگهداری وردپرس است که در بیش از 800،000 وب سایت استفاده می شود. این پلاگین دارای ویژگی های کامل مجوز و دسترسی است که با استفاده از آن می توانید وب سایت خود را از دید همه از جمله موتورهای جستجو پنهان کنید.
یک راه بسیار ساده برای محافظت از وب سایت وردپرسی شما ایجاد رمز عبور است (بدون نیاز به ایجاد کاربر).