Під час останньої відеокімнати для вебмайстрів співробітник Google Джон Мюллер пояснив, як визначається релевантність запиту для тих сторінок, що заблоковані від сканування з допомогою robots.txt. Отже, як насправді здійснюється ранжування Гуглом зачинених сторінок.
Як стало відомо раніше, Google може індексувати заблоковані в robots.txt сторінки, якщо на них є посилання. Але як Google визначає, за якими типами запитів ранжувати ці URL?
Питання до Мюллеру звучало так:
Сьогодні всі говорять про наміри користувача. Якщо сторінка заблокована через robots.txt, але ранжується, як Google визначає релевантність її вмісту за запитом?
Мюллер відповів, що Google не може переглянути заблокований контент. Тому йому доводиться шукати інші шляхи, щоб порівняти поточний URL c іншими.
У більшості випадків Google буде пріоритезувати індексацію інших сторінок сайту, які більш доступні і не заблоковані від сканування.
I
При цьому іноді в результатах пошуку можуть виводитися заблоковані сторінки. Це відбувається в тих випадках, коли Google вважає, що таке рішення виправдане. Релевантність таких сторінок буде визначатися за посиланнями, вказує на них.
Ось відповідь Мюллера:
Нагадаємо, що у рамках роботи над перекладом Robots Exclusion Protocol в розряд інтернет-стандартів Google вирішив відключити підтримку недокументованих правил robots.txt, включаючи директиву noindex.
