Файл для робота от этого не исчезает. Маленькому сайту видимый список может быть без надобности, а файл со списком адресов остаётся на своём месте. Нет страницы — это не повод убирать файл. Есть страница — это не повод считать, что файл больше не нужен.
Проверка у меня короткая. Открываю меню и смотрю, остался ли раздел, который человек ищет, а в меню его нет. Такого раздела нет — страницу не делаю. Раздел есть, и без общего списка до него не добраться, — страницу собираю. Ссылку в подвал ставлю только потом, когда список уже можно читать и каждая строка ведёт на живой раздел.
Как я собираю список, чтобы его читали
Иду от разделов, которые уже вижу в меню и на главной. Это каркас. Дальше добавляю только то, до чего в меню нет понятного пункта: вложенный раздел, который в шапку не поместился, и страница условий, которую ищут перед заказом. Оплату, доставку и возврат отношу к таким условиям. Это не корзина. Корзину в список не включаю.
Длинный список делю заголовками групп. Заголовок — это раздел. Под ним ссылки, которые к нему относятся. Не смешиваю в одну колонку товары, статьи и условия, если на сайте это разные части. Человеку проще выбрать группу, а потом строку внутри, чем листать полотно без начала и конца.
Когда раздел закрыли или переименовали, я правлю страницу сразу. Старое название со старой ссылкой не оставляю. Битая строка хуже короткого меню: человек нажал и попал в никуда. Страница живёт вместе с сайтом. Если её не править, список быстро перестаёт помогать.
Что сверяю перед ссылкой в подвале
Готовую страницу прохожу сам, как человек, который на сайте в первый раз. Читаю названия в том порядке, в каком они стоят. Если строку нельзя понять без адреса, подпись переписываю. Если ссылка ведёт не туда, куда обещает название, правлю название или адрес. Одно такое расхождение портит список целиком: дальше уже трудно верить соседним строкам.
Отдельно смотрю, не попали ли корзина, поиск, фильтры, сортировки, чужие и битые адреса, дубли и страницы, закрытые от индекса. Выгрузка всех адресов для меня только черновик. На сайт я её не ставлю.
Заголовок страницы пишу простыми словами: здесь список разделов. Рядом не обещаю место в выдаче и не пишу, что после этой страницы сайт начнут иначе находить. Она помогает человеку сориентироваться. Индекс она не назначает. Файл для робота индекс тоже не обещает, и этого обещания я ни на страницу, ни в подвал не добавляю.
- Страница открывается как обычный раздел сайта
- У каждой ссылки человеческое название, не голый адрес
- В списке нет корзины, поиска, фильтров и сортировок
- Нет чужих адресов, битых ссылок и повторов одного раздела
- Нет страниц, закрытых от индекса
- На маленьком сайте список не копирует меню без новой пользы
- Файл для робота остаётся на своём месте и страницей не заменён
Если после прохода видно, что список только копирует меню, страницу убираю. Если в списке остаются разделы, которых в меню нет, и они открываются, ссылку в подвал оставляю. В обоих случаях файл для робота остаётся файлом для робота. Страница ссылок его место не занимает.
Для меня в этом вся разница. Видимая страница — список разделов для человека, который ищет их по названию. Отдельный файл — список адресов для робота. Одну другой я не заменяю и от страницы не жду того, чего она сделать не может.