Уже 2.5 года прошло с тех пор, как я удалил с одного своего сайта целый раздел, соответственно все адреса вида сайт.ру/удаленный_раздел/*.хтмл перестали существовать и исправно с первого же дня начали отдавать стандартный в таких случаях серверный заголовок “HTTP 404 Not Found”.

Шли дни, недели, месяцы и годы, а боты Гугла все продолжали практически каждый день посещать удаленные страницы, каждый раз получая “HTTP 404 Not Found”. И по сей день продолжают это странное дело.

Нет, я, конечно, знаю, что по спецификации 404 заголовок означает недоступность, но не говорит, что это обязательно навсегда. Для “404 навсегда” есть специальный заголовок “HTTP 410 Gone”, но заморачиваться с ним особого желания нет, потому что зачем делать что-то, если можно ничего не делать, вот почему надо шарить в серверном администрировании, надо перелопатить и внести изменения в скрипты и .htaccess’ы, надо умудриться нигде не накосячить в процессе, чтобы в будущем 410 не вываливалось вдруг там, где должно быть временно 404 по какой-то причине (например, сегодня что-то не отпарсилось, и страница не создалась, а завтра может и отпарситься и страница будет существовать).

Короче говоря, это слишком большой геморрой ради неясной перспективы, так как беглое гугление показывает, что боты гугла все равно будут продолжать постоянно долбиться и при получении 410 заголовка.

Дорогой гуглобот, подумай, разве не очевидно, что если ты в течение нескольких лет посещал какой-то урл, и из 1000 посещений получил ровно 1000 же ответов “HTTP 404 Not Found”, то стоит уже запомнить это нахрен и начать воспринимать 404 по этому урлу исключительно как “HTTP 410 Отвечаю / Мамой клянусь! / Инфа 100% / Больше сюда не приходи, с лестницы спущу” и перестать наконец сюда ходить.