Вы создали учетную запись «Яндекс.Вебмастер» и привязали к ней свой веб-сайт.
После обхода сайта поисковым роботом, в статистике, вы увидите полученные результаты.
Но «Яндекс.Вебмастер» помимо показа проиндексированных страниц, дает возможность увидеть каждую из них.
Для перехода в раздел «Индексирование сайта», зайдите на страницу «Вебмастер» и кликните по ссылке своего сайта.
Раскрыв выпадающее меню кликните по ссылке «Страницы в поиске» и перед вами раскроется информация о страницах вашего сайта, попавших в поисковый индекс.
Как правило, добавленные на сайт страницы появятся в поиске не позже чем через месяц. Поэтому, если вы увидели что каких-то страниц нет, а прошло уже определенное время, то следует начать искать причину неполадок.
Поиск стоит начать с раздела «Исключенные страницы».
В этом разделе представлена информация относящаяся к страницам, по разным причинам не попавшим в индекс. Некоторые запрещены к индексированию через файл robots.tht, другие имеют не поддерживаемый формат, на третьи роботом получен запрет на индексацию, от сервера.
Ксения Успешная
2 февраля, 2014 at 7:14 пп
Виктор а как прописать в файле robots. правильно информацию, чтоб закрыть некоторые ссылки от индексации. например категории, метки и так далее.
Что порекомендуете ще закрыть от индексации, что роботы не индексировали эти страницы как дублируемый контент.
Виктор Новиков
2 февраля, 2014 at 7:39 пп
Ксения! Более подробно о том «Как правильно составить robots.txt для сайта на wordpress», как закрыть или открыть индексацию сайта, файлов, папок,
можно прочитать на блоге Людмилы Луневой — Веб-дизайнера и разработчика сайтов на wordpress.
prodengiblog.ru/archives/2588