Googlebot.

Добро пожаловать, Googlebot, или внутренняя и внешняя оптимизация для блога.


Добавление sitemap.xml в google.webmasters Инструментах для веб-мастеров
Добавление Sitemap.
 Работа над улучшением индексации своих блогов, внутренняя и внешняя оптимизация веб-страниц, ведутся непрестанно.
 Сегодня от @Devaka, узнал о сервисе Majestic SEO с его показателями Trust Flow (TF) и Citation Flow (CF).
 С их помощью можно проверить качество ссылочного профиля.
 Детальнее проанализировать времени было не достаточно, но нечто полезное озвучу.

Majestic SEO напомнил, что  robots.txt блога не доступен и было бы не плохо создать Пользовательский файл с аналогичным названием.

 В качестве карты сайта для пользователей, на моих блогах на платформе blogspot/blogger, как и у большинства аналогичных, установлен скрипт от abu-farhan.
Подробнее о robots.txt можно узнать здесь.
Автоматически сгенерированный robots.txt, и имеющий адрес такого вида, http://wmdv.blogspot.ru/feeds/posts/default?orderby=UPDATED, до сей поры поисковым ботам не был доступен.
Роботам нужен такой адрес http://wmdv.blogspot.ru/robots.txt, и поскольку в настройках поиска панели администратора есть возможность добавить "Пользовательский файл robots.txt", то мы туда и произведем вставку этого кода.
Но сначала необходимо разобраться и понять, что все это значит.

User-agent: Mediapartners-Google (робот, к которому применяется правило.
Робот Mediapartners-Google имеет отдельный доступ к страницам, независимый от других агентов Google)
Disallow: (URL-адреса, которые необходимо заблокировать)
User-agent: * (с помощью звездочки, правило применимо ко всем ботам, для Googlebot-Mobile и Googlebot-Image, можно указать отдельные правила).
Disallow: /search (косая черта используется чтобы заблокировать весь сайт).
Allow: /Sitemap: http://wmdv.blogspot.ru/robots.txt

Вот, что в итоге у меня получилось:

User-agent: Mediapartners-Google
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/robots.txt
User-agent: *
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/sitemap.xml

Скопировав, не забудьте изменить wmdv на свой URL.


Чтобы проверить файл robots.txt, на главной странице Инструментов для веб-мастеров
в меню Сканирование, а затем Заблокированные URL,
вкладка "Проверить robots.txt".
Со времени написания поста, прошло достаточное количество времени, и не удивительно, что эта страница выглядит иначе.
Обновил скрин, но разобраться будет не сложно, даже если снова произойдут некоторые изменения.

Да, в следующей строке меню Инструментов для веб-мастеров, после Заблокированные URL присутствует раздел Файлы Sitemap.
Здесь, как на картинке, необходимо Добавить в строку к адресу вашего блога, sitemap.xml и Отправить.

Добро пожаловать, сканер Googlebot.