Добро пожаловать, Googlebot, или внутренняя и внешняя оптимизация для блога.
Добавление Sitemap. |
Сегодня от @Devaka, узнал о сервисе Majestic SEO с его показателями Trust Flow (TF) и Citation Flow (CF).
С их помощью можно проверить качество ссылочного профиля.
Детальнее проанализировать времени было не достаточно, но нечто полезное озвучу.
Majestic SEO напомнил, что robots.txt блога не доступен и было бы не плохо создать Пользовательский файл с аналогичным названием.
В качестве карты сайта для пользователей, на моих блогах на платформе blogspot/blogger, как и у большинства аналогичных, установлен скрипт от abu-farhan.
Подробнее о robots.txt можно узнать здесь.
Автоматически сгенерированный robots.txt, и имеющий адрес такого вида, http://wmdv.blogspot.ru/feeds/posts/default?orderby=UPDATED, до сей поры поисковым ботам не был доступен.
Роботам нужен такой адрес http://wmdv.blogspot.ru/robots.txt, и поскольку в настройках поиска панели администратора есть возможность добавить "Пользовательский файл robots.txt", то мы туда и произведем вставку этого кода.
Но сначала необходимо разобраться и понять, что все это значит.
User-agent: Mediapartners-Google (робот, к которому применяется правило.
Робот Mediapartners-Google имеет отдельный доступ к страницам, независимый от других агентов Google)
Disallow: (URL-адреса, которые необходимо заблокировать)
User-agent: * (с помощью звездочки, правило применимо ко всем ботам, для Googlebot-Mobile и Googlebot-Image, можно указать отдельные правила).
Disallow: /search (косая черта используется чтобы заблокировать весь сайт).
Allow: /Sitemap: http://wmdv.blogspot.ru/robots.txt
Робот Mediapartners-Google имеет отдельный доступ к страницам, независимый от других агентов Google)
Disallow: (URL-адреса, которые необходимо заблокировать)
User-agent: * (с помощью звездочки, правило применимо ко всем ботам, для Googlebot-Mobile и Googlebot-Image, можно указать отдельные правила).
Disallow: /search (косая черта используется чтобы заблокировать весь сайт).
Allow: /Sitemap: http://wmdv.blogspot.ru/robots.txt
Вот, что в итоге у меня получилось:
User-agent: Mediapartners-Google
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/robots.txt
User-agent: *
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/sitemap.xml
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/robots.txt
User-agent: *
Disallow:
Allow: / Sitemap: http://wmdv.blogspot.ru/sitemap.xml
Скопировав, не забудьте изменить wmdv на свой URL.
Чтобы проверить файл robots.txt, на главной странице Инструментов для веб-мастеров
в меню Сканирование, а затем Заблокированные URL,
вкладка "Проверить robots.txt".
Со времени написания поста, прошло достаточное количество времени, и не удивительно, что эта страница выглядит иначе.
Обновил скрин, но разобраться будет не сложно, даже если снова произойдут некоторые изменения.
Да, в следующей строке меню Инструментов для веб-мастеров, после Заблокированные URL присутствует раздел Файлы Sitemap.
Здесь, как на картинке, необходимо Добавить в строку к адресу вашего блога, sitemap.xml и Отправить.
Добро пожаловать, сканер Googlebot.
Комментариев нет:
Отправить комментарий