15.11.2017 11:14
Теперь мы умеем определять региональную привязку сайта!
Инструмент позволяет узнать к каким регионам Яндекс причислил проект. Проверить можно любой сайт в интернете, даже конкурента, иметь при этом доступ в Яндекс.Вебмастер сайта не нужно.
09.11.2017 12:07
Инструмент проверки позиций получил дополнительный функционал!
В связи с тем, что инструментом начало пользоваться много пользователей, мы решили сделать его лучше, удобнее, функциональнее. Добавили зарегистрированным пользователям возможность сохранять проект, чтобы быстро ежедневно проверять позиции в 2 клика. Также начали вести историю позиций запросов и разработали возможность разбить запросы по релевантным страницам. Enjoy =)
08.11.2017 09:45
Аудит сайта доступен каждому!
Be1 начал предоставлять свою первую услугу, благодаря которой можно получить чёткую инструкцию как продвинуть свой сайт на ТОП-овые позиции! Получите отчёт за 3 дня с готовыми решениями.
19.10.2017 16:01
Реклама на сайте Be1.ru
Теперь вы можете прорекламировать свой продукт на страницах be1.ru, так как мы начали продавать рекламу в виде баннеров. Подать заявку очень просто! Наблюдайте за прогрессом и следите за статистикой из личного Рекламного кабинета, добавляйте новые рекламные проекты, получайте желаемый рост посетителей!
11.10.2017 16:18
Добавили историю позиций по запросам!
Теперь, когда Вы проверили позиции своего сайта, данные запоминаются и ведется история их изменений.
13.09.2017 16:15
Разработали составление конкурентного анализа
Это сводка, важных при продвижении, показателей, к которым необходимо стремиться, чтобы попасть в ТОП-1 выдачи Яндекс. Найти ее можно проанализировав сайт нажать в блоке о видимости на "отчёт".
27.07.2017 16:08
Разработали инструмент, который обнаруживает упущенную семантику!
Инструмент бесплатно покажет список упущенной семантики - ключевые запросы конкурентов, по которым они показываются в выдаче, а Вы нет.
20.07.2017 16:04
Разработали своё расширение под Chrome
Теперь анализировать сайты стало ещё проще! Скачайте в интернет-магазине Chrome наше расширение, установите его и получайте всю нужную информацию о любом сайте, на котором в данный момент находитесь,
12.07.2017 11:49
Разработали новый инструмент. Группировщик запросов!
Инструмент предназначен для автоматической разбивки списка запросов семантического ядра на группы по схожести, что дает возможность в дальнейшем оптимизировать под них страницы сайта.
03.07.2017 11:48
В связи с востребованностью разработали простенькую знакосчиталку
Помогает считать колличество символов в тексте, пригодится копирайтерам, которые используют наш антиплагиат.
03.11.2017 12:19
Яндекс изменил кабинет в вебмастере
Убрав правый сайдбар поисковик расширил рабочую область, что позволит более комфортно пользоваться сервисом.
11.10.2017 15:47
Яндекс запустил голосовой ассистент «Алиса»
Сервис уже доступен пользователям приложений Яндекс для iOS и Android. В ближайшее время «Алиса» появится и в Яндекс.Браузере.
23.08.2017 16:12
Королёв - новый поисковый алгоритм Яндекса!
Сегодня Яндекс запустил новый поисковый алгоритм, который умеет искать ответы не только по ключевым словам, но и по смыслу.
18.07.2017 11:56
CatBoost — новый метод машинного обучения от Яндекса!
Он придёт на смену Матрикснету, используемом в Яндексе с 2009 года. Даёт более точные результаты в задачах ранжирования, регрессии и классификации, а также учитывает данные в не числовой форме.
14.07.2017 11:52
Без Яндекса Google увеличил стоимость рекламы на треть!
После блокировки Яндекса в Украине, занимающего значительную долю на украинском рынке интернет-рекламы, рекламодатели перенесли бюджеты на контекстную рекламу в Google.
07.06.2017 11:44
Пользователи смогут платить Google за просмотр сайтов без рекламы
Google перезапустил свой сервис Google Contributor, который позволяет пользователям оформить единый абонемент для просмотра сайтов без рекламы.
19.04.2017 09:41
Яндекс.Вебмастере появилась возможность следить за «Важными страницами»
Проверка страниц осуществляется на основе данных, получаемых поисковым роботом при посещениях страницы. Если состояние страницы меняется, информация об этом отображается в сервисе, само изменение отме
13.04.2017 11:45
Яндекс обновил кабинет бизнеса в Яндекс.Справочнике
Подробная статистика по карточке организации и много других плюшек теперь добавлены в справочник, что не может не радовать оптимизаторов.
23.03.2017 15:05
Яндекс выкатил новый алгоритм определения переоптимизированных текстов - Баден-Баден
Таким образом Яндекс будет бороться с текстами, которые написаны в первую очередь для продвижения в выдаче Яндекс, а не для людей.
vk_logo
Be1 Вконтакте
1351 подписчиков
fb_logo
Be1 Facebook
1567 подписчиков
Новости


Не нашли ответа на свой вопрос?
Напишите, что бы Вы хотели узнать, и мы ответим Вам

Как настроить robots.txt



Robots.txt - текстовый документ, который размещается в корневом каталоге сайта и содержит запреты для поисковых роботов на индексацию технических страниц ресурса, с целью недопущения попадания них в поисковую выдачу.

Поисковые роботы используют сессионный принцип, во время каждой сессии робот формирует список страниц сайта, которые планирует загрузить. При заходе на сайт, робот первым делом смотрит файл robots.txt, чтобы знать что можно смотреть на сайте, а что нет.

Предлагаем посмотреть короткое видео от Яндекс, где при помощи простых сравнений наглядно рассказывается о задачах документа robots.txt:
 

Создание robots txt

01 При помощи любого текстового редактора (к примеру стандартного блокнота), создайте файл вида robots.txt. 02 Пропишите в нем индивидуальные настройки, инструкция как это сделать описанная ниже. 03 Проверьте файл при помощи сервиса Яндекс Анализ robots.txt, все технические страницы должны быть под запретом, обязательно должны быть прописаны директивы Host и Sitemap. 04 Загрузите составленный файл robots.txt в корневую директорию сайта и проверьте его доступность по адресу yoursite.ru/robots.txt.

Как правильно составить robots txt?

01 Директива User-agent: содержит название поискового робота, к которому будут применены описанные ниже нее ограничения. Если использовано несколько разных директив User-agent, то перед каждой рекомендуется вставлять пустой перевод строки. Примеры User-agent:  User-agent: YandexBot # для основного индексирующего робота Яндекс User-agent: Googlebot # для поискового робота компании Google User-agent: * #для всех роботов-индексаторов 02 Директивы Disallow и Allow: используются для запрета и разрешения доступа робота к конкретным разделам сайта. Примеры Disallow: Disallow: / # запрет на индексацию всего сайта
Disallow: /admin #для запрета индексации всех страниц на сайте, которые начинаются с "/admin"
Примеры использования Disallow и Allow: User-agent: YandexBot
Disallow: / # запрещает индексировать весь сайт
Allow: /katalog # но разрешено индексировать страницы, которые начинаются с "/katalog"
03 Спецсимволы * и $ — используются для задавания определенных регулярных выражений при указании путей директив Allow и Disallow: используются для запрета и разрешения доступа робота к конкретным разделам сайта. Примеры использования: User-agent: YandexBot
Disallow: /profile/*.aspx # запрещает "/profile/example.aspx" и "/profile/private/test.aspx"
Disallow: /*private # запрещает не только "/private", но и "/profile/private"
Disallow: /admin* # запрещает индексировать страницы начинающиеся с "/admin"
Disallow: /example$ # запрещает "/example", но не запрещает "/example.html"
04 Директива Sitemap - указывает местоположение xml карты сайта, которая содержит URL адреса всех допустимых к индексированию страниц сайта. используются для запрета и разрешения доступа робота к конкретным разделам сайта. Примеры использования: User-agent: YandexBot
Allow: Sitemap: http://site.com/sitemap.xml
05 Директива Host - указывает на главное зеркало сайта, которое и будет впоследствии участвовать в поиске. Если основным зеркалом является сайт, который доступен по защищенному протоколу HTTPS, это обязательно необходимо указать. Примеры использования: User-agent: YandexBot
Allow: /
Sitemap: http://www.site.com/sitemap.xml
Host: www.site.com
06 Директива Crawl-delay - используется для минимизации нагрузок на сервер, с ее помощью можно задать период времени в секундах, который должен быть между запросами роботами страниц сайта. Примеры использования: User-agent: YandexBot
Crawl-delay: 2 # задает таймаут в 2 секунды

Рекомендуем проанализировать в ручном режиме страницы Вашего сайта, которые попали в индекс поисковых систем, сделать это можно при помощи нашего инструмента по анализу сайтов, в разделе “индексация сайта”, это поможет максимально быстро и эффективно найти все технические страницы и закрыть их посредством файла robots.txt и директивы Disallow.

Наши инструменты для продвижения сайтов