Добро пожаловать на Trinixy.org

Чтобы воспользоваться всеми возможностями, вам нужно зарегистрироваться или войти.
  • Хочешь проходить курсы и зарабатывать на этом?

    Уникальное предложение для заработка организаторам!

    Вступай в совместное прохождение курсов, и получай их практически даром!

    Узнать подробнее
  • Открыт набор редакторов!

    получи безграничный доступ к нашим файлам, скриптам и инфокурсам БЕСПЛАТНО!!!

     

    Подробнее

Правильный robots.txt для Dle

Trinixy

Команда форума
Администратор
Регистрация
21.05.14
Сообщения
2.826
Реакции
1.419
Файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
Код:
User-agent: *
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

User-agent - у
казывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

Allow - противоположное Disallow

Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это Вы не можете видеть эту ссылку., где site.ru это ссылка на ваш сайт

Host - путь до вашего сайта без http и слешей
 

aleks1987

Проверенные
Регистрация
20.12.15
Сообщения
143
Реакции
49
Можно изменить немножко робот, чтобы весь шлак не индексировал.
User-agent: *
Allow: /uploads/posts/
Disallow: /rules.html
Disallow: /index.php*
Disallow: /index.php?*
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/
Disallow: */page/*
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Disallow: /engine/
Disallow: /js/
Disallow: /go.php
Host: SITE.ru
Sitemap: Вы не можете видеть эту ссылку.

У меня сделано вот так.
 

jilejus

Новорег
Регистрация
21.12.15
Сообщения
1
Реакции
0
Можно изменить немножко робот, чтобы весь шлак не индексировал.
User-agent: *
Allow: /uploads/posts/
Disallow: /rules.html
Disallow: /index.php*
Disallow: /index.php?*
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/
Disallow: */page/*
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Disallow: /engine/
Disallow: /js/
Disallow: /go.php
Host: SITE.ru
Sitemap: Вы не можете видеть эту ссылку.

У меня сделано вот так.
Согласен.
 

Cyber

Основатель
Команда форума
Администратор
Регистрация
25.05.14
Сообщения
9.848
Решения
17
Реакции
2.355

Grach

Проверенные
Регистрация
22.01.17
Сообщения
16
Реакции
1
Сильно замороченный, не стоит забывать что его надо прописывать под свой нужды, у каждого могут быть свой ст. и модули переадрисаций и так ...
 

rabbit-pgn

Проверенные
Регистрация
18.05.18
Сообщения
12
Реакции
5
Оратор выше прав. Будьте внимательны господа, когда юзаете.
 

Правообладателям

Все материалы размещенные на нашем ресурсе, принадлежат их авторам. Все материалы представлены здесь, только для ознакомления.

  • ДИСКЛЕЙМЕР
  • Яндекс.Метрика
  • О НАС

    На нашем форуме Вы можете скачать самые свежие и популярные скрипты, модули, стили, шаблоны, плагины, СЕО-скрипты, СЕО-софт, курсы по созданию и раскрутке сайтов, курсы по бизнесу, курсы, книги, тренинги и вебинары, по самым разным направлениям бесплатно!

    Сверху Снизу