ПРИМЕРUser-agent: * Disallow: /news # запретить всем роботам индексировать ссылки, # которые начинаются с /newsUser-agent: StackRambler User-agent: Aport Disallow: /eng Disallow: /news #Рамблеру и Апорту запретить индексацию ссылок, #которые начинаются с /news и /eng User-agent: Yandex Disallow: #Яндексу разрешить все. МЕТА-тег ROBOTS
Создаем robots.txt Анонимайзер Генератор Sitemap - карты сайта для поисковых систем бесплатно
|