Может ли поисковый робот нарушить инструкцию robots.txt?

Источник материала:  
04.08.2011 16:40 — Новости Hi-Tech
Может ли поисковый робот нарушить инструкцию robots.txt?Файл robots.txt - непреложное правило или инструкция, которой можно пренебречь? Как не стать жертвой беспечности веб-мастеров? Что делать, если я обнаружил в поисковике чужие личные данные? На эти и другие вопросы "Ленты.ру" ответил Владимир Иванов, заместитель руководителя департамента эксплуатации компании "Яндекс".
 
←"Яндекс" подсчитал русскоязычных пользователей твиттера

Лента Новостей ТОП-Новости Беларуси
Яндекс.Метрика