« » +7 (812) 964-14-30

 

Создание сайтов - Портфолио

Смотреть примеры работ по созданию сайта

Продвижение сайтов - Портфолио

Смотреть примеры работ по продвижению сайта

Чужие секреты: Владимир Иванов о политике "Яндекса" в отношении конфиденциальной информации

Чужие секреты: Владимир Иванов о политике "Яндекса" в отношении конфиденциальной информации

Файл robots.txt - непреложное правило или инструкция, которой можно пренебречь? Как не стать жертвой беспечности вебмастеров? Что делать, если я обнаружил в поисковике чужие личные данные? На эти и другие вопросы ответил Владимир Иванов, заместитель руководителя департамента эксплуатации компании "Яндекс".

Вопрс: Каким образом веб-страницы попадают в "Яндекс"? Что используется, кроме поискового робота, пришедшего по ссылкам?

Владимир Иванов: В "Яндексе" используются, на данный момент, 16 модификаций поискового робота, которые решают различные задачи. Полный список модификаций и краткое описание их функционала можно посмотреть на странице помощи: http://help.yandex.ru/webmaster/?id=995329.

С учетом этих модификаций, поисковый робот является единственным способом попадания страниц в поисковый индекс.

Инструкции в файле robots.txt носят рекомендательный характер. Может ли робот нарушить эту инструкцию либо положить в индекс страницу, запрещенную robots.txt, но не выводить ее для пользователей?

Если страница запрещена к индексированию директивами файла robots.txt, поисковые роботы "Яндекса" не будут ее индексировать. Разумеется, я не могу прокомментировать принципы функционирования роботов других поисковых систем и тем более - скриптов, написанных многими людьми по всему миру, которые могут использоваться, например, для создания "зеркал" сайтов.

Подозреваю, что некоторые из них могут не использовать robots.txt.

Есть ли крупные поисковики, которые не соблюдают рекомендаций robots.txt?

Насколько мне известно, крупные поисковые системы, осуществляя индексирование, следуют директивам файла robots.txt. Но я, конечно, не могу за них поручиться.

Предположим, что на сайте интернет-магазина N есть файл robots.txt, в котором прописан запрет на индексацию веб-страниц с конфиденциальными данными. Гарантирует ли это на сто процентов, что личная информация покупателей не попадет в поисковую выдачу?

В отношении индекса "Яндекса" - да. Поскольку поисковый робот "Яндекса" правильно обрабатывает директивы файла robots.txt, а иных механизмов индексирования не предусмотрено, такие страницы не будут проиндексированы и не попадут в результаты поиска.

Вместе с тем, нужно понимать, что использование директив в файле robots.txt является лишь указанием поисковым роботам о правилах индексирования сайта, но никак не защищает конфиденциальную информацию на сайте от других утечек. Для защиты необходимо использовать средства аутентификации и авторизации, которые обеспечивают предоставление такой информации только тем пользователям, которым она предназначена. Например, доступ к страницам с помощью логина и пароля на основе аутентификации HTTP или использования аутентификационных "кук", https с аутентификацией по сертификатам и др. Мы не рекомендуем использовать ограничения на основе IP-адреса пользователя, поскольку, как правило, такие механизмы не работают в случае, когда провайдеры организуют проксирование или трансляцию адресов.

В сервисах "Яндекса" появилась возможность запретить индексацию. Если сайт ранее индексировался, в течение какого времени он пропадет из индекса?

Если индексация сайта или части его страниц была запрещена, он пропадет из индекса вскоре после его планового обхода поисковым роботом "Яндекса". Этот процесс можно ускорить, используя специальную страницу сервиса "Яндекс.Вебмастер": http://webmaster.yandex.ru/delurl.xml.

Сейчас для большинства страниц время удаления из индекса составляет несколько часов с момента удаления URL через эту форму.

Какова политика "Яндекса" в отношении защиты прав пользователей? Если стало известно об утечке личных данных, станет ли "Яндекс" самостоятельно удалять эти данные из выдачи?

"Яндекс" не удаляет страницы сайта из результатов поиска до тех пор, пока сайт не предпримет меры для того, чтобы их содержимое не было доступно поисковой системе. Такими мерами может быть запрет индексации в файле robots.txt или с помощью метатега "noindex", а также ограничение доступа к содержимому страниц с помощью пароля.

Мы активно взаимодействуем с сообществом вебмастеров и занимаемся просветительской работой по поводу необходимости защиты данных пользователей. Но, повторюсь, являясь "зеркалом интернета", мы самостоятельно не удаляем проиндексированные страницы, пока они доступны на самом сайте.

Будут ли введены автоматические "распознавалки" конфиденциальной информации? Если да, то как они будут работать?

Пока мы только изучаем эту возможность, так что еще рано говорить о конкретных способах проверки.

Есть ли у пользователей возможность заранее проверить, насколько "бережно" тот или иной интернет-сервис распоряжается личными данными?

Можно воспользоваться языком поисковых запросов "Яндекса" (http://help.yandex.ru/search/?id=481939) и выяснить, какие страницы с этого сайта известны поисковой системе. Конечно, отсутствие личных данных в индексе не гарантирует безупречную работу сервиса, но зато их присутствие точно говорит об ошибках в защите информации пользователей.

Сейчас рунетчики проверяют на "вшивость" практически все веб-сайты подряд. Если пользователь самостоятельно обнаружил утечку, какие действия вы посоветуете ему предпринять?

Наиболее правильный шаг - связаться с владельцами сайта и уведомить их о наличии проблемы. Нам известно несколько случаев попадания личной информации в поисковую систему, которые не стали публичными, потому что владельцы сайтов своевременно отреагировали на замечания и исправили ситуацию, ограничив этим возможный ущерб для своих пользователей.

Также пользователь может использовать форму обратной связи "Яндекса" (http://feedback.yandex.ru), и тогда мы попытаемся самостоятельно связаться с вебмастерами проблемных сайтов. Но обращаться к сайтам напрямую - более эффективный способ.

добавить на Яндекс

Последние публикации

Не доводя до суда Не доводя до суда

Генеральные директора "Google Россия", Mail.Ru, "Вконтакте", "Яндекса", а также объединенной компании "Афиши" и Rambler 14 октября опубликовали открытое обращение к правообладателям и законодателям. Первых просили о компромиссе, а вторых - о снятии с площадок ответственности за пользовательский контент.


Google ввел TV Google ввел TV

20 мая в Сан-Франциско завершилась очередная конференция для разработчиков Google I/O. В этом году она прошла с лейтмотивом возможностей видео. Главной новостью стало объявление о выходе платформы Google TV, которая позволит соединить возможности интернет-видео и обычного телевизора.


Яндекс.Забугорье (Крупнейший поисковик Рунета обыскал зарубежные сайты) Яндекс.Забугорье (Крупнейший поисковик Рунета обыскал зарубежные сайты)

19 мая "Яндекс" запустил поиск по мировому интернету. Предложение увидеть исключительно англоязычные или смешанные результаты показывается теперь каждый раз при вводе латинского запроса. Кроме того, исключительно по-английски будет говорить запущенный в тестовом режиме yandex.com.


Причины выпадения из индекса при продвижении сайта

Продвижение сайта окупается, только если попавший в топ ресурс стабильно держит свои позиции. Однако зачастую бывает так, что стремительный «взлет» ресурса сменяется не менее стремительным его падением в списке выдачи – либо полным выпадением из индекса.


Эффективная перелинковка страниц для предотвращения дублирования контента

Самое интересное в идее дублирования контента, что вам совершенно не нужно его иметь, чтобы казалось, что он у вас есть. Но независимо от того есть у вас на сайте дублирующийся контент или нету, для поисковой системы главное, как это выглядит со стороны. Поисковые системы не более чем запрограммированные роботы, неспособные к рациональному мышлению. Они видят только то, что есть или выглядит таковым и затем делают то, на что запрограммированы создателем.


No such file or directoryNo such file or directory
Rambler's Top100 Сделано в студии веб-дизайна СириусВеб