Парсинг
Процесс сбора данных или тематического контента в сети Интернет носит название парсинг. Осуществляется обычно автоматически, путем использования таких языков программирования, как Perl или PHP и специальных скриптов/программ, носящих название «парсер».
С их помощью информация, зашифрованная в виде кода, сначала отбирается, затем переводится в удобный для пользователя формат и загружается в базу данных, таблицу, файл требуемого расширения.
Разработку такого парсера часто поручают фрилансерам, если есть необходимость в получении программы для сбора и преобразования большого количества данных. Таким специалистам можно поручить и следующий этап работы – оформление полученных в процессе поиска результатов в виде базы данных или файла формата XML.
Главная цель парсинга – преобразование кодовой информации с веб-страницы в текстовый или другой вид, в котором она может восприниматься более удобно. Основное преимущество такого процесса – возможность за короткое время проанализировать контент с сотен сайтов или выбрать необходимую информацию с конкретного ресурса (блога, форума).
Этапы парсинга сайта
Работу любого парсера можно разделить на три фазы. На первом этапе осуществляется сбор контента, чаще всего – путем скачивания кода веб-страницы. Затем эти данные извлекаются из кодового формата и преобразуются в иной вид. Последняя стадия работы парсера – перевод полученных результатов в удобный для восприятия и доступный пользователю файл: например, формирование базы данных.