Грабберы паролей

HackWare.ru

Этичный хакинг и тестирование на проникновение, информационная безопасность

Извлечение всех паролей (веб-браузеры, почтовые программы и пр.) в Windows и Linux

Сегодня хочу поделиться информацией о программе, работа которой меня поразила и заставила задуматься: как же много может обо мне (и большинстве из нас) узнать злоумышленник, получив доступ к моему (или вашему) компьютеру буквально на несколько минут.

Даже если вы не собираетесь собирать пароли на чужих компьютерах, такие программы как LaZagne – это очень хороший способ задуматься, как уязвима наша конфиденциальность, когда наши компьютеры не под нашим контролем: в аэропортах, когда они сдаются в багаж, в ремонтных мастерских, после продажи и т.п.

А если вы собираетесь взламывать чужие пароли, то обращу внимание, что LaZagne – это утилита командной строки, и можно придумать разные интересные варианты её скрытого использования на удалённых для вас машинах для извлечения паролей цели…

Программы для восстановления паролей

Думаю, вы уже поняли, что я буду говорить о LaZagne.

В качестве хороших альтернатив, можно вспомнить программы от NirSoft: WebBrowserPassView, Mail PassView, MessenPass и другие. У программ вполне говорящие названия (первая извлекает пароли из веб-браузеров, вторая – из почтовых клиентов, треть – из клиентов для обмена мгновенными сообщениями).

Это абсолютно бесплатные программы, без рекламы и мусора, у многих из них есть интерфейс командной строки, они очень нетребовательны к ресурсам. Но они работают только под Windows и у них закрыт исходный код. Если у программы закрыт исходный код, то это оставляет простор для мысли: она просто извлекает пароли, или она извлекает пароли И передаёт их кому надо…

У LaZagne открытый исходный код, программа написана на Python 2, т.е. если вы знаете, как настроить среду выполнения Python и установите необходимые зависимости, то сможете запускать прямо исходные скрипты (как это делается на Linux). Для тех, кто это не умеет / не хочет разбираться, собраны исполнимые файлы, которые также содержат все необходимые зависимости.

Кстати про Linux. Версия для этой ОС отличается от версии под Windows тем, что поддерживает меньшее количество программ, для которых умеет восстанавливать пароли.

Кстати: кто знает другие подобные функциональные программы с открытым исходным кодом – пишите о них в комментариях, будет интересно их посмотреть.

Инструкция по использованию LaZagne в Windows

Программа весьма проста в использовании. Если вы хотите воспользоваться готовым исполнимым файлом, то перейдите на страницу релизов: https://github.com/AlessandroZ/LaZagne/releases и выберите последнюю версию для Windows (файл Windows.zip).

Разархивируйте скаченный файл. Откройте командную строку в Windows (Win+x) и выберите там «Командная строка» или «Командная строка (администратор)». По идее, как это описано в официальной документации, при запуске программы от администратора, она должна находить пароли для всех пользователей, плюс пароль для Wi-Fi. У меня напротив, в командной строке от имени администратора программа совсем не работает (ничего не находит). Возможно, нужно запускать другим образом, например:

Но у меня это также не получилось (поскольку учётная запись у меня без пароля, а для такого запуска она должна быть с паролем). Я не стал с этим особо разбираться, а просто запустил в командной строке от обычного пользователя. Давайте сразу перейдём к тому месту, где у меня заработало)))

В открывшееся окно командной строки можно перетащить исполнимый файл (чтобы не набирать его расположение руками). Через пробел допишите all, чтобы получилось примерно так:

Вот мой результат:

Чтобы сохранить данные в файл добавьте опцию -oN:

Файл сохраняется не относительно расположения запущенной программы, а относительно текущей рабочей директории (ту, которую видно в приглашении командной строки). Например, в моём случае это C:UsersAlex, значит файл с найденными паролями сохранён в C:UsersAlexresults

Ещё можно использовать опцию -oJ для сохранения в формате Json или опцию -oA – для сохранения сразу в двух форматах. Кстати, у меня, в Json сохраняет нормально, а при выборе сохранения в виде обычного текста, сохраняются всего несколько паролей.

Если у вас тоже с этим проблемы, то можно воспользоваться банальным перенаправлением вывода:

Если хотите искать пароли только для браузеров:

Можно даже запустить поиск только для определённых браузеров, например, для Firefox’а:

Полный список доступных опций и поддерживаемое ПО смотрите в справке по программе.

Заключение

Программа LaZagne очень проста в использовании и весьма хорошо справляется с задачей по поиску паролей в компьютере. Программа продолжает активно развиваться и регулярно добавляются новые скрипты, которые позволяют искать и восстанавливать пароли для ещё большего количества программ.

Вы можете в некоторой степени обезопасить себя от этой программы, если, например, будете использовать мастер пароль для браузеров (которые это поддерживают).

О таких программах всегда следует помнить, если пользуетесь компьютерами общего пользования (например, в Интернет-кафе) или ваш компьютер хотя бы на некоторое время выпадает из вашего владения (при сдаче в багаж, сдаче в ремонт, продаже).

При продаже не стоит надеяться на простое удаление или форматирование жёсткого диска. Криминалистические инструменты (вроде Autopsy), способны восстанавливать данные. Кстати, Autopsy в дополнение к паролям, сможет показать историю, кукиз веб-браузеров, посещённые сайты, информацию о времени пользования компьютера (формируемую по многим фактором) и ещё об очень многом.

Связанные статьи:

  • Как узнать, к каким Wi-Fi сетям подключался компьютер и пароли от этих Wi-Fi сетей (100%)
  • Утилиты NirSoft для извлечения информации из Windows (96.4%)
  • Как узнать введённые на сайты пароли (76.7%)
  • Выявление атаки человек-посередине (Man in the middle, MitM-атак) (48.9%)
  • Программы для восстановления данных (48.9%)
  • Сервис 3WiFi: пароли от точек доступа Wi-Fi (RANDOM – 3.7%)

Рекомендуется Вам:

18 комментариев to Извлечение всех паролей (веб-браузеры, почтовые программы и пр.) в Windows и Linux

Выдаёт ошибку “Traceback (most recent call last):
File “laZagne.py”, line 17, in
File “C:UsersjoeDesktoppyinstaller-developPyInstallerloaderpyimod03_imp
orters.py”, line 389, in load_module
File “site-packagespsutil__init__.py”, line 124, in
File “C:UsersjoeDesktoppyinstaller-developPyInstallerloaderpyimod03_imp
orters.py”, line 389, in load_module
File “site-packagespsutil_pswindows.py”, line 15, in
File “C:UsersjoeDesktoppyinstaller-developPyInstallerloaderpyimod03_imp
orters.py”, line 546, in load_module
ImportError: DLL load failed: ═х эрщфхэр єърчрээр яЁюЎхфєЁр.
Failed to execute script laZagne”

Если я правильно понимаю, вы запускаете скрипт, а не бинарник? Скрипт написан на Python 2. Все его зависимости:

Могу ещё только добавить, что на Linux у меня скрипт заработал на Kali Linux и BlackArch.

Запускал бинарник в windows! Пришлось установить питон но эффект тот же((((

Алексей,по поводу других подобных программ: https://github.com/pourquoibenoit/WinPirate.git  – на мой взгяд интересный проект который в переспективе должен стать неким подобием rubber duck. Что касается паролей : https://github.com/putterpanda/mimikittenz.git – утилита достаточно бодро достаёт пароли,ключи шифрования и т.п из целевых процессов,а также поддерживает кастомизацию.

Кстати, идея запускать .py файл LaZagne на Windows мне нравится. Наверняка же кто-то из разбирающихся в Python прочитает. Думаю, не только от меня, будет огромная благодарность тому, кто распишет как установить зависимости и правильно запустить. Инструкция для тех, кто совсем не работал с Python на Windows. Т.е. начиная с того, что мы скачиваем Python.

Страничка проекта на гитхабе: https://github.com/AlessandroZ/LaZagne (там же перечислены зависимости).

На Kali Linux всё получилось «как 2 пальца…»:

А так в BlackArch:

На компе жертвы ещё и Питон ставить? нужен автономный экзешник!

Грабберы паролей

Краткое описание:
in Grabber позволяет скачивать и сохранять фото и видео из постов, историй, igtv, моментов (highlights) и доступных эфиров (прямых эфиров) прямо из Инстаграма.

Описание:
Если Вы думали как сохранить сторис с инстаграма, то это приложение для вас!

Основные функции:
* Сохраняет фото и видео.
* Сохраняет IGTV из страницы пользователя
* Просмотр прямых трансляций.
* Поиск пользователей.
* Неограниченное количество учетных записей.
* Репост фото и видео с текстом на Instagram или другие приложения
* Список загруженных фотографий и видео.
* Просмотр видео с перемоткой.
* 100% безопасный вход в систему, приложение использует шифрование учетных записей и сохраняет их ТОЛЬКО на устройстве.

Примечание:
* in Grabber никоим образом не связан с Instagram.
* Пожалуйста, обратитесь за разрешением к владельцу контента перед репостом любого скачанного контента.

Требуется Android: 5.0 и выше
Русский интерфейс: Да

Сообщение отредактировал iMiKED – 29.09.19, 09:09

Приложение прекрасно “покупается” с помощью ® LuckyPatcher by ChelpuS (LP)

Процесс “покупки” приложения:

  1. Устанавливаем приложение из Маркета или через APK-файл и НЕ запускаем приложение
  2. Запускаем LP
  3. В списке установленных приложений в LP находим in Grabber и тапаем по нему
  4. В пункте Меню патчей выбираем Патч поддержки для InApp и LVL эмуляции
  5. Ждём пока патч отработает (продолжительность ожидания зависит от мощности вашего смартфона
  6. Запускаем in Grabber и тапаем на иконке подарка справа вверху
  7. Тапаем на кнопке покупки и, если в появившемся окне LP совершаем покупку
  8. Перезапускаем in Grabber и используем его без рекламы с полным функционалом

Способ работает начиная с версии LP 7.5.9+ при наличии у вас root-прав соответственно!

UPD: способ НЕ работает на версии v1.5.13-28 и LP v7.6.0

Сообщение отредактировал DimiONs – 30.04.19, 22:05

  • Исправлены ошибки
  • Возможность входа с 2-х факторной аутентефикацией
  • Отправка действительного устройства на email после логина
  • Возможность скачать IGTV
  • Поиск во вкладках “Истории” и “Загрузки”
  • Отображение фото/видео в галерее устройства
  • Исправлены highlight
  • Опция вкл/выкл звука
  • Исправлены ошибки
  • Возможность входа с 2-х факторной аутентефикацией
  • Отправка действительного устройства на email после логина
  • Возможность скачать IGTV
  • Поиск во вкладках “Истории” и “Загрузки”
  • Отображение фото/видео в галерее устройства
  • Исправлены highlight
  • Опция вкл/выкл звука

К сожалению, важная информация находится не в первом посте, а ниже, и я вовремя не увидел. Вопрос, как теперь вычистить систему? Удаляю и снова ставлю инграббер, но пропатчить не получается. Лаки патчер говорит, удалрсь на 28%, программа не позволяет сеябя запустить.

А с чего бы это приложение требует удалить Лаки патчер?! И потом выдаёт такую хрень?!

Build version: 1.5.11-26
Build date: 1979-11-30 00:00:00
Current date: 2019-01-27 02:28:42
Device: Conquest-S6

Stack trace:
java.lang.IllegalArgumentException
at android.os.Parcel.readException(Parcel.java:1550)
at android.os.Parcel.readException(Parcel.java:1499)
at android.app.ActivityManagerProxy.isTopOfTask(ActivityManagerNative.java:4654)
at android.app.Activity.isTopOfTask(Activity.java:5506)
at android.app.Activity.startActivityForResult(Activity.java:3844)
at android.support.v4.app.g.startActivityForResult(BaseFragmentActivityApi16.java:54)
at android.support.v4.app.j.startActivityForResult(FragmentActivity.java:68)
at android.app.Activity.startActivity(Activity.java:4087)
at android.support.v4.a.a.a(ContextCompat.java:143)
at com.prilaga.instagrabber.view.activity.MainActivity.u(MainActivity.kt:444)
at com.prilaga.instagrabber.view.activity.MainActivity$d.a(MainActivity.kt:311)
at com.prilaga.instagrabber.view.activity.MainActivity$d.accept(MainActivity.kt:65)
at c.b.e.d.g.a(ConsumerSingleObserver.java:63)
at c.b.e.e.e.h$a.run(SingleObserveOn.java:81)
at c.b.a.b.b$b.run(HandlerScheduler.java:109)
at android.os.Handler.handleCallback(Handler.java:815)
at android.os.Handler.dispatchMessage(Handler.java:104)
at android.os.Looper.loop(Looper.java:194)
at android.app.ActivityThread.main(ActivityThread.java:5622)
at java.lang.reflect.Method.invoke(Native Method)
at java.lang.reflect.Method.invoke(Method.java:372)
at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:959)
at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:754)

Сообщение отредактировал vasilylogin – 27.01.19, 03:23

ИнсталлАвто › Блог › Что такое код-грабберы и принципы их работы

Код-граббер ручной работы, изготовленный для серии систем в интервалах FM.
На сегодняшний день код-грабберы производятся в стандартных корпусах брелков. До недавнего времени, в сигнализациях Scher-Khan устанавливалась частотная модуляция сигнала (FM), а во всех остальных — амплитудная (AM), то есть, в их основе лежал разный принцип преобразования цифрового сигнала для передачи на частоте 433,92 МГц. Следовательно, изготавливать их в стандартных корпусах автосигнализаций не представлялось возможным. Теперь же, производство вышло на новый уровень: на одной антенне могут работать и FM, и АМ радиоканалы, посредством их переключения. Алгоритм шифрования кодировки разработали таким способом, что код-граббер видит его на обоих каналах.

Код-граббер с ретрансляцией.
Что же такое ретрансляция? — Это приём сигналов на промежуточном пункте, а так же усиление и передача в прежнем или ином направлении. Она предназначена для того, чтобы увеличить дальность связи.
Данное устройство применимо для тех систем автосигнализаций и иммобилайзеров, которые оснащены сложными системами кодирования, например, диалоговым кодом, в ситуации с которым происходит передача сигнала между двумя предметами на большом расстоянии через дополнительное электронное приспособление.
Хотим заметить, что более защищенными являются те устройства, у которых отсутствует пассивный принцип работы радиоключа (метки, брелка). Данным образом радиосигнал посылается только лишь при необходимости владельца охранной системы и только лишь тогда, когда система оснащена брелком с кнопками управления постановки и снятия с охраны. (Внимание! Взлому по код-грабберу могут подвергаться только те сигнализации с диалоговым кодом, которые работают в режиме «Свободные руки на снятие с охраны»). Затрагивая тему иммобилайзеров, хотим сделать акцент на том, что система, которая обладает диалоговой кодировкой, не должна работать в «фоновом» режиме, т.е. чтобы сигнал передавался только при необходимости. К сожалению, многие производители не считают нужным обращать на это внимание, однако, пункт о наличии подобной функции следует отметить.

Код-граббер 409 модели
Принцип действия
Анализируем только те системы, где есть динамический код, потому что при нём каждая последующая посылка имеет различие с предыдущей, не смотря на то, что нажатие может происходить только одной и той же кнопкой (если же мы рассматриваем статический код, то там, при нажатии на одну и ту же кнопку, посылки одинаковы.) Посылка, которую отправляет брелок сигнализации делится на две части: открытая и зашифрованная. В открытой части находится информация об уникальном номере брелка и о том, какая кнопка была нажата, а в шифрованной части – номер того самого нажатия. «Активность» кода обеспечивает то, что при каждом нажатии на любую кнопку номер нажатия увеличивается. После принятия сигнализацей посылки, идёт проверка номера посредством расшифрования второй части. Далее, идёт рассмотрение того, какой номер – больше или меньше последнего. В том случае, если меньше, то он игнорируется, т.к. система воспринимает это уже как отработанный сигнал, если больше — значит, команда дальше идёт на обработку. Под словом «команда» имеется ввиду информация о том, что кнопка была нажата. Сам брелок о том, какие функции имеет сигнализация не знает, он лишь отсылает сигнал какая кнопка была нажата. О функциях знает только сама сигнализация, которая распознаёт сигналы. Исходя из этого, один и тот же брелок можно использовать при одно- или двухкнопочной системе постановки и снятия с охраны.
Беря во внимание модель 409, хотим сказать, что она перехватывает посылку, которую выдаёт брелок и искажает её таким образом, что сигнализация её больше не может принять, при этом сам код-граббер всю информацию сохраняет у себя. Дальнейший шаг – код-граббер перехватывает уже следующую посылку и взамен ей посылает сохраненную первую. Подмена информации длится долю секунды, соответственно, владелец автомобиля никак её не заметит. Таким образом, сигнализация снимается с охраны после того, как владелец поставил в неё и удалился от автомобиля.

Код-граббер 502 модели
Человеческий фактор
Перед тем, как создать это устройство, было проведено множество исследований по изучению поведения пользователей. Результаты были очень плачевными: люди, участвующие в исследовании, верили в то, что угонят автомобиль кого угодно, только не их. Так же, они демонстрировали абсолютную несерьёзность, не обладания какими-либо знаниями о принципе работе брелка.
Главный вопрос был таков: каково будет поведение подопытного, стоящего перед запертым автомобилем, в том случае, если его брелок подавлен помехой. (Особенность 502 код-граббера в том, что он умеет ставить помехи различных типов). Помеха была следующей: уровень высоты – четвертый этаж, имеется антенна и петлевой вибратор, которые были размещены на подоконнике.
Результаты показали, что в девяносто процентов случаев из ста поведение подопытных было следующим: не понимая что делать, они начинают метаться от двери к двери, тыча брелком в замочную скважину, потому что на подсознательном уровне идёт понимание того, что чтобы открыть дверь – надо «что-то» поднести к замочной скважине. Через несколько минут они начинают пытаться разобрать брелок, пытаясь понять в чём же причина. И тут наступает момент для переключения режимов работы 502 код-граббера из “Накопления” в “Выдачу”. Успокоившись, что брелок снова заработал, клиент садится в автомобиль и уезжает.
Технические стороны 502 код-граббера
Одна из особенностей 502 код-граббера состоит в том, что номер нажатой кнопки передается и в закрытой, и в открытой части кода, что позволяет автоматически делать сортировку записанных посылок по их принадлежности к конкретным кнопкам в реальном времени. В течении 30 милисекунд ставится помеха, проводится запись, опознавание и тут же высылается обратно.
Так же, в нём реализовано более развитое программное обеспечение, которое позволяет обрабатывать многокнопочные брелоки с раздельной постановкой – снятием на охрану. Объём памяти тоже увеличен, а, благодаря этому, устройство может запоминать неограниченное количество посылок. Добавлены несколько новых режимов:
1. «Накопление». (запись посылок с постановкой помехи, без выдачи ранее записанных посылок)
2. “Выдача” (запись посылок при помехе, с автоматической выдачей через 30 милисекунд одной из ранее записанных посылок, с, тем же самым номером кнопки).
3. “Эхо” (запись посылки при помехе и выдача через 30 милисекунд, если по открытой части кода устанавливается, что это “чужой” брелок. Обычно используется совместно с другими режимами.)

Алгоритм работы 502 код-граббера
1. Включаем режим “Накопление”. В это время “клиент” старательно, но безуспешно пытается нажимать на кнопки брелка, а на дисплее устройства отображается информация со статистикой накопленных посылок.
2. Как только было накоплено достаточно посылок, включаем режим “Выдача”. Клиент понимает, что брелок исправен и садится в автомобиль.
3. Отправляясь следом, везем весь запас накопленных посылок, которые в режиме “Выдача” позволят с задержкой всего лишь 30 милисекунд на посылку клиента “закрыть”, выдать накопленную ранее посылку “закрыть”. А после, при необходимости, “открыть”, но уже без помощи брелка клиента.

Устройство с несколькими функциями (Кодграббер, Анализатор, Помеха)
В этом устройстве совмещены несколько функций:
1. Кодграббер мануфактурный (нужен для того, чтобы взломать автосигнализацию)
2. Детектор поля (нужен для того, чтобы обнаружить передатчики спутниковых устройств или GSM пейджеров)
3. Глушилка (нужен для того, чтобы подавлять трансляцию GSM, GPRS сигнала)
Как видно на картинке, устройство идёт под видом телефона, а, следовательно, работает, используя батарею телефона, заряжается от родного заряжающего устройства и выключается посредством нажатия кнопки на телефоне.

Парсер(граббер): что это такое, как работает, преимущества, недостатки

Граббер контента сайтов – это специальная программа, которую вебмастера используют для сбора информации с другого ресурса и ее копирования на свой сайт.

Однако помимо грабберов, есть еще и парсеры, выполняющие аналогичные функции. Сегодня эти понятия используются как синонимы, но между ними есть некоторые отличия. Последние имеют более современные фильтры с изобилием параметров копирования, а также вставки данных, и синонимайзеры, способные в некоторой степени повысить уникальность текста. Поэтому, в отличие от грабберов, парсеры лучше расшифровывают сложный код и обрабатывают его в зависимости от поставленных целей.

Зачем нужен парсер (граббер)?

Специализированные скрипты применяют с целью копирования огромного количества информации с одного веб-сайта на другой. Парсер (граббер) материалов сайта работает как со всем контентом, так и с отдельными его фрагментами:

  • текстами;
  • музыкой;
  • графическими изображениями;
  • видеороликами и пр.

Причем процедура копирования не требует огромных временных и физических затрат, а человеческие ресурсы при этом не задействуются.

Зачастую эти программы используют владельцы новостных порталов и интернет-магазинов, чтобы за короткий промежуток времени с нуля создать наполненный контентом ресурс, и не уступать своим конкурентам. А для упрощения задачи созданы специальные фильтры, сортирующие данные.

Грабберы можно настроить таким образом, чтобы они копировали только определенную информацию – исключительно картинки/видео/текст и т.д.

Подобные программы применяют многие вебмастера, чтобы:

  1. Сохранять актуальность информации. Особенно парсеры и грабберы нужны для ресурсов, созданных в сфере, где информацию требуется постоянно обновлять, потому что спустя несколько дней или даже минут она может потерять свою значимость. Примером могут послужить сайты о прогнозе погоды, курсе валют, мировых новостях и т.п. Разумеется, редактировать и обновлять подобный проект самостоятельно очень трудно. Поэтому пишутся специальные парсеры, которые тянут эту информацию с других ресурсов.
  2. Автоматически обновлять страницы. Когда на сайт редко добавляется новый контент, пользователи постепенно теряют к нему интерес. Но что делать, когда по каким-либо причинам у вас нет времени добавлять свежие статьи, новости, видео и прочую информацию? Что, если вам пришлось уехать куда-нибудь на несколько месяцев, и нет возможности заниматься проектом? Чтобы ресурс не стал «мертвым», добавлять свежую информацию без вмешательства в процесс помогут именно парсеры и грабберы.

Но стоит учесть, что неуникальный контент взятый с другого сайта плохо ранжируется поисковыми система и на подобный сайт могут быть наложены санкции или подан иск правообладателями.

Принцип работы граббера

Чтобы разобраться с тем, как конкретно функционирует программа, приведем пример из жизни. Допустим, вы открыли предприятие для изготовления чипсов собственной фирмы. Вам привезли несколько грузовиков картофеля. Чтобы их разгрузить вручную, нужно задействовать большое количество людей. Но можно использовать автоматизированное оборудование, при этом процедура разгрузки картошки пройдет куда быстрее, и сил будет затрачено гораздо меньше.

По такой же схеме работает и граббер данных веб-ресурсов. Он фильтрует материалы, которые находятся на определенном сайте, а затем копирует их на ваше устройство или непосредственно на сайт.

Парсеры могут быть:

  1. В виде программы на вашем компьютере, например если вам надо спарсить у выбранного сайта весь контент и сохранить у себя на компьютере.
  2. Вшиты в сайт. Например если вам надо обновлять на вашем сайте курсы валют, то пишется специальный скрипт, который с другого сайта берет эти данные и в реальном времени обновляет их на вашем сайте без вашего участия.

Преимущества и недостатки программы

Нет идеальных автоматизированных скриптов, созданных для облегчения работы людей, и парсеры с грабберами – не исключение. Приведем их основные плюсы и минусы.

Преимущества

  1. Автоматически отыскивает соответствующую тематике сайта информацию.
  2. Регулярно наполняет ресурс новыми и актуальными материалами.
  3. Наилучший метод оперативного копирования всего контента и ссылок, размещенных на определенном веб-ресурсе.

Недостатки

  1. Скопированный текст зачастую имеет ошибки, из-за чего приходится редактировать его вручную, чтобы он стал читабельным.
  2. Скопированная информация неуникальная, из-за чего сайт может получить санкции от поисковых систем, утратив высокие позиции в результатах выдачи.

Заключение

Парсеры и грабберы существенно облегчают работу владельцев веб-ресурсов и помогают быстро наполнить новые проекты соответствующими материалами, чтобы привлечь целевую аудиторию. Однако копирование информации не безошибочно, и если вам не все равно на качество контента, и вы не хотите конфликтовать с поисковиками, то придется редактировать его вручную или доверять эту процедуру рерайтерам, чтобы повысить уникальность и читабельность статей.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Грабберы паролей

Грабберы контента с других сайтов

Грабберы контента – это специальные скрипты или программы, которые получают некоторую информацию напрямую из текста html-страниц других сайтов, чаще всего без их ведома или разрешения. Название произошло от транскрипции английского глагола “to grab” – “захватывать”, “использовать”, хотя и русский вариант корня “грабить” тоже иногда подходит. Вообще, тырить чужой контент и использовать его на своих сайтах нехорошо. Но в некоторых случаях считаю это допустимым, например, когда для мобильных устройств требуется получить облегченные версии страниц сайтов, которые не имеют такой штатной функции. Или же надо удалить со страницы всякую рекламу, а то некоторые ублюдочные сайты умудряются заталкивать баннеры даже в RSS-ленты. Или, например, если требуется получать информацию с сайтов, у которых нет собственных API для выгрузки контента.

Самый простой способ получить текст нужной html-страницы сайта – при помощи функции PHP file_get_contents. Текст загруженной страницы разбирается регулярными выражениями. Вот пример граббера для Цитатника Рунета. После извлечения цитат с главной страницы можно вывести их все списком, как сделано в этом примере, или показать случайным образом одну из них.

  1. //———————————————————–
  2. // Граббер цитат с Цитатника Рунета bash.org.ru
  3. // Загружает и парсит главную страницу, цитаты помещает в массив
  4. //———————————————————–
  5. // Получить html-страницу
  6. $grab =@ file_get_contents ( “http://bash.org.ru” );
  7. if ( $grab ) <
  8. // Заменить теги переноса строки на простые переносы строки
  9. $grab = str_replace ( “
    ” , “n” , $grab );
  10. // Получить регулярным выражением тексты цитат
  11. preg_match_all ( “/

Регулярные выражения для извлечения данных придется писать самостоятельно, для каждого сайта свои. Отлаживать регулярные выражения можно как в онлайне здесь или здесь, так и с использованием стационарных программ. Для браузера Firefox есть хорошее расширение Regular Expressions Tester.

Еще один простой граббер курса доллара с Яндекса. Там хранятся данные о курсе аж с 1998 года и по сегодняшнюю дату включительно. Но в этом случае список упорядочен в CSV-файле. Такой список удобнее всего загрузить функцией file и обработать полученный массив.

  1. //———————————————————–
  2. // Граббер курса доллара с Яндекса
  3. // Загружает в массив курс доллара за период с 01.01.1998 по
  4. // сегодняшнее число
  5. //———————————————————–
  6. // Получить csv-файл и занести его в массив
  7. $grab =@ file ( “http://www.yandex.ru/s/1.csv” );
  8. if ( count ( $grab )) <
  9. for ( $i = 0 ; $i count ( $grab ); $i ++) <
  10. // Разобрать строку массива на дату и курс
  11. list( $v_date , $v_kurs )= explode ( “;” , $grab [ $i ]);
  12. echo “Дата: ” . $v_date . ” – Курс: ” . $v_kurs ;
  13. echo ‘ ‘ ;
  14. >
  15. >
  16. else <
  17. echo “Connection Error” ;
  18. >
  19. ?>
  1. //———————————————————–
  2. // Граббер ссылок с премиум-аккаунта RapidShare.com
  3. // Загружает в массив список файлов, хранящихся на аккаунте
  4. //———————————————————–
  5. // Логин и пароль от вашего премиум-аккаунта
  6. $login = “тут_ваш_логин” ;
  7. $password = “тут_ваш_пароль” ;
  8. // Установить URL для загрузки
  9. $url = “https://ssl.rap > ;
  10. // Установить Cookies для авторизации
  11. $cookie = “user=” . $login . “-” . urlencode ( $password );
  12. // Инициализация CURL
  13. $ch = curl_init ();
  14. // Установка URL и всех необходимых значений
  15. curl_setopt ( $ch , CURLOPT_URL , $url );
  16. curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , true );
  17. curl_setopt ( $ch , CURLOPT_HEADER , 0 );
  18. curl_setopt ( $ch , CURLOPT_COOKIE , $cookie );
  19. curl_setopt ( $ch , CURLOPT_SSL_VERIFYPEER , 0 );
  20. // Выполнить запрос и получить результат
  21. $output = curl_exec ( $ch );
  22. $info = curl_getinfo ( $ch );
  23. if ( $output !== false ) <
  24. // В массиве $links список ссылок
  25. $links = explode ( “n” , $output );
  26. >
  27. else <
  28. echo “Connection Error: ” . curl_error ( $ch );
  29. >
  30. ?>

В некоторых случаях придется обрабатывать несколько страниц, например, сперва выполняется эмуляция ввода логина и пароля, получение идентификатора сессии, а только потом загружается нужная страница с указанием этого идентификатора в заголовках запроса. Все необходимые функции и параметры библиотеки CURL подробно описаны в официальной документации.

Как защититься от автоматического извлечения контента? Если используются только функция file_get_contents или file, то достаточно проверять поле USER_AGENT и блокировать доступ на сайт, если это поле пустое. К сожалению (или к счастью?) этот способ не будет работать при использовании граббером библиотеки CURL или сокетов с эмуляцией всех заголовков браузера, тут поможет только бан по ip сервера, с которого выполняется граббинг. Это, кстати, практикует Яндекс, блокируя ip-адреса, с которых слишком часто вызываются одни и те же страницы.

Ссылка на основную публикацию