Что такое A-Parser? Это быстрый парсер с уклоном на универсальность, удобность и прозводительность. На данный момент умеет парсить: Поисковые системы Google Bing Yahoo Yandex QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса Парсер AOL, реализованный через парсер Net::HTTP с опциями Parse custom result, Use pages и др. Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу Подсказки поисковых систем Сервисы поиска ключевых слов Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня. Подсказки поисковых систем Подсказки и релейтед кеи Google Подсказки и релейтед Bing Подсказки, релейтед и трендовые кеи Yahoo Подсказки и релейтед Yandex Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится Параметры сайтов и доменов SE::Google:osition - проверка позиции домена по ключевому слову в гугле Google PageRank - PR страниц и доменов SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи) DMOZ - наличие сайта в каталоге DMOZ Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.) Whois - дата экспайра домена Bing LangDetect - проверка языка домена\ссылки DNS - парсер резолвит домены в IP адреса Парсинг контента HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня. Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг. Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры. Обработка и фильтрация результатов Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п. Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров. Парсинг любого результата с использованием регулярных выражений. Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне: Полностью интерактивный мега-юзабильный веб интерфейс Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д. Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д. Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе Поддержка русского и английского языка Огромная скорость работы Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии Открытая разработка, багтрекер, выслушивание всех мнений и их реализация Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki Wiki - дополнительная информация, инструкции и т.д. Скриншот интерфейса: На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов Ценовая политика Внимание, ценовая политика изменилась с 10.07.2012! Цена лицензии - 199$, первый год без абонентской платы, после первого года - 15$ / 3 месяца. Условия по абонентской плате так же распространяются и на существующих пользователей! Cпец предложение всем клиентам A-Parser'а - бесплатно приватные прокси на 20 потоков на 2 недели! Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$ А так же A-Parser + A-Poster всего за 300$! Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать. Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889 Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала.
впечатления о парсере Все свои скромные задачи по парсингу поисковиков с этим парсером решаю намного быстрее и лучше, чем самописными скриптами. Есть все большие сервисы- можно выбрать по душе) есть возможность парсить весь инет, но я не разбирался. Вообще, понять интерфейс и настроить все достаточно просто- есть необходимые примеры и, в случае чего, оперативно помогает поддержка. Все время появляются улучшения, что тоже приятно.
Всем привет! Не так давно, я приобрел A-parser и тщательно потестировал его на деле, теперь решил написать отзыв в благодарность за столько мощный и быстрый парсер разработчику! Сразу хочу сказать, парсер имеет Web интерфейс (не дескпотный, как вы все привыкли видеть) , тем самым, он может без проблем работать на линуксе и что мне само больше понравилось, Вы можете управлять им удаленно. Запуская его на впске или на любом другом сервере, вы можете, просто на просто открыть браузер на своем домашнем ПК и ввести ip адрес с портом вашей машины, где был запущен A-parser и управлять им удаленно, не входя на сам сервак, а лишь клацать в браузере и настраивать под свой лад. Теперь давайте перейдем к проксям. Юзая хрефер, я привык во время парсинга с ПС, одновременно парсить и чекать прокси, тем самым спасался от банов гугла и не покупал изначально дорогие элитные прокси, а юзал лишь паблик (имеется свой списочек сайтов, от куда парсю прокси). И первое чему я очень был рад в a-parsere, это наличия тех самых возможностей. Вы можете парсить ссылки с гугла (или другой ПС) и одновременно обновлять свой прокси лист. Благодаря этому, о банах гугла и яндекса можно было забыть. Чекаю пркоси в 150 потоков и через 40 минут, уже имею 900 анонимных прокси. А теперь к самому интересному, а именно к скорости и различных плюшек парсера. Давайте начнем со скорости. Перед уходом утром в больницу у меня был готовый список обновленных прокси, а именно1200 анонимных. Я решил поставить парсить гугл в режиме обхода 1000 ссылок. В других парсеров такого нет, на один запрос, гугл отдает лишь 1000 ссылок и использую раньше хрефер, мне приходилось убивать кучу времени на сбор дополнительных запрос, чтобы разнообразить выдачу и вытянуть как можно больше ссылок. Однако от этой проблемы я избавился в a-parsere. Так вот, поставив парсеру 700 потоков и включая обходной режим, я начал парсить. После возвращения с больницы (это заняло 2 часа), парсер уже прошуршал 65 миллионов доменов и 800к из них были уникальными. В хрефере я бы на это, потратил бы в 5 раз, а то и больше времени. Имея у себя в арсенале a-parser, хрефер и WebParser, я могу смело сказать, что он лучший из них.
C Днем Рождения! Этот пост- благодарность автору за его помощь всегда непонятливым клиентам вроде меня в их мегапроектах для бизнеса. Прога подойдет ЛЮБОМУ вебмастеру или бизнесмену с этого форума, одним из ресурсов чьего бизнеса являются всевозможные базы данных, и желающему с максимальной скоростью получать эти базы из открытых источников. Автор- известный разработчик отличного ПО, зарекомендовавший себя на всех форумах по сео(кстати, обратите внимание на отзывы там(ссылки есть на сайте с а-парсером)- они полно отражают мнения покупателей о ПО и его авторе и их намного больше, чем здесь!). Проект- максимизация скорости парса одного из крупных поисковиков(я выбрал подходящий для себя). Благодаря подсказкам автора, был выбран хороший сервер с гигабитным каналом, установлено ПО и запущены процессы сбора баз. Итог- с 1000 http прокси, в 5000 потоков- объем парса около 130Mbit/s. Скрин- по ссылке ниже. За первые 10 дней половина задач у меня уже решена. Скорость уперлась в проц, но потенциально- неограничена! >"Прошёл ровно год с выхода первой бета-версии парсера" C Днем Рождения!) Всем УДАЧИ в бизнесе!!! http://imageshack.us/photo/my-images/818/skrinz.jpg
пользуюсь уже 1 год , все замечательно , самый лучший парсер и поддержка радует оперативными ответами спасибо за сервис и парсер
Парсер — парсеру рознь! Скажу честно – вы не найдете во всем интернете парсер, который будет превосходить A-parser по скорости, многообразии обрабатываемых сайтов, и его универсальности! Его плюсы: - Собственный чекер прокси. 1. Редко пропускает рабочие прокси, если у вас хороший интернет и мощное железо (железо для большого кол — во потоков). 2. Очень большая многопоточность (на момент покупки а-парсера, я работал с паблик прокси, которые собирал 10 дней по всему буржнету (Китай, Индия, Usa и.т.д). Общее кол — во всех прокси достигало выборки в 500к. Благодаря этому.. я успевал их обрабатывать менее чем за час и мог парсить гугл без покупных прокси-серверов. - Большая база ресурсов для парсинга. 1. Единственный парсер, где собрана такая громадная база обрабатываемых ресурсов. 2. Нету таких чекеров-парсеров, которые созданы лишь для видимости и потом не поддерживаются разработчиком. Каждый найдет для себя что-то (от дорвейщика до белого seo-вебмастера). 3. Большой плюс а — парсера, что он позволяет комбинировать результаты своего парсинга. Например: Pr, Тиц, кол — во страниц в яше, кол — во страниц в гугл, Alex, частотность по вордстату (любая комбинация по вашему желанию). - Много полезных фич 1.SE::Yandex::Register — Регистрирует аккаунты в Yandex 2. Rank::CMS — Определение 187 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков 3. Rank::Category: — Автоматически определяет категорию сайта на английском языке 4. SE::Bing::Translator — Переводчик текста через сервис www.bing.com/translator/ 5. Check::BackLink — Проверяет нахождение обратной ссылки(ссылок) по базе сайтов - Скорость парсинга Если мне нужна по настоящему отпрасить большое кол — во данных и быстро, то я отбрасываю зенку и беру только A-парсер. Мои результаты: - За 7 дней чекнуть более 148 мл.доменов на опр.признак. - Спарсить более 100000 разных комбинация в гугле за несколько часов и с минимальным % бана прокси (другие парсеры быстрее убивают прокси). - Чекнуть на тиц, pr, alex, dmoz, более 15 миллионов сайтов за 2 дня. (использовалось 5000 покупных прокси с ботнетов) - Спарсить более 2 миллионов кеев через вордстат и директ за день. - Собираем свой парсер Можно также написать свой собственный парсер [только для опытных юзеров] Например: чекер лайвинтернета или парсинг Google play. Также можно собирать свои чекеры cms по собранными вами фунтпривами.
Всем привет! Супер парсер для супер простых и мега сложных задач сеошников и дорвейщиков! При желании, можно спарсить весь WWW. Главное потом смочь переварить всю инфу! Давно, когда только приобрел a-parser, особо не въехал что к чему и малось подзабил, но со временем, когда понадобились всевозможные базы, мылы, данные о сайтах, рус и енг текстовка - то тут то Парсер и пригодился. На всевозможные глупые вопросы (которые по началу, думаю у многих есть) - саппорт терпеливо отвечает и разжевывает 24/7. На форуме a-parsera, куча готовых решений для всевозможных задач. Ни разу еще не пожалел, что у меня есть столь замечательный комбайн, вы тоже не пожалеете ни разу если он у вас будет!
Хочу оставить отзыв A-Parser – это самый гибчайший парсер, который я когда-либо видел. У парсера широчайшие возможности, которые позволяют тебе спарсить все что ты хочешь. По парсеру есть вся документация, есть очень полезный форум с примерами и что самое главное – есть шикарная поддержка, которая терпеливо ответит на все твои вопросы и даже больше. Та цена, которую просит ТS за свой парсер многократно ниже чем он на самом деле должен стоить. И еще парсер постоянно развивается, появляются новые фишки, улучшаются старые, что очень радует. П ользуюсь парсером уже 2 года, и много раз благодарил себя за то что приобрел его в свое время не пожалев денег. Рекомендую всем, не сомневаясь, покупать a-parser и отдельный респект ТS за постоянную и очень квалифицированную поддержку.
Отличное ПО. Лучший софт в своем сегменте. Однозначно стоит своих денег. Рекомендую всем кому нужен парсер на все случаи жизни. Гибкий, быстрый. Супер саппорт, прекрасная wiki. Пользуюсь почти год в направлении хакинга, очень помогает в сборе информации. П.С Кроcсплатформенность A-parser - особый плюс.
Клевый софт, купил не нарадуюсь! Парсит много уров и очень быстро! Для черного,белого SEO и хакинга подходит на все 110%. Рекомендую!
Я подружился с а-парсером еще почти с момента его зарождения, выручал уже не один раз там где требуется парсинг контента, кейвордов. Сделать свой парсер для сайта или новой поисковой системы отнимет считанные минуты. Гибкий шаблонизатор поможет вывести и отфильтровать результат парсинга в любом формате, а что непонятно подскажут на форуме. Это как швейцарский нож который будет полезен в любое время и в любом месте - рекомендую.
1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем. Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6. Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах Улучшения Новый парсер Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта Новый парсер SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data) В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы Исправления в связи с изменениями в выдаче SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy SE::Google::Trends - полностью обновлен парсер и список собираемых значений Rank::LinkPad, Rank::MajesticSEO, SE::Seznam Исправления Проблема с прокруткой в Планировщике Проблема с кодировкой в tools.parseJSON Ошибка импорта JavaScript парсеров
1.1.832 - новые парсеры, выбор языка интерфейса в Google Улучшения Новый парсер Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам Новый парсер Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта Новый парсер Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com В парсере SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil Удалены 5 устаревших парсеров: [noparse]SE::Google:R[/noparse] - сервис больше не существует, SE::Google::Maps - выдача зависит от гео прокси, Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, Rank::Category - нет подходящего сервиса, [noparse]Rank:MOZ[/noparse] - dmoz прекратил свое существование в марте Теперь парсер SE::Yandex по умолчанию использует https, избегая ненужного редиректа Исправления в связи с изменениями в выдаче SE::Bing, Rank::Archive, SE::AOL, SE::IxQuick, SE::Yahoo, Rank::Linkpad Исправления JavaScript парсеры: исправлена обработка checkbox в настройках JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче SE::Google::Trends - исправлена работа с неанглийскими запросами В парсере Net::HTTP исправлена работа опции Check next page в редких случаях Исправлена работа со сжатым контентом для редких сайтов
Ребята, кто еще сомневется, бросьте сомнения, софт окупиться 200%, лично я его юзаю каждый день на протяжении 3 лет, обновления постоянные, видно что человек живет этим проэктом, а ничего лучше нету как стабильный софт. Спасибо!
1.1.853 - новые парсеры и каталог пресетов У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно Улучшения Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта) Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение Оптимизирована работа при большом числе активных заданий Оптимизирована версия A-Parser для ОС Linux x64 Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры" Исправления в связи с изменениями в выдаче SE:: DuckDuckGo, SE::IxQuick, SE::Bing::AddURL Исправления В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры
1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи Улучшения Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку В парсере Rank::SimilarWeb добавлена поддержка антикаптчи В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера В инструменты tools добавлена возможность кодировать и декодировать base64 Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс Исправления в связи с изменениями в выдаче Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO Исправления Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе Исправлена работа tools.js на ОС Linux Исправлена утечка памяти при использовании JavaScript парсеров Исправлена работа опции Динамический лимит потоков
Новый каталог парсеров и пресетов Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них: Парсинг текстовки по ключу одним заданием Парсер Google Translate Парсер ключевых слов и бидов из 7search Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
