Видео урок: Сбор WordPress сайтов Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress. Плейлист со всеми видео уроками от DIM STUDIO Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO! https://t.me/a_parser https://a-parser.com/pages/affiliate/
1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления Улучшения Добавлен парсер Social::TikTok:: Profile SE::Yandex - добавлен парсинг быстрых ответов Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market В Util::AntiGate изменился набор доступных опций, подробнее здесь В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут. В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные В парсерах OpenAI добавлена возможность указывать несколько API ключей Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50 JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request() Исправления в связи с изменениями в выдаче SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке SE::Yandex - адаптация к изменениям в верстке Исправлен Safe search в SE::Google::Images, SE::Google Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile) Исправлен проход по страницам в SE::Yahoo В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук SE::Google::ByImage, SE:: Dogpile, SE:: DuckDuckGo Исправления Исправлена работа HTML::EmailExtractor в некоторых случаях Исправлен обход CF в Net::HTTP при Engine=HTTP Исправлена работа SE::Google::Translate при Device=Desktop Исправлены ошибки в работе SecurityTrails:: Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois Устранены падения при использовании прокси из отключенного проксичекера
Сборник рецептов #59: дни рождения из FB в Google Calendar, парсер Checktrust и Yahoo Finance 59-й сборник рецептов, в котором собраны парсер для экспорта дней рождений друзей в Google календарь; парсер сервиса проверки качества сайтов Checktrust; парсер Yahoo Finance. Экспорт дней рождений из Facebook в Google календарь Данный парсер позволяет спарсить список дней рождения своих друзей на Facebook и сгенерировать файл, готовый для импорта в Google Calendar. Yahoo Finance Yahoo Finance - фондовый рынок в реальном времени, котировки. Парсер checktrust.ru Парсер сервиса проверки качества сайтов Checktrust. Позволяет собрать все возвращаемые показатели, для примера реализован вывод данных в 3-х различных форматах. Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
Видео урок: Поиск статей внутри сайта Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров. Плейлист со всеми видео уроками от DIM STUDIO Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!
Обновленные пресеты в каталоге A-Parser Обновление пресетов в Каталоге примеров A-Parser Валидатор емайлов Проверка существования e-mail адресов Добавлена поддержка protonmail (proton.me, protonmail.com) Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me) Парсер переписан на JS API v2 JS::Yandex::LangDetect Определение языка страницы через Яндекс Переводчик Парсер переписан на JS API v2 (TypeScript) Добавлена поддержка каптч (наследуется от SE::Yandex) Добавлен выбор пресета настроек HTML::TextExtractor Адаптация к изменениям на источнике JS::Yandex::LangDetect::Key Определение языка ключевого слова через Яндекс Переводчик Парсер переписан на JS API v2 (TypeScript) Парсер наследует JS::Yandex::LangDetect Core Web Vitals Отчет о скорости сайта Обновление в связи с изменениями в выдаче Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения Улучшения В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud В Util::Turnstile добавлена поддержка captcha.guru В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания SE::Rambler полностью переписан: обновлен список языков добавлена возможность указывать регион добавлен выбор десктопной или мобильной выдачи обновлена работа с каптчами JS парсеры: добавлена поддержка тегов для сессий Исправления в связи с изменениями в выдаче SE::Bing - уменьшено кол-во ошибок Short output detected Адаптация к изменениям в верстке для SE::Google и SE::Yandex Исправлен сбор flat переменных в Social::Instagram:: Post Исправлен сбор $location в Social::Instagram:: Profile Исправлен поиск sitekey в Rank::Ahrefs::* Исправлена работа SE::YouTube при Result type = Movie Исправлен сбор $author_link в GooglePlay::Apps SE::Bing:: Position, SE::Google::ByImage, SE:: PuckDuckGo, SE::Google::Images, Shop::Wildberries:: ProductInfo Исправления Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал Исправлена ошибка использования SE::Yahoo через Redis API Исправлена работа SE::YouTube при запросах из JS парсеров Исправлена работа Net::Whois с доменами .se Исправлено ошибочное определение запроса неудачным в Shop::eBay Исправлено заполнение результатов в Rank::KeysSo
Сборник рецептов #60: товары на Walmart, проверка e-mail и доступность доменов 60-й сборник рецептов, в котором подобраны: парсер товаров Walmart, парсер для проверки e-mail и парсер для проверки доступности доменов через сервис Pananames Парсер товаров walmart.com Сбор товаров по ключевым словам на торговой площадке walmart.com с возможностью задать количество страниц результатов и выводом результатов в CSV таблицу Парсер для проверки e-mail Парсер для проверки адресов электронных почт на валидность, доставляемость и прочие параметры через сервис Email Verification API Pananames - доступность, цена домена Парсер, позволяющий проверить доступен ли домен и его цену с использованием сервиса Pananames Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags Обновление пресетов в Каталоге примеров A-Parser Парсер переводчика Reverso Переводчик текста через сервис reverso.net Исправлена ошибка при отсутствующих $examples или $variants Поправлено логирование JS::MailValidator Проверка существования e-mail адресов Исправлена проверка почт на protonmail Сокращатель ссылок Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de) Добавлено 2 новых сервиса: gg.gg и urlshort.dev Парсер тегов для YouTube и TikTok из сервиса Rapidtags Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io. можно задать тип: YouTube или TikTok в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
Видео урок: сбор контактов организаций из Google Maps Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ сбора контактов организаций по ключевым словам из заданного участка Google карт. Плейлист со всеми видео уроками от DIM STUDIO Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!
1.2.2148 - бесплатное решение Яндекс каптчи, 3 новых парсера, поддержка нового WordStat Улучшения Открыто бесплатное тестирование решения Яндекс каптчи! В Util::AntiGate добавлен провайдер A-Parser.Captchas, его можно использовать без указания ключа доступа. Добавлено 3 новых парсера: SE::Yandex::Video - парсер Яндекс Видео IP::Info - точные данные об IP-адресах SE::Bing::Video - парсер Бинг Видео В SE::Yandex::WordStat добавлена поддержка нового WordStat В SE::Yandex::SQI добавлен сбор рейтинга магазина в поиске по товарам и рейтинга магазина на Яндекс Маркете В Social::Instagram:: Profile добавлен сбор ссылок, которые были прикреплены в профиле и сбор телефонов из bio В Maps::Yandex добавлен сбор времени работы организации Util::AntiGate адаптирован к изменениям в API 2captcha/rucaptcha. А также оптимизирована работа с click каптчей и добавлена опция Log captcha images, позволяющая отключать вывод картинок каптч в лог Исправления в связи с изменениями в выдаче Адаптация к изменениям в верстке поисковой выдачи Google и Яндекс В Shop::Yandex::Market исправлена работа со всеми видами запросов SE::YouTube, GooglePlay::Apps, Shop::Wildberries:: ProductInfo, Shop::Wildberries:: ProductsList, SE:: DuckDuckGo, Reddit:: Posts, Reddit::Comments, SE::Google::ByImage, SE::Ask, Shop::Amazon, Social::TikTok:: Profile Исправления Исправлена ошибка обработки некоторых HTML сущностей в HTML::TextExtractor Исправлено определение Yandex.Metrika в Rank::CMS Исправлена работа некоторых опций в SE::Startpage Команда A-Parser поздравляет всех с наступающими новогодними праздниками! График работы поддержки на праздники
Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo 61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo. Анализ сайта с помощью be1.ru Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам. Парсер архива Телеграм ботов Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API. Парсер объявлений сайта Lalafo Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу. Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
Сборник статей #17: поиск и привлечение аудитории в Instagram, сбор баз сайтов на заданных движках Представляем 17-й сборник статей, в который вошли статья о поиске и привлечении целевой аудитории в Instagram и статья о сборе баз сайтов на определенных движках. Instagram - сбор пользователей, автоматическая отправка сообщений собранным пользователям в direct В статье рассмотрен сбор целевой аудитории и привлечение её в наш инстаграм магазин с помощью автоматической рассылки в Direct. Как спарсить WordPress сайты (и не только) через A-Parser В этой статье показано как собрать сайты на движке WordPress через A-Parser с минимальным количеством мусора в виде других движков. Кроме того данный подход можно использовать для сбора баз на любых движках. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники статей
Обновленные пресеты в каталоге A-Parser Обновление пресетов в Каталоге примеров A-Parser Скриншоты выдачи поисковой системы Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные) Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp) Небольшие изменения логики работы Парсер изображений с Flickr Парсинг картинок из Flickr по ключевому слову Пресет переделан в JS парсер на TypeScript Добавлен выбор параметров поиска: Sort, License, Color, Style Добавлен параметр выбора количества страниц Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев Анализ скорости загрузки и юзабилити сайтов Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов Парсер переписан на JS API v2 (TypeScript) Добавлена возможность указывать ключ API Адаптация к изменениям на источнике NeuralWriter - перефразирование, генератор промптов, резюмирование Парсер сервиса neuralwriter.com Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator Google Indexing API Добавление или удаление страниц сайта в Google Indexing API Парсер переписан на TypeScript (JavaScript API v2) Добавлена возможность использовать несколько ключей Генерация картинок ruDALL-E Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru Исправлена генерация с помощью старой модели (ruDALL-E Malevich) Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new) В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили Еще больше различных парсеров и пресетов в нашем Каталоге! Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
Premium прокси от A-Parser Мы рады представить вам новые Premium прокси-серверы, которые значительно улучшат вашу работу. Ключевые преимущества Premium прокси: База более 10 миллионов резидентных (домашних) IP адресов: Обеспечьте себе разнообразие и стабильность соединения с нашей обширной базой IP адресов. Быстрое время отклика: Мы гарантируем высокую скорость и оптимальное время отклика, обеспечивая эффективную работу ваших парсеров. Гибкая фильтрация по странам и городам: Настройте прокси под свои потребности с помощью гибкой фильтрации, чтобы получать доступ к ресурсам из конкретных стран и городов. Настройки ротации: Используйте различные режимы ротации, включая случайный IP на каждый запрос, ротацию от 1 до 60 минут и режим Sticky, который сохраняет IP на максимально возможное время. Подходит для браузинга и парсинга: Наши прокси идеально подходят как для браузинга, так и для парсинга, с минимальным риском CAPTCHA и банов. Доступ к прокси осуществляется по логину/паролю и протоколу SOCKS5, а также может быть организован сразу с нескольких компьютеров и серверов. Лучшие цены на рынке: Premium прокси от $1 за гигабайт трафика. Для всех пользователей A-Parser доступен бесплатный триал в Личном кабинете на 1 Гб.
1.2.2228 - 2 новых парсера, множество улучшений и исправлений Улучшения Добавлен парсер геолокации IP/домена - IP::Geo Добавлен парсер для разгадывания RotateCaptcha - Util::RotateCaptcha В SE::Yandex добавлен параметр Serp time В парсерах OpenAI::Completions и OpenAI::ChatGPT обновлены модели В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных В SecurityTrails::IP добавлена возможность парсинга с авторизацией В Shop::Aliexpress добавлена возможность парсить старую цену и валюту В SE::Youtube::Video добавлена возможность собирать данные о Shorts Добавлено информационное сообщение при ошибке импорта JS парсера Исправления в связи с изменениями в выдаче Адаптация к изменениям в верстке поисковой выдачи Google Исправлена ошибка при парсинге быстрых ответов в SE::Yandex Исправлен парсинг нескольких страниц в Shop::eBay при максимальном количестве результатов на страницу Исправлена работа Net::Whois с некоторыми доменными зонами Исправлен парсинг постов в Social::Instagram:: Profile Исправлена подстановка переменных в Конструкторе результатов SE::Bing, Rank::MajesticSEO, SE::Ask, SE::Baidu, SE::AOL, SE:: DuckDuckGo, Shop::eBay, SE::Seznam, SE::Google::ByImage, Reddit:: Posts Исправления Исправлена логика работы SE:: Dogpile Исправлена работа Maps::Yandex с разгадыванием каптч Исправлена проблема с интерфейсом при сохранении региона в SE::Yandex SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile Shop::Ebay - исправлены ошибки в парсинге цифровых значений Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count Исправлена работа tools.task.id в формате результата Исправлена ошибочная возможность перезаписать default пресет настроек Исправлена проблема зависания регулярных выражений в Parse custom result Исправлена ошибка вызова Social::TikTok:: Profile в JS парсере
Обзор Premium Proxy от A-Parser (скорость, выбор локации, браузинг) В данном видео продемонстрирована настройка и скорость работы новых Premium прокси. Данные прокси вы можете использовать как в A-Parser, так и в браузере или в любом другом SEO-софте. View: https://youtu.be/YE03ehTYGFQ Плейлист со всеми видео уроками от DIM STUDIO Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!
Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser 62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера. ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ. Парсер перевода Markdown разметки в HTML Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов. Альтернативный метод получения файлов результатов Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results. В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы. Еще больше различных рецептов в нашем Каталоге! Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Все сборники рецептов
