A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Discussion in 'Услуги, Покупка и Продажа в SEO' started by A-Parser Sup, 10 Aug 2012.

  1. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    77
    Likes Received:
    1
    Reputations:
    0
    1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries

    [​IMG]

    Улучшения
    • Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
    • NodeJS обновлен до 16.15.0
    • В [​IMG] SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
    • В парсере [​IMG] Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
    • В [​IMG] Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
    • В [​IMG] SE::YouTube добавлен сбор количества подписчиков канала
    • В [​IMG] SE::Google::Trends добавлен сбор id тем для related topics
    • В парсере [​IMG] Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
    • Добавлен парсер подсказок Wildberries: [​IMG] Shop::Wildberries::Suggest
    • В [​IMG] Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
    • В [​IMG] SE::Google::Images добавлены новые типы в Usage rights
    • Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
    • В [​IMG] Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
    • Улучшена работа с Chromium из JavaScript парсеров
    • В [​IMG] Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome
    Исправления в связи с изменениями в выдаче
    • Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
    • В парсерах Яндекса исправлен парсинг турбо страниц
    • Исправлена работа [​IMG] SE::Yandex::WordStat, в планах полная переработка данного парсера с добавлением нового функционала
    • В [​IMG] SE::Yandex::ByImage исправлен парсинг выдачи
    • Исправлен парсинг имени пользователя в [​IMG] Telegram::GroupScraper
    • В [​IMG] SE::Google::ByImage изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
    • Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
    • Исправлен парсинг сниппетов в [​IMG] SE::Google::ByImage
    • [​IMG] SE::Google::TrustCheck, Check::RosKomNadzor, SE:: DuckDuckGo, SE::Seznam, Shop::Wildberries:: ProductsList, SE::Baidu, SE::Google::Images, Rank::Ahrefs::KeywordGenerator
    Исправления
    • Исправлена ошибка в Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
    • Исправлена загрузка каптч в SE::Yandex::Images
    • Устранена утечка памяти в парсере DeepL::Translator, а также другие ошибки
    • Исправлена работа проксичекера с socks5 IPv6 прокси
    • Исправлена работа опции Don't verify TLS certs в некоторых случаях
    • Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
    • Исправлено зависание Тестового парсинга при редактировании кода парсеров
    • Исправлен проход по редиректам в HTML::LinkExtractor
    • Исправлен выбор домена в SE::Yahoo
    • Исправлена заспамленость лога ошибками при использовании Maps::Yandex
    • Исправлен сбор результатов $records в Net:: DNS
    • Исправлена ошибка когда не находилась следующая страница опцией Check next page

    [​IMG] [​IMG]
     
    1. A-Parser Sup

      A-Parser Sup New Member

      Joined:
      3 Jun 2013
      Messages:
      77
      Likes Received:
      1
      Reputations:
      0
      XEvil 5.0: лучший в мире софт для решения капч. СКИДКИ!

      Рады представить вам разработку нашего партнёра:
      XEvil 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

      Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.

      [​IMG]

      • Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
        Подготавливаемый к релизу XEvil 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.
      • никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)
      • гибкий API, совместимость с сотнями программ (A-Parser, GSA, XRumer, ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
        в комплекте также идет браузерный плагин XEvil Solver Plugin
      • оперативные доработки по пожеланиям клиентов, дообучение новым капчам
      • простой и понятный интерфейс, разберется даже школьник!
      Всем нашим клиентам мы предлагаем набор купонов,
      дающих скидку 60% на покупку любой лицензии XRumer + XEvil:
      при покупке лицензии Стандарт вы экономите более 7000 рублей (купоны действуют до 15-го июня):

      APXEVIL-60-220616-ga5zoamjuon9jb5y
      APXEVIL-60-220616-ga5zoamjuoy8kx4k
      APXEVIL-60-220616-ga5zoamjuoun97t4


      За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

      Официальный сайт программы:
      http://botmasterru.com/

      Спасибо за внимание!

      [​IMG] [​IMG]
       
      1. A-Parser Sup

        A-Parser Sup New Member

        Joined:
        3 Jun 2013
        Messages:
        77
        Likes Received:
        1
        Reputations:
        0
        Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

        50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

        Скриншоты выдачи Google

        Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
        Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.

        [​IMG]

        Подсказки Авито

        Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.

        [​IMG]


        Еще больше различных рецептов в нашем Каталоге!

        Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

        Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

        Все сборники рецептов

        [​IMG] [​IMG]
         
        1. A-Parser Sup

          A-Parser Sup New Member

          Joined:
          3 Jun 2013
          Messages:
          77
          Likes Received:
          1
          Reputations:
          0
          Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)

          [​IMG]

          Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

          Старт - 27 июня.

          Что это за обучение?
          Николай научит и покажет на реальных кейсах и примерах:
          • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
          • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
          • как строить PBN, что с ними делать дальше и как на них зарабатывать
          • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

          Для кого это обучение?
          • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
          • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
          • Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

          Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

          Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

          Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
          И на FB странице Николая - Facebook
           
          1. A-Parser Sup

            A-Parser Sup New Member

            Joined:
            3 Jun 2013
            Messages:
            77
            Likes Received:
            1
            Reputations:
            0
            1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

            [​IMG]

            Улучшения
            • Добавлен новый парсер [​IMG] CoinMarketCap::LastPrice
            • Парсер [​IMG] SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
            • Парсеры [​IMG] SE::Yandex::WordStat, [​IMG] SE::Yandex::WordStat::ByDate и [​IMG] SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
            • [​IMG] HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы [​IMG] HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
            • Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
            • Увеличено максимальное кол-во страниц в [​IMG] SE::Google до 100
            • Добавлен сбор даты со сниппета в парсерах Google
            • В парсере [​IMG] SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
            • В парсере [​IMG] Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
            • В парсере [​IMG] SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
            • В [​IMG] SE:: DuckDuckGo добавлено опцию Use HTTP/2
            • [​IMG] Net::HTTP: добавлена опция Ban Proxy Code RegEx
            • Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
            • Добавлена опция needResults для this.parser.request
            Исправления в связи с изменениями в выдаче
            • Адаптация к изменениям в верстке Google и Yandex
            • Восстановлена работа с рекаптчами в [​IMG] SE::Google, детальная информация об изменениях здесь
            • Исправлен парсинг $title в [​IMG] Shop::Wildberries:: ProductInfo
            • [​IMG] SE::Google::TrustCheck, [​IMG] SE::Google::Images, Shop::Yandex::Market, Shop::Wildberries:: ProductsList, SE:: Dogpile, SE::Startpage
            Исправления
            • Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
            • Исправлена ошибка в опции Follow common redirects
            • Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

            [​IMG] [​IMG]
             
            1. A-Parser Sup

              A-Parser Sup New Member

              Joined:
              3 Jun 2013
              Messages:
              77
              Likes Received:
              1
              Reputations:
              0
              Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

              51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

              Парсер BuiltWith.com. История IP-адресов и взаимосвязи

              Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
              Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.

              [​IMG]

              Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети

              При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.

              [​IMG]


              Еще больше различных рецептов в нашем Каталоге!

              Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

              Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

              Все сборники рецептов

              [​IMG] [​IMG]
               
              1. A-Parser Sup

                A-Parser Sup New Member

                Joined:
                3 Jun 2013
                Messages:
                77
                Likes Received:
                1
                Reputations:
                0
                1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

                [​IMG]

                Улучшения
                • В [​IMG] SE::Google добавлен парсинг People also ask
                • В [​IMG] Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
                • Реализована защита от gzip bomb
                • В [​IMG] SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
                • Улучшена работа с сессиями в [​IMG] SE::Yandex::WordStat
                • Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
                • Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
                • JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
                • JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
                • В [​IMG] SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
                • [​IMG] HTML::TextExtractor - оптимизирована скорость обработки
                Исправления в связи с изменениями в выдаче
                • Адаптация к изменениям в верстке Google и Яндекс
                • [​IMG] SE::Yandex::Register адаптирован к изменениям на источнике
                • Исправлена авторизация по логин/паролю в [​IMG] SE::Google::KeywordPlanner
                • [​IMG] SE::Google::SafeBrowsing, [​IMG] Telegram::GroupScraper, [​IMG] SE::Baidu, [​IMG] Rank::MajesticSEO, [​IMG] Shop::Wildberries::Suggest, [​IMG] Social::Instagram::Tag, [​IMG] Social::Instagram:: Profile
                Исправления
                • Исправлена проблема с зависанием [​IMG] HTML::TextExtractor::LangDetect на некоторых запросах
                • Исправлена работа методов tools.task.* в JS API v2
                • Исправлена ошибка кодировки в Net::HTTP
                • Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
                • Исправлена ошибка со сбором title в Shop::Wildberries:: ProductInfo в некоторых случаях
                • В Shop::Wildberries:: ProductsList исправлен парсинг тегов
                • Исправлена работа SE::Bing::Translator в некоторых случаях
                • Исправлена некорректная инициализация Node на лицензии Enterprise
                • В SE::Bing - исправлена ошибка с выводом $pages

                [​IMG] [​IMG]
                 
                1. A-Parser Sup

                  A-Parser Sup New Member

                  Joined:
                  3 Jun 2013
                  Messages:
                  77
                  Likes Received:
                  1
                  Reputations:
                  0
                  Как использовать A-Parser для крауд-маркетинга


                  Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

                  Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

                  В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

                  Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.

                  Смотреть видео на YouTube

                  Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam
                   
                  1. A-Parser Sup

                    A-Parser Sup New Member

                    Joined:
                    3 Jun 2013
                    Messages:
                    77
                    Likes Received:
                    1
                    Reputations:
                    0
                    Автоматизация в SEO: как заменить отдел джунов парсером?

                    Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"

                    [​IMG]

                    В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:
                    • Что такое парсер
                    • Сколько стоит джун в SEO
                    • Проблемы в SEO
                    • Автоматизация рутинных задач
                    • Кластеризация
                    • Мониторинг позиций
                    • Комбинируем пресеты для решения любых задач
                    • Тех. анализ и мониторинг
                    и другие решения с помощью A-Parser

                    Смотреть видео на YouTube
                     
                    1. A-Parser Sup

                      A-Parser Sup New Member

                      Joined:
                      3 Jun 2013
                      Messages:
                      77
                      Likes Received:
                      1
                      Reputations:
                      0
                      Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

                      52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

                      Универсальный чекер e-mail

                      Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.

                      [​IMG]

                      Парсер отзывов Wildberries Reviews

                      Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.

                      [​IMG]

                      Сбор двойных ссылок одного сайта из Google выдачи

                      Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.

                      [​IMG]


                      Еще больше различных рецептов в нашем Каталоге!

                      Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

                      Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

                      Все сборники рецептов

                      [​IMG] [​IMG]
                       
                      1. A-Parser Sup

                        A-Parser Sup New Member

                        Joined:
                        3 Jun 2013
                        Messages:
                        77
                        Likes Received:
                        1
                        Reputations:
                        0
                        Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)

                        [​IMG]

                        Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

                        Старт - 26 сентября.

                        Что это за обучение?
                        Практический курс, после которого вы научитесь и узнаете:

                        — какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
                        — как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
                        — как строить PBN, что с ними делать дальше и как на них зарабатывать
                        — как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

                        Для кого это обучение?
                        — Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
                        — Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

                        Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

                        Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

                        Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
                        И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

                        [​IMG]
                         
                        1. A-Parser Sup

                          A-Parser Sup New Member

                          Joined:
                          3 Jun 2013
                          Messages:
                          77
                          Likes Received:
                          1
                          Reputations:
                          0
                          1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах

                          [​IMG]

                          Улучшения
                          • Добавлен парсер позиций DuckDuckGo: [​IMG] SE:: DuckDuckGo:: Position
                          • Добавлен парсер Яндекс Балабоба: [​IMG] SE::Yandex::Balaboba
                          • Реализована работа с XEvil через API Antigate v2
                          • Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в [​IMG] SE::Google
                          • Обновлен список доменов в [​IMG] SE::Yandex
                          • В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в [​IMG] SE::Yandex убран параметр Links per page
                          • В [​IMG] HTML::LinkExtractor и [​IMG] Check::BackLink добавлен сбор <a> тега
                          • В [​IMG] Shop::AliExpress добавлена поддержка сессий
                          • В [​IMG] HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
                          • В парсере [​IMG] DeepL::Translator актуализирован список языков
                          Исправления в связи с изменениями в выдаче
                          • Исправлено определение опечатки по запросу в [​IMG] SE::Yandex
                          • [​IMG] SE::Yandex::WordStat - исправлена авторизация в режиме HTTP
                          • Исправлено определение рекламы в [​IMG] SE::Yandex:: Direct
                          • Исправлен [​IMG] Shop::Wildberries:: ProductsList при парсинге по ключевым словам
                          • [​IMG] SE::Baidu - исправлена работа в тех случаях, когда по запросу нет результатов
                          • SE::Google, SE::Yandex, SE::Bing, SE::Google::Images, Rank::MajesticSEO, Rank::MOZ, Shop::AliExpress, Shop::Amazon, SE:: Pinterest
                          Исправления
                          • Исправлен выбор региона в SE::Yandex
                          • Исправлена обработка url с кириллицей в PAA SE::Google
                          • Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
                          • Исправлена ошибка логина в парсере SE::Yandex:: Direct
                          • В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
                          • SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
                          • Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
                          • Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
                          • Исправлена доступность fs.constants

                          [​IMG] [​IMG]
                           
                          1. A-Parser Sup

                            A-Parser Sup New Member

                            Joined:
                            3 Jun 2013
                            Messages:
                            77
                            Likes Received:
                            1
                            Reputations:
                            0
                            Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

                            Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

                            Обзор вариантов вывода результатов в JSON виде

                            Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.

                            [​IMG]

                            Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)

                            В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
                            В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.

                            [​IMG]

                            Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами

                            Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
                            Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
                            Кейсы по применению нашего парсера Google и его описание:
                            https://a-parser.com/docs/parsers/se-google

                            [​IMG]

                            Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

                            Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

                            Все сборники статей

                            [​IMG] [​IMG]
                             
                            1. A-Parser Sup

                              A-Parser Sup New Member

                              Joined:
                              3 Jun 2013
                              Messages:
                              77
                              Likes Received:
                              1
                              Reputations:
                              0
                              Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

                              53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

                              Парсинг популярных запросов за сутки Google Trends

                              Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.

                              [​IMG]

                              Парсер yep.com

                              Простой пресет для парсинга поисковой системы yep.com.

                              [​IMG]

                              Yandex - проверка на содержание доменов в выдаче

                              Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.

                              [​IMG]

                              Еще больше различных рецептов в нашем Каталоге!

                              Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

                              Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

                              Все сборники рецептов

                              [​IMG] [​IMG]
                               
                              1. A-Parser Sup

                                A-Parser Sup New Member

                                Joined:
                                3 Jun 2013
                                Messages:
                                77
                                Likes Received:
                                1
                                Reputations:
                                0
                                1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

                                [​IMG]

                                Улучшения
                                • Добавлен новый парсер [​IMG] Cloudflare::Radar, определяет категории доменов
                                • В парсеры [​IMG] Util::ReCaptcha2, [​IMG] Util::ReCaptcha3, [​IMG] Util::hCaptcha добавлена поддержка сервиса CaptchaAI
                                • В [​IMG] Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
                                • Обновлен список языков в [​IMG] DeepL::Translator

                                Исправления в связи с изменениями в выдаче
                                • Адаптация к изменениям в верстке Google и Яндекс
                                • Исправлен сбор totalcount в [​IMG] SE::Yandex для некоторых запросов
                                • Исправлен выбор региона в [​IMG] SE::Yandex:: Direct
                                • Исправлена работа [​IMG] Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
                                • В [​IMG] Shop::Yandex::Market по некоторым запросам не было результатов
                                • [​IMG] SE::Google::Images, [​IMG] Rank::Ahrefs::KeywordGenerator, [​IMG] Shop::Yandex::Market

                                Исправления
                                • Исправлено лишнее использование сессии на последней попытке в [​IMG] SE::Google
                                • Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
                                • Исправлена ошибка в [​IMG] Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
                                • Исправлен баг в [​IMG] SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
                                • Исправлена проблема в [​IMG] Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
                                • В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
                                • Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

                                [​IMG] [​IMG]
                                 
                                1. A-Parser Sup

                                  A-Parser Sup New Member

                                  Joined:
                                  3 Jun 2013
                                  Messages:
                                  77
                                  Likes Received:
                                  1
                                  Reputations:
                                  0
                                  Обновленные пресеты в каталоге A-Parser

                                  Парсинг базы фильмов из IMDB
                                  Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

                                  Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
                                  Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

                                  Парсер профиля YouTube
                                  Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

                                  Парсинг istio.com
                                  Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

                                  Оценка страниц с использованием Lighthouse
                                  Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

                                  Еще больше различных парсеров и пресетов в нашем Каталоге!
                                  Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

                                  [​IMG] [​IMG]
                                   
                                  1. A-Parser Sup

                                    A-Parser Sup New Member

                                    Joined:
                                    3 Jun 2013
                                    Messages:
                                    77
                                    Likes Received:
                                    1
                                    Reputations:
                                    0
                                    Видео урок: Сбор форм комментариев с помощью A-Parser

                                    Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



                                    Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

                                    Плейлист со всеми видео уроками от DIM STUDIO

                                    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

                                    [​IMG] [​IMG]
                                     
                                    1. A-Parser Sup

                                      A-Parser Sup New Member

                                      Joined:
                                      3 Jun 2013
                                      Messages:
                                      77
                                      Likes Received:
                                      1
                                      Reputations:
                                      0
                                      Обновленные пресеты в каталоге A-Parser ч.2

                                      Обновление пресетов в Каталоге примеров A-Parser часть 2

                                      Парсинг количества трафика на сайтах
                                      Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

                                      Сохранение в результатах TOP-3 Google
                                      Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

                                      Парсер Яндекс Кью
                                      Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

                                      JS::MailValidator
                                      Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


                                      Еще больше различных парсеров и пресетов в нашем Каталоге!
                                      Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

                                      [​IMG]

                                      [​IMG]
                                       
                                      1. A-Parser Sup

                                        A-Parser Sup New Member

                                        Joined:
                                        3 Jun 2013
                                        Messages:
                                        77
                                        Likes Received:
                                        1
                                        Reputations:
                                        0
                                        1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок

                                        [​IMG]

                                        Улучшения
                                        • Добавлены новые парсеры:
                                          • [​IMG] Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
                                          • [​IMG] Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
                                          • [​IMG] SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
                                        • Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
                                        • Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
                                        • JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify
                                        Исправления в связи с изменениями в выдаче
                                        • Исправлен парсинг PAA в [​IMG] SE::Google
                                        • В [​IMG] SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
                                        • Исправлен [​IMG] GooglePlay::Apps, изменен набор собираемых данных
                                        • Исправлена работа [​IMG] Net::Whois с доменной зоной .fr
                                        • В [​IMG] SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
                                        • [​IMG] Check::RosKomNadzor, [​IMG] Shop::Wildberries:: ProductsList, [​IMG] Shop::Wildberries:: ProductInfo, [​IMG] Rank::Ahrefs, [​IMG] Rank::Ahrefs::KeywordDifficulty, [​IMG] SE::Google::Images, [​IMG] Rank::MajesticSEO
                                        Исправления
                                        • В [​IMG] SE::Yandex исправлена ошибка с определением бана на мобильной верстке
                                        • В [​IMG] SE::Google::Translate теперь headless включен по-умолчанию
                                        • Исправлена проблема с русскоязычными именами файлов в функции "Запустить по завершению"
                                        Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
                                        График работы поддержки на праздники

                                        [​IMG]

                                        [​IMG]
                                         
                                        1. A-Parser Sup

                                          A-Parser Sup New Member

                                          Joined:
                                          3 Jun 2013
                                          Messages:
                                          77
                                          Likes Received:
                                          1
                                          Reputations:
                                          0
                                          Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

                                          Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера [​IMG] Check::BackLink



                                          Плейлист со всеми видео уроками от DIM STUDIO

                                          Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

                                          [​IMG]

                                          [​IMG]