Программа или сервис для парсинга выдачи по своему сайту

Discussion in 'ПО для Web разработчика' started by coryphaeus, 19 Sep 2017.

  1. coryphaeus

    coryphaeus Member

    Joined:
    15 Mar 2017
    Messages:
    34
    Likes Received:
    10
    Reputations:
    0
    Ну собстенно сабж. Когда вводишь в поисковую строку site:свойсайт - ПС выдает все ссылки которые у нее есть. На одном сайте у меня много неработающих ссылок которые я хотел бы почистить. Слишком много чтобы вручную копировать их из поисковика. Может есть какая то порга для автоматизации сего дела. С меня дружба, любовь))
     
    #1 coryphaeus, 19 Sep 2017
    1. boroda22

      boroda22 Member

      Joined:
      16 Sep 2017
      Messages:
      27
      Likes Received:
      6
      Reputations:
      0
      Чем web-мастер поисковика плох ? Отображает внутренние и внешние ссылки.
       
      #2 boroda22, 19 Sep 2017
      1. coryphaeus

        coryphaeus Member

        Joined:
        15 Mar 2017
        Messages:
        34
        Likes Received:
        10
        Reputations:
        0
        Да он по моему там не все отображает
         
        #3 coryphaeus, 19 Sep 2017
        1. coryphaeus

          coryphaeus Member

          Joined:
          15 Mar 2017
          Messages:
          34
          Likes Received:
          10
          Reputations:
          0
          И еще вопрос в догонку. Опять же, нужен сервис который бы список урлов прогнал по роботс.тхт - проверил бы какие заблочены а какие нет.
           
          #4 coryphaeus, 19 Sep 2017
          1. Brokers

            Brokers New Member

            Joined:
            26 Nov 2017
            Messages:
            6
            Likes Received:
            0
            Reputations:
            0
            А для чего вообще парсят сайты?
             
            #5 Brokers, 1 Dec 2017
            (You must log in or sign up to post here.)