Antichat — официальный сайт

3WiFi объединенная база логов Router Scan

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by akokarev, 13 Jul 2015.

?
  1. Бесплатным для всех

    998 vote(s)
    62.7%
  2. Платным для неактивных участников

    189 vote(s)
    11.9%
  3. База свободна для скачивания

    209 vote(s)
    13.1%
  4. База доступна для просмотра на сайте, но не для скачивания

    322 vote(s)
    20.2%
  5. Нужна оффлайн шифрованная база для 3WiFi Locator

    136 vote(s)
    8.5%
  6. Обязательная регистрация на сайте

    457 vote(s)
    28.7%
  7. Регистрация только по приглашениям

    185 vote(s)
    11.6%
  8. Ограничения на просмотр согласно рейтинга участников

    70 vote(s)
    4.4%
  9. Проект нужно закрыть, базу удалить

    21 vote(s)
    1.3%
Multiple votes are allowed.
  1. Triton_Mgn

    Triton_Mgn Elder - Старейшина

    Joined:
    6 Jul 2015
    Messages:
    3,673
    Likes Received:
    5,775
    Reputations:
    51
    Уважаемый akokerev, это же не претензия .. О чем я и говорил ранее, что готов предложить Вам auxilary машину, с полным доступом и работающую 24 часа в сутки, разрешите откланятся)) это не сарказм. А что бы, в ту базу сделать загрузку разве код один? Может и тот сервер будет работать не так. Я так говорю лишь потому, что Вы немного разнознены , а в принципе по идее не так.
     
    1. Ossen

      Ossen Active Member

      Joined:
      4 Jun 2015
      Messages:
      229
      Likes Received:
      155
      Reputations:
      0
      Проблема масштабно начала наблюдаться после последней "оптимизации"
       
      Triton_Mgn likes this.
      1. Triton_Mgn

        Triton_Mgn Elder - Старейшина

        Joined:
        6 Jul 2015
        Messages:
        3,673
        Likes Received:
        5,775
        Reputations:
        51
        Нет нет , даже и не в последней , 2 оптимизации. Мы и в правду, так говорим что не можем поделиться кодом?
         
        Komfast likes this.
        1. akokarev

          akokarev Well-Known Member

          Joined:
          6 Dec 2012
          Messages:
          164
          Likes Received:
          309
          Reputations:
          7
          Ну если у Вас есть норм машина, почему бы самому не поднять форк? Исходники есть на гитхабе, о выгрузке из БД можно договориться с @binarymaster. Это поможет общему делу :)
           
          1. Triton_Mgn

            Triton_Mgn Elder - Старейшина

            Joined:
            6 Jul 2015
            Messages:
            3,673
            Likes Received:
            5,775
            Reputations:
            51
            Нет времени, как бы саркастично это не звучало. Залейте лучше на него все что хотите. Кроме того, что преследуется по закону.
             
            Komfast likes this.
            1. akokarev

              akokarev Well-Known Member

              Joined:
              6 Dec 2012
              Messages:
              164
              Likes Received:
              309
              Reputations:
              7
              Вот в этом то и проблема
               
              Triton_Mgn likes this.
              1. Triton_Mgn

                Triton_Mgn Elder - Старейшина

                Joined:
                6 Jul 2015
                Messages:
                3,673
                Likes Received:
                5,775
                Reputations:
                51
                Ну тогда надежда на вашу работу с @Vikhedgehog.
                 
                Komfast likes this.
                1. Fusix

                  Fusix Active Member

                  Joined:
                  11 Nov 2011
                  Messages:
                  74
                  Likes Received:
                  224
                  Reputations:
                  2
                  3wifi.stascorp.com тормозит как и раньше из-за большого кол-ва точек.
                  На fork очищена база, поэтому не грузит. Там есть проблемы с переделкой функции добавления на новый порядок запросов, т.к. stmt-php не выдает чистый запрос, а выполняет его сам, а нам самим нужно перед выполнением провести с ним манипуляции. Решается.

                  Также на основной сайт присылаются сканы RS в онлайн режиме, вечером доходит до 2-4 запросов в секунду.
                  Сравнение скорости работы с http://bluescreen.cc/wifi/ необъективны, т.к. его база в 10 раз меньше. При наших условиях все было бы точно также.
                   
                  1. Ossen

                    Ossen Active Member

                    Joined:
                    4 Jun 2015
                    Messages:
                    229
                    Likes Received:
                    155
                    Reputations:
                    0
                    Не проще ли отключить автозагрузку данных сканирования на сайт binarymaster вспоминаем разговор несколько страниц назад .
                     
                    1. hunt.lsk

                      hunt.lsk Well-Known Member

                      Joined:
                      29 Jan 2012
                      Messages:
                      144
                      Likes Received:
                      395
                      Reputations:
                      6
                      На этом сайте http://bluescreen.cc/wifi показываются точки,а на http://3wifi.stascorp.com/ не показываются.Почему?
                       
                      1. Ossen

                        Ossen Active Member

                        Joined:
                        4 Jun 2015
                        Messages:
                        229
                        Likes Received:
                        155
                        Reputations:
                        0
                        Внимательно читаем сообщения выше
                         
                        hunt.lsk likes this.
                        1. hahanovB

                          hahanovB Active Member

                          Joined:
                          22 Jul 2013
                          Messages:
                          264
                          Likes Received:
                          244
                          Reputations:
                          2
                          Прочитайте три последних страницы. Сервер перегружен.
                           
                          akokarev, binarymaster and hunt.lsk like this.
                          1. Triton_Mgn

                            Triton_Mgn Elder - Старейшина

                            Joined:
                            6 Jul 2015
                            Messages:
                            3,673
                            Likes Received:
                            5,775
                            Reputations:
                            51
                            Никто не задумывался об очистке базы , ну например 1 раз в год, где есть разделение, показывать на карте или удалены в виду старости в архив - в меню поиск по .......
                             
                            Komfast likes this.
                            1. binarymaster

                              binarymaster Elder - Старейшина

                              Joined:
                              11 Dec 2010
                              Messages:
                              4,717
                              Likes Received:
                              10,195
                              Reputations:
                              126
                              Проблема не в количестве, а в неэффективности структуры хранения. Эту проблему решит новый формат базы, который мы сейчас делаем.

                              Добавление точек практически доделано, но предупреждаю тех, кто туда уже что-то загрузил. Перед релизом база форка будет полностью очищена, затем будут импортированы данные из старой базы.
                               
                              hahanovB, Payer, akokarev and 2 others like this.
                              1. akokarev

                                akokarev Well-Known Member

                                Joined:
                                6 Dec 2012
                                Messages:
                                164
                                Likes Received:
                                309
                                Reputations:
                                7
                                Можно поподробней? На сколько я понимаю тут 3 решения:
                                1) В лоб - Перед каждым запросом заново инициализировать stmt
                                2) Объявить несколько переменных и перед запросом выбирать нужную
                                3) Заменить механиз stmt-php на что-то другое (msqli_query?)
                                В каком месте\запросе затык?
                                 
                                1. CRACK211

                                  CRACK211 Elder - Старейшина

                                  Joined:
                                  16 Sep 2009
                                  Messages:
                                  1,045
                                  Likes Received:
                                  1,127
                                  Reputations:
                                  11
                                  А вы не рассматривали структуру базы как в программе wifi map ? Там база На мой взгляд очень хорошая и правильная структура) точки с именами, комментариями, мас адресами очень быстро подгружаются) или вы такую же делаете?)
                                   
                                  1. yx-ex

                                    yx-ex Well-Known Member

                                    Joined:
                                    14 May 2011
                                    Messages:
                                    758
                                    Likes Received:
                                    787
                                    Reputations:
                                    10
                                    Я так понимаю,по Сочи статистики точек нет?Кто нибудь может мне дать в личку диапазоны Сочинские,чтобы восполнить пробел?Пробовал сам вычислить Сочинские диапазоны-полная белиберда по разным городам получается.Если нетрудно-откликнитесь кто нибудь пожалуйста,помогите собрать по Сочи точки.
                                     
                                    1. ChesteRock

                                      ChesteRock Active Member

                                      Joined:
                                      31 Aug 2013
                                      Messages:
                                      112
                                      Likes Received:
                                      132
                                      Reputations:
                                      1
                                      188.162.128.0-188.162.135.255
                                      94.25.128.0-94.25.191.255
                                      158.58.128.0-158.58.135.255
                                      77.106.192.0-77.106.255.255
                                      81.176.0.0-81.176.3.255
                                      81.176.28.0-81.176.29.255
                                      81.176.7.0-81.176.7.255
                                      81.177.120.0-81.177.127.255
                                      81.177.71.0-81.177.71.255
                                      81.177.74.0-81.177.74.255
                                      81.177.79.0-81.177.80.255
                                      81.177.90.0-81.177.93.255
                                      81.177.96.0-81.177.103.255
                                      91.210.24.0-91.210.27.255
                                      109.235.184.0-109.235.191.255
                                      185.30.106.0-185.30.107.255
                                      185.30.116.0-185.30.117.255
                                      185.30.118.0-185.30.119.255
                                      194.114.128.0-194.114.131.255
                                      194.190.100.0-194.190.100.255
                                      194.84.22.96-194.84.22.99
                                      194.84.28.16-194.84.28.31
                                      195.189.72.0-195.189.75.255
                                      195.239.162.0-195.239.162.255
                                      195.239.234.0-195.239.234.255
                                      195.62.54.0-195.62.55.255
                                      212.248.80.0-212.248.80.255
                                      212.248.81.224-212.248.81.255
                                      212.248.82.0-212.248.82.255
                                      213.241.254.0-213.241.254.255
                                      213.59.148.0-213.59.148.255
                                      213.59.215.0-213.59.215.255
                                      213.59.216.0-213.59.216.255
                                      213.59.217.0-213.59.217.255
                                      213.59.218.0-213.59.218.255
                                      213.59.219.0-213.59.219.255
                                      31.41.224.0-31.41.231.255
                                      62.182.136.0-62.182.143.255
                                      81.177.78.0-81.177.78.255
                                      81.177.95.192-81.177.95.255
                                      87.226.219.0-87.226.219.255
                                      91.197.104.0-91.197.107.255
                                      91.204.224.0-91.204.227.255
                                      91.211.36.0-91.211.39.255
                                      91.212.64.0-91.212.64.255
                                      91.214.56.0-91.214.59.255
                                      91.215.88.0-91.215.91.255
                                      91.216.192.0-91.216.192.255
                                      91.233.220.0-91.233.223.255
                                      92.50.226.144-92.50.226.151
                                      93.190.16.0-93.190.23.255
                                      212.248.81.0-212.248.81.95
                                      5.138.128.0-5.138.255.255
                                      62.183.51.0-62.183.59.255
                                      85.172.64.0-85.172.79.255
                                      85.172.96.0-85.172.111.255
                                      85.174.128.0-85.174.239.255
                                       
                                      1. binarymaster

                                        binarymaster Elder - Старейшина

                                        Joined:
                                        11 Dec 2010
                                        Messages:
                                        4,717
                                        Likes Received:
                                        10,195
                                        Reputations:
                                        126
                                        Я говорил о внутренней структуре...

                                        А я тут демонами балуюсь...
                                        [​IMG]
                                        You can't drown my daemons, they know how to swim. :D

                                        UPD: в 01:30 по МСК запускаю переход на новую версию базы (импорт старой базы). На протяжении этого периода просмотр и добавление будут недоступны.

                                        Добавление отключаю уже сейчас, чтобы финализировать старую базу.

                                        UPD2: миграция успешно завершена! Новая база работает в штатном режиме.

                                        Из 843023 записей старой базы успешно импортировано 840362 записей. Это связано с тем, что новый формат позволяет точнее определять дубликаты точек, благодаря хранению многих параметров в числовом виде.

                                        Важно: Я выложил самый свежий код на гитхаб, если кто-то найдёт баги - я принимаю pull реквесты.

                                        Выражается особая благодарность @Fusix за проделанную оптимизационную работу!
                                         
                                        #439 binarymaster, 15 Nov 2015
                                        Last edited: 15 Nov 2015
                                        Fusix, ChesteRock, gentux and 4 others like this.
                                        1. Triton_Mgn

                                          Triton_Mgn Elder - Старейшина

                                          Joined:
                                          6 Jul 2015
                                          Messages:
                                          3,673
                                          Likes Received:
                                          5,775
                                          Reputations:
                                          51
                                          )))хеви металл, ла ла ла лалала, Господин CRACK211, сначала скажите, что есть- очень хорошая и правильная структура? Не в обиду просто интересно:) ы?
                                           
                                          #440 Triton_Mgn, 15 Nov 2015
                                          Last edited: 15 Nov 2015
                                          Komfast, binarymaster and CRACK211 like this.