3WiFi объединенная база логов Router Scan

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by akokarev, 13 Jul 2015.

?
  1. Бесплатным для всех

    998 vote(s)
    62.7%
  2. Платным для неактивных участников

    189 vote(s)
    11.9%
  3. База свободна для скачивания

    209 vote(s)
    13.1%
  4. База доступна для просмотра на сайте, но не для скачивания

    322 vote(s)
    20.2%
  5. Нужна оффлайн шифрованная база для 3WiFi Locator

    136 vote(s)
    8.5%
  6. Обязательная регистрация на сайте

    457 vote(s)
    28.7%
  7. Регистрация только по приглашениям

    185 vote(s)
    11.6%
  8. Ограничения на просмотр согласно рейтинга участников

    70 vote(s)
    4.4%
  9. Проект нужно закрыть, базу удалить

    21 vote(s)
    1.3%
Multiple votes are allowed.
  1. CRACK211

    CRACK211 Elder - Старейшина

    Joined:
    16 Sep 2009
    Messages:
    1,045
    Likes Received:
    1,127
    Reputations:
    11
    Кружков так много что карты не видно и ориентироваться по ней трудно) только с поиском по адресу на карте ))))
     
    akokarev likes this.
    1. TOX1C

      TOX1C Elder - Старейшина

      Joined:
      24 Mar 2012
      Messages:
      1,135
      Likes Received:
      1,931
      Reputations:
      24
      На мою страну ветрянка напала)
      [​IMG]
      нужно реализовать группировку точек по областям/нас. пунктам, и на базе этих данных кружки рисовать, а то вообще не смотрится
      например как тут
      [​IMG]
       
      Fusix, AnonimZero, CRACK211 and 2 others like this.
      1. binarymaster

        binarymaster Elder - Старейшина

        Joined:
        11 Dec 2010
        Messages:
        4,717
        Likes Received:
        10,195
        Reputations:
        126
        В общем, вместе с @Felis-Sapiens мы провели отладочную работу, внесли исправления, и теперь кластеризация работает полностью. :)

        Позже может будет. Сейчас есть ещё одна маленькая недоделка, кластеры не содержат в себе координаты охватываемого сектора.
         
        Fusix, CRACK211 and akokarev like this.
        1. akokarev

          akokarev Well-Known Member

          Joined:
          6 Dec 2012
          Messages:
          164
          Likes Received:
          309
          Reputations:
          7
          Лучше как для точек выводить данные первых 5 точек. А для точек где больше одной выводить количество, аналогично как у кластера делается
           
          1. CRACK211

            CRACK211 Elder - Старейшина

            Joined:
            16 Sep 2009
            Messages:
            1,045
            Likes Received:
            1,127
            Reputations:
            11
            [​IMG]


            что то опять со статистикой
            754027 Всего записей в базе
            713334 С корректным BSSID
            973160 С уникальным BSSID
            848517 Найдено на карте
             
            dremmar likes this.
            1. binarymaster

              binarymaster Elder - Старейшина

              Joined:
              11 Dec 2010
              Messages:
              4,717
              Likes Received:
              10,195
              Reputations:
              126
              Может быть памяти не хватает (т.к. мы используем таблицы в памяти), но это бывает не часто.
              Доделал, спасибо @Felis-Sapiens ещё раз! :)
               
              akokarev, CRACK211 and Felis-Sapiens like this.
              1. akokarev

                akokarev Well-Known Member

                Joined:
                6 Dec 2012
                Messages:
                164
                Likes Received:
                309
                Reputations:
                7
                Залил на гитхаб авторизацию пользователей. @binarymaster, проверьте пожалуйста, я мог накосячить жестко... уж больно много ошибок вылезало и на их устранения костылей не пожалел =)
                У меня всё работает, но работы еще много: регистрация, связь загрузок с пользователем, отчеты по пользователю.
                Но начинать с чего-то же надо!
                 
                binarymaster and CRACK211 like this.
                1. akokarev

                  akokarev Well-Known Member

                  Joined:
                  6 Dec 2012
                  Messages:
                  164
                  Likes Received:
                  309
                  Reputations:
                  7
                  Если коммит пойдет в продакшн, предлагаю начать регистрацию через ЛС, не дожидаясь появления формы регистрации (а может её и вовсе не делать, а только по приглашениям как многие проголосовали?)
                   
                  Triton_Mgn, VladimirV and CRACK211 like this.
                  1. CRACK211

                    CRACK211 Elder - Старейшина

                    Joined:
                    16 Sep 2009
                    Messages:
                    1,045
                    Likes Received:
                    1,127
                    Reputations:
                    11
                    Все таки проскакивают точки не соответствующие стандартам таблици) нет BSSIDа но точка как то добавилась в базу?)
                    2015-12-03 Dimancho 10.231.0.0/16 Galaktika WPA/WPA2 mWd36e!1298 none none
                    2015-12-04 Router Scan 105.157.0.0/16 ZTE WPA/WPA2 066207731515 none none
                    2015-12-04 Router Scan 42.2.0.0/16 ChanBB WPA/WPA2 c323323323 12410149 none none
                    2015-12-04 Router Scan 58.176.0.0/16 ASUS WPA/WPA2 sw1221$@ 17459761 none none
                     
                    1. binarymaster

                      binarymaster Elder - Старейшина

                      Joined:
                      11 Dec 2010
                      Messages:
                      4,717
                      Likes Received:
                      10,195
                      Reputations:
                      126
                      Посмотрел коммит. Первое, что бросается в глаза - одна точка в БД привязана к одному UID пользователя. А это означает, либо точки будут бегать от пользователя к пользователю, либо одна точка навечно останется у первого загрузившего.

                      Наверно лучше завести отдельную таблицу привязки точек к нескольким пользователям. Связывать id точки с несколькими uid пользователей.
                      Точки без BSSID могут быть в базе. Какие стандарты это нарушает? Если ESSID достаточно уникальный, то это единственный шанс найти точку.
                       
                      CRACK211 likes this.
                      1. akokarev

                        akokarev Well-Known Member

                        Joined:
                        6 Dec 2012
                        Messages:
                        164
                        Likes Received:
                        309
                        Reputations:
                        7
                        Это только задумка так сделать, ещё не додел связь пользователь-точка. Потом можно будет доделать в отдельную таблицу.
                         
                        1. CRACK211

                          CRACK211 Elder - Старейшина

                          Joined:
                          16 Sep 2009
                          Messages:
                          1,045
                          Likes Received:
                          1,127
                          Reputations:
                          11
                          Мне казалось точки добавляются в связке ESSID+BSSID+key+security+-wps. И вы как то писали) наверно я не так понял. Я думал может скрипт пропускает )
                           
                          1. akokarev

                            akokarev Well-Known Member

                            Joined:
                            6 Dec 2012
                            Messages:
                            164
                            Likes Received:
                            309
                            Reputations:
                            7
                            Так и работает. Запиши данные ESSID+BSSID+key+security+-wps в одну строку на листочек. Затем запиши её же, только без бсида. Строки разные? Разные, значит не совпадают, значит храниться будут обе. А то что бсид пустой - да, разрешено это, если ессид и пароль не пустые
                             
                            CRACK211 likes this.
                            1. Hurg

                              Hurg New Member

                              Joined:
                              1 Oct 2015
                              Messages:
                              15
                              Likes Received:
                              3
                              Reputations:
                              0
                              Есть пожелание поправить выдачу статистики по портам хотя-бы до топ 30.
                               
                              akokarev likes this.
                              1. akokarev

                                akokarev Well-Known Member

                                Joined:
                                6 Dec 2012
                                Messages:
                                164
                                Likes Received:
                                309
                                Reputations:
                                7
                                Интересный косяк, у меня на пустой базе демон finalize и geolocate зависают.
                                Finalize постоянно пишет: "Status: 0 found, 0 no, 5 left (Working)",
                                а Geolocate находит поочередно все точки на карте, затем пишет Done, а потом по новой ищет эти же точки. Task state при этом всегда остается = 2.
                                На версии до авторизации не пробовал, но думаю результат будет тот же.

                                Еще обнаружил постоянные обращения к базе. Например авторизовался через форму, тут же пошли запросы:
                                151204 23:31:13
                                1 Connect root@localhost on 3wifi
                                1 Query SELECT value FROM stats WHERE StatId=1
                                1 Query REPLACE INTO stats SET StatId=1, value=0
                                1 Query REPLACE INTO stats SET StatId=1, value=1

                                1 Query SELECT * FROM users WHERE `login`='admin'
                                1 Quit
                                2 Connect root@localhost on 3wifi
                                2 Query SELECT value FROM stats WHERE StatId=1
                                2 Query UPDATE `users` SET `autologin`='2d46cf03bae06d91e4de567cc2487a04' WHERE `login`='admin'
                                2 Quit
                                3 Connect root@localhost on 3wifi
                                3 Query SELECT value FROM stats WHERE StatId=1
                                3 Query UPDATE `users` SET `ip_hash`='bb44d9d06c462ba4c1df630f43bea2af' WHERE `login`='admin'
                                3 Quit
                                Зеленым выделил полезные запросы, красным лишние. Догадываюсь, что ноги растут из QuerySql и если от этого избавиться, то нагрузка на базу может существенно сократиться.
                                 
                                #755 akokarev, 4 Dec 2015
                                Last edited: 4 Dec 2015
                                1. binarymaster

                                  binarymaster Elder - Старейшина

                                  Joined:
                                  11 Dec 2010
                                  Messages:
                                  4,717
                                  Likes Received:
                                  10,195
                                  Reputations:
                                  126
                                  stats это служебная таблица, которая используется для хранения "состояния" базы, это Fusix делал.
                                   
                                  1. Da5h

                                    Da5h New Member

                                    Joined:
                                    5 Dec 2015
                                    Messages:
                                    6
                                    Likes Received:
                                    0
                                    Reputations:
                                    0
                                    на локалке после попытки upload получаю в ответ :

                                    {"result":true,"upload":{"state":false,"processing":false,"error":[]},"time":0.0017898082733154}


                                    ubuntu 12.04, php5, mysql,php5-mysqli итд... вроде все на месте
                                     
                                    1. akokarev

                                      akokarev Well-Known Member

                                      Joined:
                                      6 Dec 2012
                                      Messages:
                                      164
                                      Likes Received:
                                      309
                                      Reputations:
                                      7
                                      Это из последнего коммита? БД обновили? PHP какой версии? У меня на php 5.6 работает.
                                       
                                      1. dremmar

                                        dremmar Member

                                        Joined:
                                        5 Dec 2015
                                        Messages:
                                        18
                                        Likes Received:
                                        8
                                        Reputations:
                                        0
                                        День добрый, заметил такую проблему:
                                        при просмотре карты с точками на 3wifi, если поставить минимальный масштаб карты (или близкий к нему),
                                        то на карте пропадают точки, статистика не грузится, поиск перестаёт работать, Router Scan не может загрузить отсканированные роутеры.
                                        Через какое-то время всё восстанавливается.
                                        Дело, вероятно, в том, что на карте отрисовываются все точки, на что системе не хватает памяти.
                                        Прошу обратить на это внимание :rolleyes:

                                        P.S.
                                        и ещё- странно ведёт себя геолокация.
                                        В самом RouterScan местоположение определяется, а на 3wifi- нет.
                                        Например, роутер с ip 27.127.131.203
                                         
                                        #759 dremmar, 5 Dec 2015
                                        Last edited: 5 Dec 2015
                                        ChesteRock likes this.
                                        1. III4664T

                                          III4664T New Member

                                          Joined:
                                          2 Oct 2015
                                          Messages:
                                          6
                                          Likes Received:
                                          1
                                          Reputations:
                                          0
                                          Скиньте, плиз ссылочку для скачки 3wifi locator под Android

                                          Сорри, увидел только что есть отдельная тема )))
                                           
                                          #760 III4664T, 5 Dec 2015
                                          Last edited: 5 Dec 2015