- lms - lists.lms.org.pl

Re: Optymalizacja tabeli stats
by Warden 12 Wrz '03

12 Wrz '03

Łukasz Jarosław Mozer wrote: > Witam. > >> Przyda sie, mam zamiar dorobic cos takiego w PHP do modulu traffic. >> Tak przy okazji liczylem dla Baseciqa rozmiar tabeli stats (dla >> danych 190 kompów i zapisie do bazy co 10 min) 190*6*24*365 =~ >> 10000000 rekordów czyli ok.150 MB danych. Uwzgledniajac to ze nie >> wszystkie komputery sa caly czas wlaczone, mozna spokojnie podzielic >> to przez pól. Jak dorobie omawiana opcje, to kazdy zdecyduje czy to >> duzo czy malo. > > Btw. chciałoby Ci się przepisać statystyki tak żeby korzystały z > LMS.class.php? > > Idea co do statystyk - zmniejszać ich dokładność zależnie od czasu? :) Po co? stosować przyrostowe i przeliczanie wsteczne z usuwaniem przeliczonych danych (ewentualnie) ... -- Pozdrawiam, Radosław 'Warden' Antoniuk GG: 260746 | +48 502 273 393 | 6BONE-HDL: MNT-WARDEN

1 0

Re: Optymalizacja tabeli stats
by Łukasz Jarosław Mozer 12 Wrz '03

12 Wrz '03

Witam. > Przyda sie, mam zamiar dorobic cos takiego w PHP do modulu traffic. > Tak przy okazji liczylem dla Baseciqa rozmiar tabeli stats (dla danych 190 > kompów i zapisie do bazy co 10 min) 190*6*24*365 =~ 10000000 rekordów czyli > ok.150 MB danych. Uwzgledniajac to ze nie wszystkie komputery sa caly czas > wlaczone, mozna spokojnie podzielic to przez pól. Jak dorobie omawiana > opcje, to kazdy zdecyduje czy to duzo czy malo. Btw. chciałoby Ci się przepisać statystyki tak żeby korzystały z LMS.class.php? Idea co do statystyk - zmniejszać ich dokładność zależnie od czasu? :) -- Łukasz Jarosław Mozer http://www.baseciq.org mailto: lukasz(a)rulez.pl

1 0

Re: Optymalizacja tabeli stats
by A.L.E.C 11 Wrz '03

11 Wrz '03

> Witam, > > Witajcie. Podsylam maly programik w perlu sluzacy do optymalizacji > tabeli stats poprzez: > - usuwanie rekordow pustych > - "kompresowanie" poprzez sumowanie wpisow godzina po godzinie > (rozdzielczosc godzinowa dla statystyk jest wystarczajaca, a ogranicza > rozmiar bazy). > Zyski z optymalizacji sa spore, zwlaszcza przy sporej czestotliwosci > zapisywania statystyk do bazy (np co 5 minut) i pozwala oczyscic baze > z wpisow pustych, ktore czesc z was ma w bazach. > > Moze sie przyda :) Przyda sie, mam zamiar dorobic cos takiego w PHP do modulu traffic. Tak przy okazji liczylem dla Baseciqa rozmiar tabeli stats (dla danych 190 kompów i zapisie do bazy co 10 min) 190*6*24*365 =~ 10000000 rekordów czyli ok.150 MB danych. Uwzgledniajac to ze nie wszystkie komputery sa caly czas wlaczone, mozna spokojnie podzielic to przez pól. Jak dorobie omawiana opcje, to kazdy zdecyduje czy to duzo czy malo. -- Pozdrawiam Aleksander Machniak ( A.L.E.C ) http://k27.prv.pl/alec GG-2275252

1 0

Optymalizacja tabeli stats
by Przemek SAKO Galczewski 11 Wrz '03

11 Wrz '03

Witam, Witajcie. Podsylam maly programik w perlu sluzacy do optymalizacji tabeli stats poprzez: - usuwanie rekordow pustych - "kompresowanie" poprzez sumowanie wpisow godzina po godzinie (rozdzielczosc godzinowa dla statystyk jest wystarczajaca, a ogranicza rozmiar bazy). Zyski z optymalizacji sa spore, zwlaszcza przy sporej czestotliwosci zapisywania statystyk do bazy (np co 5 minut) i pozwala oczyscic baze z wpisow pustych, ktore czesc z was ma w bazach. Moze sie przyda :) http://www.infinity.waw.pl/lms/lms-optimize-stats -- Best regards, Przemek mailto:sako@infinity.waw.pl

1 0

Re: statystyki etc....
by pbern＠pbern.biz 11 Wrz '03

11 Wrz '03

On Thu, 11 Sep 2003, A.L.E.C wrote: > Dokladniej to widze to tak: user wybiera okres do którego chce miec dane > szczególowe, a pozostale dane beda 'kompaktowane', czyli usredniane do > wartosci godzinnych lub dniowych (tez w zaleznosci od woli usera). to moze od razu zamiast sql`a rrd-tools? Pozdrawiam Pawel Bernadowski GG 3377, email kontakt(a)pbern.biz

1 0

Re: statystyki etc....
by A.L.E.C 11 Wrz '03

11 Wrz '03

> tak, i jest ich stosunkowo duzo. w przypadku logowania do bazy co > powiedzmy 5 minut przyrosty rozmiaru bazy sa ogromne. Napisalem > programik, ktory optymalizuje stare wpisy w bazie pozostawiajac tylko > 1 per komputer per user per godzina (sumuje). wynik? na mojej bazie > 20 krotne zmniejszenie objetosci i ilosci rekordow. zapis co 5 minut > pozwala na sledzenie aktualnego ruchu i zmniejsza ewentualne straty > zawartosci licznikow przy eksperymentach (np restartowanie firewalla). Prawdopodobnie dodam taka opcje, moze jakbys podrzucil swoje rozwiazanie, to byloby szybciej. Dokladniej to widze to tak: user wybiera okres do którego chce miec dane szczególowe, a pozostale dane beda 'kompaktowane', czyli usredniane do wartosci godzinnych lub dniowych (tez w zaleznosci od woli usera). -- Pozdrawiam Aleksander Machniak ( A.L.E.C ) http://k27.prv.pl/alec GG-2275252

1 0

Re: statystyki etc....
by A.L.E.C 11 Wrz '03

11 Wrz '03

> Jednak cos nadal jest nie tak... > 1. ze skrypt wrzuca do bazy takze te rekordy ktore maja > upload/download 0/0 >> 25 | 1063263120 | 0 | 0 | >> 48 | 1063263120 | 0 | 0 | >> 15 | 1063263120 | 0 | 0 | >> 13 | 1063263120 | 9596 | 13921 | >> 21 | 1063263120 | 6840204 | 1844585 | >> 17 | 1063263120 | 0 | 0 | >> 14 | 1063263120 | 134361891 | 28390624 | >> 29 | 1063263120 | 4053 | 33577 | >> 47 | 1063263120 | 0 | 0 | >> 30 | 1063263120 | 0 | 0 | >> 19 | 1063263120 | 0 | 0 | >> 44 | 1063263120 | 157423681 | 264483984 | >> 7 | 1063263120 | 0 | 0 | >> 2 | 1063263120 | 0 | 0 | >> 39 | 1063263120 | 0 | 0 | > +--------+------------+-----------+-----------+ > 1536 rows in set (0.00 sec) Spróbuj najnowsza wersje (sprzed chwili), jak nie pomoze, to podrzuc fragment traffic.log. U mnie nie wrzuca zerowych danych. Mozesz tez usuwac zerowe wpisy przed wrzuceniem do logów. > Drugie iz na www nie generuje zadnych wykresow.. czy to wybiore z > listy konkretny czas... czy ostatni dzien/miesiac/rok... > > Pojawia sie strona by ponownie wybrac zakres czasu.. tyle ze pola te > sa puste... No nie wiem, u mnie chodzi dobrze, na demie (lms.rulez.pl) tez. p.s. nikt nie zauwazyl w filtrze bledu. Bylo dwukrotnie 'Od', a powinno byc 'Od' i 'Do'. W zwiazku z tym, nalezy zauwazyc ze data od powinna byc wczesniejsza o daty 'Do', nie odwrotnie. -- Pozdrawiam Aleksander Machniak ( A.L.E.C ) http://k27.prv.pl/alec GG-2275252

1 0

Re: ASI - another sick idea: konfigurowanie via www
by A.L.E.C 11 Wrz '03

11 Wrz '03

> Witam. > > Co powiecie nt. konfigurowania wszystkich których się da parametrów > via PHP-UI? Tj, począwszy od page-limitera a na innych chorych > rzeczach skończywszy? Czekam na opinie. Jak najbardziej, jestem za tym aby jak najwięcej można było skonfigurować przez przeglądarkę. -- Pozdrawiam Aleksander Machniak ( A.L.E.C ) http://k27.prv.pl/alec GG-2275252

1 0

Re: statystyki etc....
by Łukasz Jarosław Mozer 11 Wrz '03

11 Wrz '03

Witam. > Jednak cos nadal jest nie tak... > 1. ze skrypt wrzuca do bazy takze te rekordy ktore maja upload/download > 0/0 > | 25 | 1063263120 | 0 | 0 | > | 48 | 1063263120 | 0 | 0 | > | 15 | 1063263120 | 0 | 0 | > | 13 | 1063263120 | 9596 | 13921 | > | 21 | 1063263120 | 6840204 | 1844585 | > | 17 | 1063263120 | 0 | 0 | > | 14 | 1063263120 | 134361891 | 28390624 | > | 29 | 1063263120 | 4053 | 33577 | > | 47 | 1063263120 | 0 | 0 | > | 30 | 1063263120 | 0 | 0 | > | 19 | 1063263120 | 0 | 0 | > | 44 | 1063263120 | 157423681 | 264483984 | > | 7 | 1063263120 | 0 | 0 | > | 2 | 1063263120 | 0 | 0 | > | 39 | 1063263120 | 0 | 0 | > +--------+------------+-----------+-----------+ > 1536 rows in set (0.00 sec) To nie mój skrypt wrzuca do bazy, a zapisuje do pliku zerowe wartości. Okej teraz nie powinien zapisywać do loga danych z wartością równą zero: diff -u -r1.3 lms-traffic-logiptables --- bin/lms-traffic-logiptables 10 Sep 2003 21:00:05 -0000 1.3 +++ bin/lms-traffic-logiptables 11 Sep 2003 13:49:18 -0000 @@ -217,7 +217,7 @@ { foreach my $key (keys %downloads) { - print LOGFILE "$key $uploads{$key} $downloads{$key}\n"; + print LOGFILE "$key $uploads{$key} $downloads{$key}\n" if($uploads{$key} ne 0 || $downloads{$key} ne 0); } close(LOGFILE); } -- Łukasz Jarosław Mozer http://www.baseciq.org mailto: lukasz(a)rulez.pl

1 0

Re: statystyki etc....
by Przemek SAKO Galczewski 11 Wrz '03

11 Wrz '03

Hello pbern, Thursday, September 11, 2003, 8:59:14 AM, you wrote: ppb> Jednak cos nadal jest nie tak... ppb> 1. ze skrypt wrzuca do bazy takze te rekordy ktore maja upload/download ppb> 0/0 tak, i jest ich stosunkowo duzo. w przypadku logowania do bazy co powiedzmy 5 minut przyrosty rozmiaru bazy sa ogromne. Napisalem programik, ktory optymalizuje stare wpisy w bazie pozostawiajac tylko 1 per komputer per user per godzina (sumuje). wynik? na mojej bazie 20 krotne zmniejszenie objetosci i ilosci rekordow. zapis co 5 minut pozwala na sledzenie aktualnego ruchu i zmniejsza ewentualne straty zawartosci licznikow przy eksperymentach (np restartowanie firewalla). ppb> Drugie iz na www nie generuje zadnych wykresow.. czy to wybiore z listy ppb> konkretny czas... czy ostatni dzien/miesiac/rok... ppb> Pojawia sie strona by ponownie wybrac zakres czasu.. tyle ze pola te sa ppb> puste... u mnie bylo to samo, obszedlem to poprawiajac linie w traffic.php: $upload[dane] [] = $row[upload]+1; $download[dane] [] = $row[download]+1; pokazuje wtedy wszystkie hosty na liscie - takze te o zerowych transferach, ale mi to odpowiada. -- Best regards, Przemek mailto:sako@infinity.waw.pl

1 0