Naplóüzenetek
automatizált rendszerezése és feldolgozása
Naplózás
naplóbejegyzés
üzenetküldés
debuggolás
Diplomaterv
Gyöngyösi Péter
Strukturált naplózási megoldások
BSD syslog protokoll
RFC 3195
RFC 5424
SNMP
Események felismerése
artificial ignorance
üzenetsémák keresése
strukturáltság visszanyerése
Logok klaszterezése
klaszteranalízís
naplóüzenetek speciális tulajdonságai
SLCT
hierarchikus
partícionáló
sûrûségi
k-means!
sok!
nem tudjuk, hány csoport lesz
távolságmérce?
szavakra vágás?
Risto Vaarandi, 2003
szavak kigyûjtése pozícióval
gyakoriszó-lista
sorokban gyakori szavak keresése
ahol nincs gyakori szó: *
klaszterjelöltek
klaszterek
pdbtool patternize
Technikai megvalósítás
SLCT algoritmus implementálása
syslog-ng patterneket állítson elõ
C nyelven, syslog-ng pdbtool részeként
syslog-ng kódolási konvenciókhoz illeszkedve, GLib erõteljes használata
patternek jó minõsége a cél, nem a memória- vagy processzoroptimalizáció
Elõállított patternek
http.accounting(4): @ESTRING:: @Accounting; command='GET',
Futásidõ és memóriaigény
vs.
adatméret
Patternszám és lefedettség
vs.
support-érték
kis support kell!
Iteratív klaszterezés
gond: csoportonként változó support-érték
kimaradtakon újra futtassuk!
Köszönöm a figyelmet!
A bíráló kérdései
Memóriahasználat és futásidő vs. support-érték
Többszálúsítás
logsorok 1..N
logsorok 1..k
logsorok k+1..2k
...
logsorok ..N
patternkeresés
patternkeresés
patternkeresés
patternkeresés
patterndb
összefésülés