Was ist das beste Tool, um Verkehrsstatistiken von mehreren Nginx-Servern zu aggregieren?

7

Die Einrichtung:

2 or more nginx machines
each machine has the same virtual hosts
traffic is load balanced via DNS to each machine

Ich muss herausfinden, welche Tools am besten geeignet sind, um einige Verkehrsstatistiken zu erhalten, die hauptsächlich an der Anzahl der Treffer und dem Gesamtverkehr in Gigabyte interessiert sind. Offensichtlich stammen die Protokollinformationen von nginx und sind wie folgt formatiert:

  log_format  main  '$remote_addr $host $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$gzip_ratio"';

— gekkz
quelle

1

awstats ist definitiv das Werkzeug für den Job.

— Marco Ramos
quelle

1

awstats enthält logmerge.pl, das das Protokoll zusammenführt und zeitlich sortiert, bevor es an awstats übergeben wird. LogFile = "/ usr / share / doc / awstats / examples / logresolvemerge.pl /gfs/weblogs/c1ws*-vcommon-access.log.1 |"

— user6738237482

0

rsync protokolliert (oder teilt nfs, wenn Sie sich mutig fühlen) an einem Ort und verwendet dann awstats zur Analyse.

— Rytis
quelle

0

Unabhängig davon, welches Analyseprogramm Sie verwenden möchten, wird logresolvemerge.pl mit ziemlicher Sicherheit Ihr Gewinner beim Zusammenführen der Protokolle selbst sein. Zusätzlich zu Marcos gelisteter Syntax für awstats funktioniert es wie ein Champion als eigenständiges Programm im Sinne von:

/path/to/logresolvemerge.pl /path/to/one/big/logfile /path/to/many/files/ending/in/*.log > /path/to/merged/log.file

— BMDan
quelle