Redis: Datenbankgröße / -größe für Schlüssel anzeigen

Meine Redis-Instanz scheint sehr groß zu werden und ich möchte herausfinden, welche der mehreren Datenbanken, die ich dort habe, wie viel Speicher verbraucht. Der INFOBefehl von Redis zeigt mir nur die Gesamtgröße und die Anzahl der Schlüssel pro Datenbank an, was mir nicht viel Einblick gibt. Daher sind alle Tools / Ideen, die mir bei der Überwachung des Redis-Servers mehr Informationen geben, willkommen.

Die Redis-Dokumentation zeigt mir keine Befehle, die den verbrauchten Speicher bestimmter Schlüssel zurückgeben können. Wenn also ein fehlerhafter Code viel "Müll" in Redis schreiben würde, könnte dies sehr schwer zu finden sein ...

Also meine Lösung für mein eigenes Problem: Nachdem redis-cliich ein bisschen länger herumgespielt hatte, fand ich heraus, dass DEBUG OBJECT <key>sich so etwas wie der serializedlengthSchlüssel herausstellt, was eigentlich etwas war, wonach ich gesucht habe ...

Für eine ganze Datenbank müssen Sie alle Werte zusammenfassen, für KEYS *die es mit einer Skriptsprache Ihrer Wahl nicht allzu schwierig sein sollte ...

Das Schlimme ist, dass redis.io nicht wirklich viele Informationen hat DEBUG OBJECT.

Die Lösung aus den Kommentaren verdient eine eigene Antwort:

redis-cli --bigkeys

MEMORY USAGE key Der Befehl gibt die Anzahl der Bytes an, die ein Schlüssel und sein Wert im RAM speichern müssen.

Die gemeldete Nutzung ist die Summe der Speicherzuweisungen für Daten und Verwaltungsaufwand, die ein Schlüssel für seinen Wert benötigt (Quell-Redis-Dokumentation).

Schauen Sie sich dieses Projekt an, in dem einige interessante Statistiken zu Schlüsselbereichen ausgegeben werden, die auf regulären Ausdrücken und Präfixen basieren. Es verwendet den DEBUG OBJECTBefehl und scannt die Datenbank, identifiziert Schlüsselgruppen und schätzt den Prozentsatz des Speicherplatzes, den sie belegen.

https://github.com/snmaynard/redis-audit

Die Ausgabe sieht folgendermaßen aus:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Oder dies hier: https://github.com/sripathikrishnan/redis-rdb-tools, das eine vollständige Analyse des gesamten Schlüsselraums durch Offline-Analyse einer dump.rdb-Datei durchführt. Dieser funktioniert auch gut. Es kann Ihnen die durchschnittliche / min / max-Größe für die Einträge in Ihrer Datenbank geben und wird dies sogar basierend auf einem Präfix tun.

Es kann sehr nützlich sein, Redis-Schlüssel zu testen und nach Typ zu gruppieren. Salvatore hat ein Tool namens Redis-Sampler geschrieben , das ungefähr 10000 RANDOMKEYBefehle gefolgt von a ausgibtTYPE bei abgerufenen Schlüsseln. Innerhalb von Sekunden oder Minuten sollten Sie eine ziemlich genaue Ansicht der Verteilung der Schlüsseltypen erhalten.

Ich habe eine Erweiterung geschrieben (leider nirgendwo Open Source, da sie arbeitsbezogen ist), die ein wenig Introspektion von Schlüsselnamen über Regexs hinzufügt, die Ihnen eine Vorstellung davon geben, welche Arten von Anwendungsschlüsseln (je nach Ihrer Namensstruktur) using), werden in Redis gespeichert. In Kombination mit der allgemeineren Ausgabe von Redis-Sampler sollte dies Ihnen eine äußerst gute Vorstellung davon geben, was los ist.

Vielleicht können Sie die Datenbankdatei überprüfen. Das Protokoll ist relativ einfach (aber nicht gut dokumentiert), sodass Sie einen Parser dafür schreiben können, um festzustellen, welche einzelnen Schlüssel viel Platz beanspruchen.

Neue Vorschläge:

Haben Sie versucht MONITOR, live zu sehen, was geschrieben wird? Vielleicht können Sie das Problem mit den Daten in Bewegung finden.

Sie können die .net-Anwendung https://github.com/abhiyx/RedisSizeCalculator verwenden , um die Größe des Redis-Schlüssels zu berechnen.

Bitte zögern Sie nicht, Ihr Feedback dazu zu geben

Normalerweise bevorzuge ich die Schlüsselstichprobenmethode, um solche Szenarien zu beheben.

redis-cli -p 6379 -n db_number --bigkeys

Z.B:-

redis-cli -p 6370 -n 0 - große Schlüssel