Konvertieren von Django QuerySet in Pandas DataFrame

Ich werde ein Django QuerySet DataFramewie folgt in ein Pandas konvertieren :

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Es funktioniert, aber gibt es einen effizienteren Weg?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Das Obige ist, wie ich das gleiche mache. Die nützlichste Ergänzung ist die Angabe der Felder, an denen Sie interessiert sind. Wenn es sich nur um eine Teilmenge der verfügbaren Felder handelt, an denen Sie interessiert sind, würde dies meiner Meinung nach zu einer Leistungssteigerung führen.

Django Pandas löst dies ziemlich ordentlich: https://github.com/chrisdev/django-pandas/

Aus der README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Das Konvertieren des Abfragesatzes in values_list () ist speichereffizienter als in values ​​() direkt. Da die Methode values ​​() eine Abfragemenge der Liste von dict (Schlüssel: Wertepaare) zurückgibt, gibt values_list () nur die Liste von Tupeln (reine Daten) zurück. Dies spart etwa 50% Speicherplatz. Sie müssen lediglich die Spalteninformationen festlegen, wenn Sie pd.DataFrame () aufrufen.

Methode 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (Liste (Abfragesatz)) ## verbraucht viel Speicher
    #df = pd.DataFrame.from_records (Abfragesatz) ## funktioniert, ändert sich jedoch nicht wesentlich an der Speichernutzung

Methode 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (Liste (Abfragesatz), Spalten = ["A", "B", "C", "D"]) ## Dies spart 50% Speicher
    #df = pd.DataFrame.from_records (Abfragesatz, Spalten = ["A", "B", "C", "D"]) ## Es funktioniert nicht. Absturz mit Datentyp ist Queryset nicht Liste.

Ich habe dies in meinem Projekt mit> 1 Million Zeilendaten getestet, der Spitzenspeicher ist von 2G auf 1G reduziert.

Aus der Django-Perspektive (mit der ich nicht vertraut bin pandas) ist dies in Ordnung. Meine einzige Sorge ist, dass bei einer sehr großen Anzahl von Datensätzen Speicherprobleme auftreten können. Wenn dies der Fall wäre, wäre etwas in der Art dieses speichereffizienten Abfragesatz-Iterators erforderlich. (Das geschriebene Snippet muss möglicherweise neu geschrieben werden, damit Sie es intelligent verwenden können. .values())

Sie können möglicherweise model_to_dict verwenden

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()