Laden Sie eine große Datei in Python mit Anfragen herunter

Requests ist eine wirklich schöne Bibliothek. Ich möchte es zum Herunterladen großer Dateien (> 1 GB) verwenden. Das Problem ist, dass es nicht möglich ist, die gesamte Datei im Speicher zu halten. Ich muss sie in Blöcken lesen. Und dies ist ein Problem mit dem folgenden Code

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

Aus irgendeinem Grund funktioniert es nicht so. Die Antwort wird weiterhin in den Speicher geladen, bevor sie in einer Datei gespeichert wird.

AKTUALISIEREN

Wenn Sie einen kleinen Client (Python 2.x / 3.x) benötigen, der große Dateien von FTP herunterladen kann, finden Sie ihn hier . Es unterstützt Multithreading und erneutes Verbinden (es überwacht Verbindungen) und optimiert Socket-Parameter für die Download-Aufgabe.

Mit dem folgenden Streaming-Code wird die Python-Speichernutzung unabhängig von der Größe der heruntergeladenen Datei eingeschränkt:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

Beachten Sie, dass die Anzahl der zurückgegebenen Bytes iter_contentnicht genau der Anzahl entspricht chunk_size. Es wird erwartet, dass es sich um eine Zufallszahl handelt, die oft viel größer ist und sich in jeder Iteration unterscheidet.

Siehe https://requests.readthedocs.io/en/latest/user/advanced/#body-content-workflow und https://requests.readthedocs.io/en/latest/api/#requests.Response.iter_content für weitere Referenz.

Es ist viel einfacher, wenn Sie Response.rawund shutil.copyfileobj():

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

Dadurch wird die Datei ohne übermäßigen Speicherplatz auf die Festplatte gestreamt, und der Code ist einfach.

Nicht genau das, was OP gefragt hat, aber ... es ist lächerlich einfach, das zu tun mit urllib:

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

Oder auf diese Weise, wenn Sie es in einer temporären Datei speichern möchten:

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

Ich habe den Prozess beobachtet:

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

Und ich sah die Datei wachsen, aber die Speichernutzung blieb bei 17 MB. Vermisse ich etwas

Ihre Chunk-Größe könnte zu groß sein. Haben Sie versucht, das zu löschen - vielleicht 1024 Bytes gleichzeitig? (Sie können withauch die Syntax aufräumen)

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

Wie können Sie übrigens feststellen, dass die Antwort in den Speicher geladen wurde?

Es hört sich so an, als würde Python die Daten nicht von anderen in eine Datei leeren SO Fragen Sie könnten versuchen , f.flush()und os.fsync()die Datei schreiben und den freien Speicher zu zwingen;

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())