Wie kann ich mit Go eine große Datei effizient herunterladen?

Gibt es eine Möglichkeit, eine große Datei mit Go herunterzuladen, bei der der Inhalt direkt in einer Datei gespeichert wird, anstatt alles im Speicher zu speichern, bevor er in eine Datei geschrieben wird? Da die Datei so groß ist, wird das Speichern des gesamten Speichers vor dem Schreiben in eine Datei den gesamten Speicher belegen.

Ich gehe davon aus, dass Sie den Download über http meinen (Fehlerprüfungen wurden der Kürze halber weggelassen):

import ("net/http"; "io"; "os")
...
out, err := os.Create("output.txt")
defer out.Close()
...
resp, err := http.Get("http://example.com/")
defer resp.Body.Close()
...
n, err := io.Copy(out, resp.Body)

Der Körper der http.Response ist ein Reader, sodass Sie alle Funktionen eines Readers verwenden können, um beispielsweise einen Block gleichzeitig und nicht alle gleichzeitig zu lesen. In diesem speziellen Fall io.Copy()erledigt das Grunzen für Sie.

Eine aussagekräftigere Version von Steve Ms Antwort.

import (
    "os"
    "net/http"
    "io"
)

func downloadFile(filepath string, url string) (err error) {

  // Create the file
  out, err := os.Create(filepath)
  if err != nil  {
    return err
  }
  defer out.Close()

  // Get the data
  resp, err := http.Get(url)
  if err != nil {
    return err
  }
  defer resp.Body.Close()

  // Check server response
  if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("bad status: %s", resp.Status)
  }

  // Writer the body to file
  _, err = io.Copy(out, resp.Body)
  if err != nil  {
    return err
  }

  return nil
}

Die oben ausgewählte Antwort io.Copylautet genau das, was Sie benötigen. Wenn Sie jedoch an zusätzlichen Funktionen wie der Wiederaufnahme fehlerhafter Downloads, der automatischen Benennung von Dateien, der Überprüfung der Prüfsumme oder der Überwachung des Fortschritts mehrerer Downloads interessiert sind, lesen Sie das Grab- Paket.

1. Hier ist ein Beispiel. https://github.com/thbar/golang-playground/blob/master/download-files.go

2. Außerdem gebe ich dir einige Codes, die dir helfen könnten.

Code:

func HTTPDownload(uri string) ([]byte, error) {
    fmt.Printf("HTTPDownload From: %s.\n", uri)
    res, err := http.Get(uri)
    if err != nil {
        log.Fatal(err)
    }
    defer res.Body.Close()
    d, err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("ReadFile: Size of download: %d\n", len(d))
    return d, err
}

func WriteFile(dst string, d []byte) error {
    fmt.Printf("WriteFile: Size of download: %d\n", len(d))
    err := ioutil.WriteFile(dst, d, 0444)
    if err != nil {
        log.Fatal(err)
    }
    return err
}

func DownloadToFile(uri string, dst string) {
    fmt.Printf("DownloadToFile From: %s.\n", uri)
    if d, err := HTTPDownload(uri); err == nil {
        fmt.Printf("downloaded %s.\n", uri)
        if WriteFile(dst, d) == nil {
            fmt.Printf("saved %s as %s\n", uri, dst)
        }
    }
}