So optimieren Sie mein R-Skript für die Verwendung von "Multicore"

Ich benutze GNU R auf einem Ubuntu-Lucid-PC mit 4 CPUs. Um alle 4 CPUs nutzen zu können, habe ich das Paket "r-cran-multicore" installiert. Da das Handbuch des Pakets keine praktischen Beispiele enthält, die ich verstehe, benötige ich Ratschläge zur Optimierung meines Skripts, um alle 4 CPUs nutzen zu können.

Mein Datensatz ist ein data.frame (P1 genannt) mit 50.000 Zeilen und 1600 Spalten. Ich möchte für jede Zeile das Maximum, die Summe und den Mittelwert berechnen. Mein Skript sieht folgendermaßen aus:

p1max <- 0
p1mean <- 0
p1sum <-0
plength <- length(P1[,1])
for(i in 1:plength){
   p1max <- c(p1max, max(P1[i,]))
   p1mean <- c(p1mean, mean(P1[i,]))
   p1sum <- c(p1sum, sum(P1[i,]))
}

Kann mir jemand sagen, wie ich das Skript ändern und ausführen soll, um alle 4 CPUs zu nutzen?

Verwenden Sie foreach und doMC . Die ausführliche Erklärung finden Sie hier . Ihr Skript wird die Zeile sehr wenig verändern

for(i in 1:plength){

sollte geändert werden in

foreach(i=1:plength) %dopar% { 

Die Voraussetzungen für ein Multitasking-Skript, das diese Pakete verwendet, sind:

library(foreach)
library(doMC)
registerDoMC()

Hinweis zur Vorsicht. Laut Dokumentation können Sie dies nicht in der GUI verwenden.

Benötigen Sie für Ihr Problem wirklich Multitasking? Ihr data.frame benötigt ungefähr 1,2 GB RAM, sodass er in Ihren Arbeitsspeicher passt. So können Sie einfach anwenden:

p1smry <- apply(P1,1,summary)

Das Ergebnis ist eine Matrix mit Zusammenfassungen jeder Zeile.

Sie können auch die Funktion mclapply verwenden, die im Paket multicore enthalten ist. Dann könnte Ihr Skript so aussehen:

loopfun <- function(i) {
     summary(P1[i,])
}

res <- mclapply(1:nrow(P1),loopfun)

Dies gibt die Liste zurück, wobei das i-te Element die Zusammenfassung der i-ten Zeile ist. Sie können es mit sapply in eine Matrix konvertieren

mres <- sapply(res,function(x)x)

Sie haben bereits eine Antwort darauf, wie Sie mehr als einen Kern verwenden können, aber das eigentliche Problem liegt in der Art und Weise, wie Sie Ihre Schleifen geschrieben haben. Erweitern Sie niemals Ihren Ergebnisvektor / Objekt bei jeder Iteration einer Schleife . Wenn Sie dies tun, zwingen Sie R, Ihren Ergebnisvektor / Ihr Ergebnisobjekt zu kopieren und zu erweitern, was alles Zeit kostet. Weisen Sie stattdessen genügend Speicherplatz vorab zu, bevor Sie die Schleife starten, und füllen Sie diese bei Bedarf aus. Hier ist ein Beispiel:

set.seed(1)
p1 <- matrix(rnorm(10000), ncol=100)
system.time({
p1max <- p1mean <- p1sum <- numeric(length = 100)
for(i in seq_along(p1max)){
   p1max[i] <- max(p1[i,])
   p1mean[i] <- mean(p1[i,])
   p1sum[i ]<- sum(p1[i,])
}
})

   user  system elapsed 
  0.005   0.000   0.005

Oder Sie können diese Dinge tun über apply():

system.time({
p1max2 <- apply(p1, 1, max)
p1mean2 <- apply(p1, 1, mean)
p1sum2 <- apply(p1, 1, sum)
})
   user  system elapsed 
  0.007   0.000   0.006 

Beachten Sie jedoch, dass dies nicht schneller ist, als die Schleife ordnungsgemäß und manchmal langsamer auszuführen.

Achten Sie jedoch immer auf vektorisierten Code. Sie können Zeilensummen und Mittelwerte mitrowSums() und rowMeans()erstellen, die schneller als die Schleife oder die applyVersionen sind:

system.time({
p1max3 <- apply(p1, 1, max)
p1mean3 <- rowMeans(p1)
p1sum3 <- rowSums(p1)
})

   user  system elapsed 
  0.001   0.000   0.002 

Wenn ich ein Wettmann wäre, hätte ich Geld für den dritten Ansatz, den ich beim Schlagen erwähne, foreach()oder für die anderen Optionen mit mehreren Kernen in einem Geschwindigkeitstest für Ihre Matrix, weil sie die Dinge erheblich beschleunigen müssten, um den Mehraufwand beim Einrichten der zu rechtfertigen separate Prozesse, die auf die verschiedenen CPU-Kerne verteilt werden.

Update: Nach dem Kommentar von @shabbychef ist es schneller, die Summen einmal zu machen und bei der Berechnung des Mittelwerts wiederzuverwenden?

system.time({
    p1max4 <- apply(p1, 1, max)
    p1sum4 <- rowSums(p1)
    p1mean4 <- p1sum4 / ncol(p1)
    })

   user  system elapsed 
  0.002   0.000   0.002

Nicht in diesem Testlauf, aber das ist alles andere als erschöpfend ...

Schauen Sie sich die Schnee- und Schneefallpakete an. Viele Beispiele mit denen ...

Wenn Sie diesen bestimmten Code beschleunigen möchten, anstatt R und Parallelität zu lernen, sollten Sie dies tun

P1 = matrix(rnorm(1000), ncol=10, nrow=10
apply(P1, 1, max)
apply(P1, 1, mean)
apply(P1, 1, sum)