Wie wirkt sich eine Abweichung in der Ausführungszeit der Aufgabe auf die Makespan aus?

16

wir haben eine große Auflistung von Tasks und eine Auflistung von identischen (in Bezug auf die Leistung) Prozessoren , die vollständig in ausgeführt werden parallel. Für interessante Szenarien können wir annehmen . Jedes benötigt einige Zeit / Zyklen, um abgeschlossen zu werden, sobald es einem Prozessor zugewiesen wurde. Sobald es zugewiesen wurde, kann es erst nach Abschluss erneut zugewiesen werden (Prozessoren erledigen eventuell zugewiesene Aufgaben). Nehmen wir an, dass jedes eine Zeit / Zyklen $\tau_1, \tau_2, ..., \tau_n$ $\rho_1, \rho_2, ..., \rho_m$ $m \leq n$ $\tau_i$ $\rho_j$ $\tau_i$ $X_i$ , nicht im Voraus bekannt, aus einer diskreten Zufallsverteilung entnommen. Für diese Frage können wir sogar eine einfache Verteilung annehmen: und alle sind paarweise unabhängig. Deshalb ist und . $P(X_i = 1) = P(X_i = 5) = 1/2$ $X_i$ $\mu_i = 3$ $\sigma^2 = 4$

Nehmen wir an, dass statisch zum Zeitpunkt / Zyklus 0 alle Aufgaben so gleichmäßig wie möglich auf alle Prozessoren verteilt werden, und zwar gleichmäßig nach dem Zufallsprinzip. jedem prozessor sind also zugeordnet (wir können für die der genauso gut annehmen ). Wir nennen die Produktionsspanne der Zeit / Zyklus , bei dem der letzte Prozessor ihre zugewiesene Arbeit zu beenden, die Arbeit beendet zugewiesen wurde. Erste Frage: $\rho_j$ $n/m$ $m | n$ $\rho^*$

Was ist als Funktion von , und den die Makespan ? Was ist konkret ? ? $m$ $n$ $X_i$ $M$ $E[M]$ $Var[M]$

Zweite Frage:

Angenommen, und alle sind paarweise unabhängig, also ist und . Was ist der Makespan als Funktion von , und diesen neuen ? Interessanter ist, wie verhält es sich mit der Antwort aus dem ersten Teil? $P(X_i = 2) = P(X_i = 4) = 1/2$ $X_i$ $\mu_i = 3$ $\sigma^2 = 1$ $m$ $n$ $X_i$

Einige einfache Gedankenexperimente zeigen, dass die Antwort auf letztere ist, dass die Makespan länger ist. Aber wie kann das quantifiziert werden? Ich werde gerne ein Beispiel posten, wenn dies entweder (a) umstritten oder (b) unklar ist. Abhängig vom Erfolg dieses Tests werde ich unter den gleichen Voraussetzungen eine Folgefrage zu einem dynamischen Zuweisungsschema stellen. Danke im Voraus!

Analyse eines einfachen Falls: $m = 1$

Wenn , werden alle Tasks für denselben Prozessor geplant. Die Makespan ist genau die richtige Zeit, um Aufgaben in einer vollständigen Abfolge zu erledigen. Daher und $m = 1$ $n$ $M$ $n$

\begin{aligned} E [M] & = E [X_{1} + X_{2} + . . . + X_{n}] \\ = E [X_{1}] + E [X_{2}] + . . . + E [X_{n}] \\ = μ + μ + . . . + μ \\ = n μ \end{aligned}

$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$

\begin{aligned} V a r [M] & = V a r [X_{1} + X_{2} + . . . + X_{n}] \\ = V a r [X_{1}] + V a r [X_{2}] + . . . + V a r [X_{n}] \\ = σ^{2} + σ^{2} + . . . + σ^{2} \\ = n σ^{2} \end{aligned}

$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$

Es scheint möglich zu sein, dieses Ergebnis zur Beantwortung der Frage für . wir müssen einfach einen Ausdruck (oder eine enge Annäherung) für wobei , eine Zufallsvariable mit und . Geht dieser Kurs in die richtige Richtung? $m > 1$ $\max(Y_1, Y_2, ..., Y_m)$ $Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$ $\mu_Y = \frac{n}{m}\mu_X$ $\sigma_Y^2 = \frac{n}{m}\sigma_X^2$

probability-theory scheduling parallel-computing

— Patrick87
quelle

Gute Frage. Wenn es heute nur keine Frist gäbe ...

— Dave Clarke

8

Da , können wir dies in Form von und anstelle von und . Nehmen wir an, ist die Zeit, die der te Prozessor benötigt, um seine Arbeit abzuschließen. $m = k \times n$ $k$ $n$ $n$ $m$ $T_i$ $i$

Als wächst, ist die Wahrscheinlichkeit , dass = (hat der Prozessor nur zugewiesen für einige Aufgaben) nähert sich , so Makespan Wesen definiert , nähert . $n$ $T_i$ $5k$ $T=5$ $i$ $1$ $\mathrm{max}(T_i)$ $E[M]$ $5k$

Für das zweite Szenario ist dies Wenn Sie also die Anzahl der Prozessoren erhöhen, wird die 4–2-Aufteilung besser. $4k$

Was ist mit - Erhöhung der Anzahl der Aufgaben pro Prozessor? Ein Erhöhen von hat den gegenteiligen Effekt, und es ist weniger wahrscheinlich, dass ein Prozessor eine Reihe unglücklicher Aufgaben hat. Ich gehe jetzt nach Hause, aber darauf komme ich später zurück. Meine "Vermutung" ist, dass mit zunehmendem der Unterschied in zwischen dem 4-2-Split und dem 5-1-Split verschwindet und für beide gleich wird. Daher würde ich davon ausgehen, dass 4–2 immer besser ist, außer vielleicht für einige Sonderfälle (sehr kleine spezifische Werte von und ), wenn auch das. $k$ $k$ $k$ $E[M]$ $E[M]$ $k$ $n$

Um es zusammenzufassen:

Eine geringere Varianz ist besser, alle anderen sind gleich.
Mit zunehmender Anzahl von Prozessoren wird eine geringere Varianz wichtiger.
Mit zunehmender Anzahl von Aufgaben pro Prozessor wird eine geringere Varianz weniger wichtig.

— svinja
quelle

+1 Hervorragende Intuition, und dies hilft mir auch, mein Denken zu klären. Wenn Sie also die Anzahl der Prozessoren erhöhen, steigt die Makespan-Rate unter der Annahme einer schwachen Skalierung. Wenn Sie die Anzahl der Tasks erhöhen, wird die Makespan-Rate unter der Annahme einer starken Skalierung tendenziell verringert (dies dauert natürlich länger; ich meine, das Verhältnis von Arbeit zu Makespan verbessert sich). Dies sind interessante Beobachtungen, und sie scheinen wahr zu sein;

— Patrick87

die erste ist durch die Tatsache gerechtfertigt, dass für festes zu tendiert und erhöht ; Letzteres durch die Tatsache, dass ... also das Die Varianz steigt nicht linear als Funktion von . Ist das mit Ihrem Denken vereinbar (so interpretiere ich, was Sie bisher haben)?

1 - (1 - P (X = 5)^{k})^{n}

$1 - (1 - P(X = 5)^k)^n$

1

$1$

k

$k$

n

$n$

V a r [X + X] = V a r [X] + V a r [X] = 2 σ^{2} \leq 4 σ^{2} = 4 V a r [X] = V a r [2 X]

$Var[X + X] = Var[X] + Var[X] = 2\sigma^2 \leq 4\sigma^2 = 4Var[X] = Var[2X]$

k

$k$

— Patrick87

Ich weiß nicht, woher die "Ahnung" kam; es stimmt nicht mit dem Rest der heuristischen Argumentation überein.

— András Salamon

2

Ich stelle fest, dass heuristische Argumente bei der Planung von Aufgaben (und damit zusammenhängenden Problemen wie dem Verpacken von Behältern) oft irreführend sind. Dinge können passieren, die nicht intuitiv sind. Für solch einen einfachen Fall lohnt es sich, die Wahrscheinlichkeitstheorie tatsächlich anzuwenden.

Sei mit eine positive ganze Zahl. Angenommen, ist die Zeit, die benötigt wird, um die te Aufgabe zu erfüllen, die dem Prozessor . Dies ist eine Zufallsvariable mit Mittelwert und Varianz . Die erwartete Zeitspanne im ersten Fall ist Die Summen sind alle iid mit dem Mittelwert und der Varianz , unter der Annahme, dass alle iid sind (dies ist stärker als die paarweise Unabhängigkeit). $n = km$ $k$ $T_{ij}$ $j$ $i$ $\mu$ $\sigma^2$

E [M] = E [max {\sum_{j = 1}^{k} T_{i j} ∣ i = 1, 2, \dots, m}] .

$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$

k μ

$k\mu$

k σ^{2}

$k\sigma^2$

T_{i j}

$T_{ij}$

Um nun die Erwartung eines Maximums zu erhalten, benötigt man entweder mehr Informationen über die Verteilung, oder man muss sich mit verteilungsfreien Grenzen zufrieden geben, wie zum Beispiel:

Peter J. Downey, Verteilungsfreie Grenzen für die Erwartung des Maximums bei Planungsanwendungen , Operations Research Letters 9 , 189–201, 1990. doi: 10.1016 / 0167-6377 (90) 90018-Z

die angewendet werden kann, wenn die prozessorbezogenen Summen iid sind. Dies wäre nicht unbedingt der Fall, wenn die zugrunde liegenden Zeiten nur paarweise unabhängig wären. Insbesondere ist nach Satz 1 die erwartete Makespan durch Downey gibt auch eine bestimmte Verteilung an, die diese Grenze erreicht, obwohl sich die Verteilung wie ändert und nicht genau natürlich ist.

E [M] \leq k μ + σ \sqrt{k} \frac{n - 1}{\sqrt{2 n - 1}} .

$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$

n

$n$

Beachten Sie, dass die Schranke besagt, dass sich die erwartete Makespan mit jedem der Parameter erhöhen kann: die Varianz , die Anzahl der Prozessoren oder die Anzahl der Tasks pro Prozessor . $\sigma^2$ $n$ $k$

Für Ihre zweite Frage scheint das Szenario mit geringer Varianz, das zu einer größeren Makespan führt, ein unwahrscheinliches Ergebnis eines Gedankenexperiments zu sein. Let die Makespan für die erste Verteilung bezeichnen und für die zweite (wobei alle anderen Parameter gleich sind ). Hier bezeichnen und die Summen von Aufgabendauern, die dem Prozessor unter den zwei Verteilungen entsprechen. Für alle ergibt die Unabhängigkeit $X = \max_{i=1}^m X_i$ $Y = \max_{i=1}^m Y_i$ $X_i$ $Y_i$ $k$ $i$ $x \ge k\mu$

P r [X \leq x] = \prod_{i = 1}^{m} P r [X_{i} \leq x] \leq \prod_{i = 1}^{m} P r [Y_{i} \leq x] = P r [Y \leq x] .

$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$ Da der größte Teil der Masse der Wahrscheinlichkeitsverteilung des Maximums über ihrem Mittelwert liegt, ist tendenziell größer als . Dies ist keine vollständig strenge Antwort, aber der zweite Fall scheint kurz gesagt vorzuziehen.

E [X]

$E[X]$

E [Y]

$E[Y]$

— András Salamon
quelle