Wie kann ich mit ExecutorService warten, bis alle Threads abgeschlossen sind?

Ich muss eine bestimmte Anzahl von Aufgaben 4 gleichzeitig ausführen, ungefähr so:

ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
while(...) {
    taskExecutor.execute(new MyTask());
}
//...wait for completion somehow

Wie kann ich benachrichtigt werden, wenn alle abgeschlossen sind? Im Moment kann ich mir nichts Besseres vorstellen, als einen globalen Aufgabenzähler zu setzen und ihn am Ende jeder Aufgabe zu verringern. Dann diesen Zähler in einer Endlosschleife zu überwachen, um 0 zu werden. oder erhalten Sie eine Liste von Futures und im Endlosschleifenmonitor isDone für alle. Was sind bessere Lösungen ohne Endlosschleifen?

Vielen Dank.

Grundsätzlich auf einen ExecutorServiceAnruf shutdown()und dann awaitTermination():

ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
while(...) {
  taskExecutor.execute(new MyTask());
}
taskExecutor.shutdown();
try {
  taskExecutor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
} catch (InterruptedException e) {
  ...
}

Verwenden Sie einen CountDownLatch :

CountDownLatch latch = new CountDownLatch(totalNumberOfTasks);
ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
while(...) {
  taskExecutor.execute(new MyTask());
}

try {
  latch.await();
} catch (InterruptedException E) {
   // handle
}

und innerhalb Ihrer Aufgabe (in try / finally einschließen)

latch.countDown();

ExecutorService.invokeAll() tut es für dich.

ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
List<Callable<?>> tasks; // your tasks
// invokeAll() returns when all tasks are complete
List<Future<?>> futures = taskExecutor.invokeAll(tasks);

Sie können auch Futures-Listen verwenden:

List<Future> futures = new ArrayList<Future>();
// now add to it:
futures.add(executorInstance.submit(new Callable<Void>() {
  public Void call() throws IOException {
     // do something
    return null;
  }
}));

Wenn Sie dann allen beitreten möchten, entspricht dies im Wesentlichen dem Beitritt zu jedem (mit dem zusätzlichen Vorteil, dass Ausnahmen von untergeordneten Threads zum Haupt-Thread erneut ausgelöst werden):

for(Future f: this.futures) { f.get(); }

Grundsätzlich besteht der Trick darin, .get () für jede Zukunft einzeln aufzurufen, anstatt in einer Endlosschleife isDone () für (alle oder jede) aufzurufen. Sobald der letzte Thread beendet ist, können Sie diesen Block garantiert durchlaufen und passieren. Die Einschränkung besteht darin, dass Sie, da der Aufruf von .get () erneut Ausnahmen auslöst, wenn einer der Threads stirbt, dies möglicherweise auslösen würden, bevor die anderen Threads vollständig abgeschlossen sind [um dies zu vermeiden, können Sie ein https: // hinzufügen stackoverflow.com/a/31885029/32453catch ExecutionException Aufruf um den get-Aufruf ]. Die andere Einschränkung ist, dass ein Verweis auf alle Threads beibehalten wird. Wenn sie also lokale Thread-Variablen haben, werden sie erst erfasst, nachdem Sie diesen Block überschritten haben (obwohl Sie dies möglicherweise umgehen können, wenn es zu einem Problem wurde, indem Sie es entfernen Zukunft ist aus der ArrayList). Wenn Sie wissen möchten, welche Zukunft "zuerst endet"

In Java8 können Sie dies mit CompletableFuture tun :

ExecutorService es = Executors.newFixedThreadPool(4);
List<Runnable> tasks = getTasks();
CompletableFuture<?>[] futures = tasks.stream()
                               .map(task -> CompletableFuture.runAsync(task, es))
                               .toArray(CompletableFuture[]::new);
CompletableFuture.allOf(futures).join();    
es.shutdown();

Nur meine zwei Cent. Um die Anforderung zu überwinden CountDownLatch, die Anzahl der Aufgaben im Voraus zu kennen, können Sie dies auf die altmodische Weise mithilfe einer einfachen Aufgabe tun Semaphore.

ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
int numberOfTasks=0;
Semaphore s=new Semaphore(0);
while(...) {
    taskExecutor.execute(new MyTask());
    numberOfTasks++;
}

try {
    s.aquire(numberOfTasks);
...

Rufen s.release()Sie bei Ihrer Aufgabe einfach so an, wie Sie es möchtenlatch.countDown();

Ein bisschen spät zum Spiel, aber der Vollendung halber ...

Anstatt darauf zu warten, dass alle Aufgaben erledigt sind, können Sie nach dem Hollywood-Prinzip denken: "Rufen Sie mich nicht an, ich rufe Sie an" - wenn ich fertig bin. Ich denke, der resultierende Code ist eleganter ...

Guave bietet einige interessante Werkzeuge, um dies zu erreichen.

Ein Beispiel ::

Wickeln Sie einen ExecutorService in einen ListeningExecutorService ::

ListeningExecutorService service = MoreExecutors.listeningDecorator(Executors.newFixedThreadPool(10));

Senden Sie eine Sammlung von Callables zur Ausführung ::

for (Callable<Integer> callable : callables) {
  ListenableFuture<Integer> lf = service.submit(callable);
  // listenableFutures is a collection
  listenableFutures.add(lf)
});

Nun zum wesentlichen Teil:

ListenableFuture<List<Integer>> lf = Futures.successfulAsList(listenableFutures);

Fügen Sie der ListenableFuture einen Rückruf hinzu, mit dem Sie benachrichtigt werden können, wenn alle Futures abgeschlossen sind:

        Futures.addCallback(lf, new FutureCallback<List<Integer>>() {
        @Override
        public void onSuccess(List<Integer> result) {
            log.info("@@ finished processing {} elements", Iterables.size(result));
            // do something with all the results
        }

        @Override
        public void onFailure(Throwable t) {
            log.info("@@ failed because of :: {}", t);
        }
    });

Dies bietet auch den Vorteil, dass Sie alle Ergebnisse nach Abschluss der Verarbeitung an einem Ort sammeln können ...

Weitere Informationen hier

Die CyclicBarrier- Klasse in Java 5 und höher ist für diese Art von Dingen konzipiert.

Folgen Sie einem der folgenden Ansätze.

1. Durchlaufen Sie alle zukünftigen Aufgaben, kehren Sie von Ein submitzurück ExecutorServiceund überprüfen Sie den Status mit blockierendem Aufruf get()des FutureObjekts, wie von vorgeschlagenKiran
2. Verwenden Sie invokeAll()auf ExecutorService
3. CountDownLatch
4. ForkJoinPool oder Executors.html # newWorkStealingPool
5. Verwenden Sie die shutdown, awaitTermination, shutdownNowAPIs von ThreadPoolExecutor in der richtigen Reihenfolge

Verwandte SE-Fragen:

Wie wird CountDownLatch in Java Multithreading verwendet?

So beenden Sie Java ExecutorService ordnungsgemäß

Hier sind zwei Optionen, nur ein bisschen verwirren, welche am besten ist.

Option 1:

ExecutorService es = Executors.newFixedThreadPool(4);
List<Runnable> tasks = getTasks();
CompletableFuture<?>[] futures = tasks.stream()
                               .map(task -> CompletableFuture.runAsync(task, es))
                               .toArray(CompletableFuture[]::new);
CompletableFuture.allOf(futures).join();    
es.shutdown();

Option 2:

ExecutorService es = Executors.newFixedThreadPool(4);
List< Future<?>> futures = new ArrayList<>();
for(Runnable task : taskList) {
    futures.add(es.submit(task));
}

for(Future<?> future : futures) {
    try {
        future.get();
    }catch(Exception e){
        // do logging and nothing else
    }
}
es.shutdown();

Hier setzen future.get (); in try catch ist eine gute idee oder?

Sie können Ihre Aufgaben in eine andere ausführbare Datei einbinden, die Benachrichtigungen sendet:

taskExecutor.execute(new Runnable() {
  public void run() {
    taskStartedNotification();
    new MyTask().run();
    taskFinishedNotification();
  }
});

Ich habe gerade ein Beispielprogramm geschrieben, das Ihr Problem löst. Es wurde keine präzise Implementierung angegeben, daher werde ich eine hinzufügen. Obwohl Sie executor.shutdown()und verwenden können executor.awaitTermination(), ist dies nicht die beste Vorgehensweise, da die von verschiedenen Threads benötigte Zeit nicht vorhersehbar wäre.

ExecutorService es = Executors.newCachedThreadPool();
    List<Callable<Integer>> tasks = new ArrayList<>();

    for (int j = 1; j <= 10; j++) {
        tasks.add(new Callable<Integer>() {

            @Override
            public Integer call() throws Exception {
                int sum = 0;
                System.out.println("Starting Thread "
                        + Thread.currentThread().getId());

                for (int i = 0; i < 1000000; i++) {
                    sum += i;
                }

                System.out.println("Stopping Thread "
                        + Thread.currentThread().getId());
                return sum;
            }

        });
    }

    try {
        List<Future<Integer>> futures = es.invokeAll(tasks);
        int flag = 0;

        for (Future<Integer> f : futures) {
            Integer res = f.get();
            System.out.println("Sum: " + res);
            if (!f.isDone()) 
                flag = 1;
        }

        if (flag == 0)
            System.out.println("SUCCESS");
        else
            System.out.println("FAILED");

    } catch (InterruptedException | ExecutionException e) {
        e.printStackTrace();
    }

Nur um hier mehr Alternativen zur Verwendung von Riegeln / Barrieren anzubieten. Sie können die Teilergebnisse auch abrufen, bis alle mit CompletionService abgeschlossen sind .

Von Java Concurrency in der Praxis: "Wenn Sie eine Reihe von Berechnungen an einen Executor senden müssen und deren Ergebnisse abrufen möchten, sobald sie verfügbar sind, können Sie die mit jeder Aufgabe verknüpfte Zukunft beibehalten und wiederholt nach Abschluss abrufen, indem Sie get with a aufrufen Timeout von Null. Dies ist möglich, aber langwierig . Glücklicherweise gibt es einen besseren Weg : einen Abschlussservice. "

Hier die Umsetzung

public class TaskSubmiter {
    private final ExecutorService executor;
    TaskSubmiter(ExecutorService executor) { this.executor = executor; }
    void doSomethingLarge(AnySourceClass source) {
        final List<InterestedResult> info = doPartialAsyncProcess(source);
        CompletionService<PartialResult> completionService = new ExecutorCompletionService<PartialResult>(executor);
        for (final InterestedResult interestedResultItem : info)
            completionService.submit(new Callable<PartialResult>() {
                public PartialResult call() {
                    return InterestedResult.doAnOperationToGetPartialResult();
                }
        });

    try {
        for (int t = 0, n = info.size(); t < n; t++) {
            Future<PartialResult> f = completionService.take();
            PartialResult PartialResult = f.get();
            processThisSegment(PartialResult);
            }
        } 
        catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        } 
        catch (ExecutionException e) {
            throw somethinghrowable(e.getCause());
        }
    }
}

Dies ist meine Lösung, basierend auf dem Tipp "AdamSkywalker", und sie funktioniert

package frss.main;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class TestHilos {

    void procesar() {
        ExecutorService es = Executors.newFixedThreadPool(4);
        List<Runnable> tasks = getTasks();
        CompletableFuture<?>[] futures = tasks.stream().map(task -> CompletableFuture.runAsync(task, es)).toArray(CompletableFuture[]::new);
        CompletableFuture.allOf(futures).join();
        es.shutdown();

        System.out.println("FIN DEL PROCESO DE HILOS");
    }

    private List<Runnable> getTasks() {
        List<Runnable> tasks = new ArrayList<Runnable>();

        Hilo01 task1 = new Hilo01();
        tasks.add(task1);

        Hilo02 task2 = new Hilo02();
        tasks.add(task2);
        return tasks;
    }

    private class Hilo01 extends Thread {

        @Override
        public void run() {
            System.out.println("HILO 1");
        }

    }

    private class Hilo02 extends Thread {

        @Override
        public void run() {
            try {
                sleep(2000);
            }
            catch (InterruptedException e) {
                e.printStackTrace();
            }
            System.out.println("HILO 2");
        }

    }


    public static void main(String[] args) {
        TestHilos test = new TestHilos();
        test.procesar();
    }
}

Sie könnten diesen Code verwenden:

public class MyTask implements Runnable {

    private CountDownLatch countDownLatch;

    public MyTask(CountDownLatch countDownLatch {
         this.countDownLatch = countDownLatch;
    }

    @Override
    public void run() {
         try {
             //Do somethings
             //
             this.countDownLatch.countDown();//important
         } catch (InterruptedException ex) {
              Thread.currentThread().interrupt();
         }
     }
}

CountDownLatch countDownLatch = new CountDownLatch(NUMBER_OF_TASKS);
ExecutorService taskExecutor = Executors.newFixedThreadPool(4);
for (int i = 0; i < NUMBER_OF_TASKS; i++){
     taskExecutor.execute(new MyTask(countDownLatch));
}
countDownLatch.await();
System.out.println("Finish tasks");

Ich habe das folgende Arbeitsbeispiel erstellt. Die Idee ist, eine Möglichkeit zu haben, einen Aufgabenpool (ich verwende eine Warteschlange als Beispiel) mit vielen Threads (programmgesteuert durch die Anzahl der Aufgaben / Schwellenwert bestimmt) zu verarbeiten und zu warten, bis alle Threads abgeschlossen sind, um mit einer anderen Verarbeitung fortzufahren.

import java.util.PriorityQueue;
import java.util.Queue;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/** Testing CountDownLatch and ExecutorService to manage scenario where
 * multiple Threads work together to complete tasks from a single
 * resource provider, so the processing can be faster. */
public class ThreadCountDown {

private CountDownLatch threadsCountdown = null;
private static Queue<Integer> tasks = new PriorityQueue<>();

public static void main(String[] args) {
    // Create a queue with "Tasks"
    int numberOfTasks = 2000;
    while(numberOfTasks-- > 0) {
        tasks.add(numberOfTasks);
    }

    // Initiate Processing of Tasks
    ThreadCountDown main = new ThreadCountDown();
    main.process(tasks);
}

/* Receiving the Tasks to process, and creating multiple Threads
* to process in parallel. */
private void process(Queue<Integer> tasks) {
    int numberOfThreads = getNumberOfThreadsRequired(tasks.size());
    threadsCountdown = new CountDownLatch(numberOfThreads);
    ExecutorService threadExecutor = Executors.newFixedThreadPool(numberOfThreads);

    //Initialize each Thread
    while(numberOfThreads-- > 0) {
        System.out.println("Initializing Thread: "+numberOfThreads);
        threadExecutor.execute(new MyThread("Thread "+numberOfThreads));
    }

    try {
        //Shutdown the Executor, so it cannot receive more Threads.
        threadExecutor.shutdown();
        threadsCountdown.await();
        System.out.println("ALL THREADS COMPLETED!");
        //continue With Some Other Process Here
    } catch (InterruptedException ex) {
        ex.printStackTrace();
    }
}

/* Determine the number of Threads to create */
private int getNumberOfThreadsRequired(int size) {
    int threshold = 100;
    int threads = size / threshold;
    if( size > (threads*threshold) ){
        threads++;
    }
    return threads;
}

/* Task Provider. All Threads will get their task from here */
private synchronized static Integer getTask(){
    return tasks.poll();
}

/* The Threads will get Tasks and process them, while still available.
* When no more tasks available, the thread will complete and reduce the threadsCountdown */
private class MyThread implements Runnable {

    private String threadName;

    protected MyThread(String threadName) {
        super();
        this.threadName = threadName;
    }

    @Override
    public void run() {
        Integer task;
        try{
            //Check in the Task pool if anything pending to process
            while( (task = getTask()) != null ){
                processTask(task);
            }
        }catch (Exception ex){
            ex.printStackTrace();
        }finally {
            /*Reduce count when no more tasks to process. Eventually all
            Threads will end-up here, reducing the count to 0, allowing
            the flow to continue after threadsCountdown.await(); */
            threadsCountdown.countDown();
        }
    }

    private void processTask(Integer task){
        try{
            System.out.println(this.threadName+" is Working on Task: "+ task);
        }catch (Exception ex){
            ex.printStackTrace();
        }
    }
}
}

Ich hoffe es hilft!

Sie können Ihre eigene Unterklasse von ExecutorCompletionService zum Umschließen taskExecutorund Ihre eigene Implementierung von BlockingQueue verwenden , um informiert zu werden, wenn jede Aufgabe abgeschlossen ist, und einen beliebigen Rückruf oder eine andere Aktion ausführen, wenn die Anzahl der abgeschlossenen Aufgaben Ihr gewünschtes Ziel erreicht.

Sie sollten verwenden executorService.shutdown()und executorService.awaitTerminationMethode.

Ein Beispiel wie folgt:

public class ScheduledThreadPoolExample {

    public static void main(String[] args) throws InterruptedException {
        ScheduledExecutorService executorService = Executors.newScheduledThreadPool(5);
        executorService.scheduleAtFixedRate(() -> System.out.println("process task."),
                0, 1, TimeUnit.SECONDS);

        TimeUnit.SECONDS.sleep(10);
        executorService.shutdown();
        executorService.awaitTermination(1, TimeUnit.DAYS);
    }

}

Also poste ich meine Antwort von der verknüpften Frage hier, falls jemand einen einfacheren Weg möchte, dies zu tun

ExecutorService executor = Executors.newFixedThreadPool(10);
CompletableFuture[] futures = new CompletableFuture[10];
int i = 0;
while (...) {
    futures[i++] =  CompletableFuture.runAsync(runner, executor);
}

CompletableFuture.allOf(futures).join(); // THis will wait until all future ready.

Java 8 - Wir können die Stream-API verwenden, um Streams zu verarbeiten. Bitte sehen Sie den Ausschnitt unten

final List<Runnable> tasks = ...; //or any other functional interface
tasks.stream().parallel().forEach(Runnable::run) // Uses default pool

//alternatively to specify parallelism 
new ForkJoinPool(15).submit(
          () -> tasks.stream().parallel().forEach(Runnable::run) 
    ).get();

ExecutorService WORKER_THREAD_POOL 
  = Executors.newFixedThreadPool(10);
CountDownLatch latch = new CountDownLatch(2);
for (int i = 0; i < 2; i++) {
    WORKER_THREAD_POOL.submit(() -> {
        try {
            // doSomething();
            latch.countDown();
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        }
    });
}

// wait for the latch to be decremented by the two remaining threads
latch.await();

Wenn Sie doSomething()einige andere Ausnahmen auslösen, wird der latch.countDown()Schein nicht ausgeführt. Was soll ich also tun?

Wenn Sie mehr Thread ExecutionServices SEQUENTIALLY verwenden und warten möchten, bis JEDER EXECUTIONSERVICE abgeschlossen ist. Der beste Weg ist wie unten;

ExecutorService executer1 = Executors.newFixedThreadPool(THREAD_SIZE1);
for (<loop>) {
   executer1.execute(new Runnable() {
            @Override
            public void run() {
                ...
            }
        });
} 
executer1.shutdown();

try{
   executer1.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);

   ExecutorService executer2 = Executors.newFixedThreadPool(THREAD_SIZE2);
   for (true) {
      executer2.execute(new Runnable() {
            @Override
            public void run() {
                 ...
            }
        });
   } 
   executer2.shutdown();
} catch (Exception e){
 ...
}

Dies könnte helfen

Log.i(LOG_TAG, "shutting down executor...");
executor.shutdown();
while (true) {
                try {
                    Log.i(LOG_TAG, "Waiting for executor to terminate...");
                    if (executor.isTerminated())
                        break;
                    if (executor.awaitTermination(5000, TimeUnit.MILLISECONDS)) {
                        break;
                    }
                } catch (InterruptedException ignored) {}
            }

Sie können waitTillDone () für diese Runner- Klasse aufrufen :

Runner runner = Runner.runner(4); // create pool with 4 threads in thread pool

while(...) {
    runner.run(new MyTask()); // here you submit your task
}


runner.waitTillDone(); // and this blocks until all tasks are finished (or failed)


runner.shutdown(); // once you done you can shutdown the runner

Sie können diese Klasse wiederverwenden und waitTillDone () so oft aufrufen, wie Sie möchten, bevor Sie shutdown () aufrufen . Außerdem ist Ihr Code äußerst einfach . Auch Sie müssen nicht wissen , die Anzahl der Aufgaben im Voraus.

Um es zu benutzen, füge einfach diesen Gradle / Maven hinzu compile 'com.github.matejtymes:javafixes:1.3.1' Abhängigkeit zu Ihrem Projekt hinzu.

Weitere Details finden Sie hier:

https://github.com/MatejTymes/JavaFixes

In Executor gibt es eine Methode getActiveCount(), die die Anzahl der aktiven Threads angibt.

Nachdem wir den Thread überspannt haben, können wir überprüfen, ob der activeCount()Wert ist 0. Sobald der Wert Null ist, werden derzeit keine aktiven Threads ausgeführt, was bedeutet, dass die Aufgabe abgeschlossen ist:

while (true) {
    if (executor.getActiveCount() == 0) {
    //ur own piece of code
    break;
    }
}