1
Was genau sind Aufmerksamkeitsmechanismen?
In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat gefordert, dass RNNs und LSTMs zugunsten rein auf Aufmerksamkeit basierender neuronaler Netze aufgegeben werden sollten: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Dies scheint übertrieben, aber es ist …