Als «attention-mechanism» getaggte Fragen

Was ist die Positionscodierung im Transformatormodell?

Ich bin neu bei ML und dies ist meine erste Frage hier. Tut mir leid, wenn meine Frage albern ist. Ich versuche, das Papier zu lesen und zu verstehen. Achtung ist alles, was Sie brauchen, und darin befindet sich ein Bild: Ich weiß nicht, was Positionscodierung ist. Durch das Anhören …

22 nlp encoding attention-mechanism transformer

Kann BERT die Aufgabe zur Vorhersage des nächsten Wortes ausführen?

Ist es möglich, BERT für die Aufgabe der Vorhersage des nächsten Wortes zu verwenden, da es bidirektional ist (einen bidirektionalen Transformator verwendet)? Wenn ja, was muss optimiert werden?

11 neural-network deep-learning attention-mechanism transformer bert

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.

Licensed under cc by-sa 3.0 with attribution required.