Meine Frage ist: Welches mathematische Modell des polyphonen Klangs kann das Ändern (dh die Tonhöhenverschiebung) einzelner Musiknoten in einer einkanaligen Audioaufnahme mit mehreren Stimmen eines polyphonen akustischen Musikinstruments ermöglichen? Mit "Ändern von Noten in polyphonen Audiodaten" meine ich, dass Sie Sound mit der sogenannten " Direct Note Access " -Funktion in der Melodyne-Software von Celeony bearbeiten.
Wie Melodyne laut Wikipedia das Audiosignal einer einzeiligen Melodie modelliert, die auf einem akustischen (und damit timbral komplexen) Musikinstrument gespielt wird, beschreibt Henning Thielemann in seiner Arbeit mit dem Titel " Phase und Zeit in monophonen Klängen entwirren ". Ich kann keinen Hinweis auf Modelle von Audiosignalen mehrstimmiger Musikinstrumente finden; Laut einem Youtube-Interview von Peter Neubacker (im Folgenden transkribiert) erfordert Melodynes Feature für die Bearbeitung von polyphonem Audio einen anderen Ansatz als den von Thielemann beschriebenen.
Ein Hinweis aus einem anderen YouTube-Clip ist, dass Neubackers Modell besser mit der Audioaufnahme einer Art von Instrument (dh nur Klavier, nur Gitarre, nur Streicher, nur Bläser usw.) funktioniert. Ein weiterer Hinweis ist ein weiterer Clip , der die Möglichkeit zeigt, nicht nur die Tonhöhe einer Note zu verschieben, sondern auch deren (Start- und End-) Timing.
Unten finden Sie eine Abschrift eines Youtube-Videos, in dem erwähnt wurde, dass „polyphone Materialien einen anderen Ansatz erfordern“ (falls Sie ab 22:00 Uhr keine Zeit mehr haben, sie anzusehen).
Die Frage, aus der Melodyne hervorging: Wie kann ich aus einer solchen dreidimensionalen Form einen Klang gewinnen [mit dem Stein in der Hand gestikulieren]? Auf welche Weise kann der Schall dann von seiner Abhängigkeit von einer kontinuierlichen Zeit befreit werden? Diese Skulptur ist eigentlich das, was daraus hervorgegangen ist. Es ist ein Stück Plastik. Dies wurde direkt von Musikdaten abgeleitet. Dieses Objekt ist [eine Note auf Laute zupfen] diese Note. Dies wird am besten von links nach rechts dargestellt. Die Zeit läuft in diese Richtung [von links nach rechts]. Und das ist die Amplitude [mit dem Finger gegen den Daumen groß und klein gestikulieren]. Wenn ich ihn drehe, repräsentiert er ... die Klangfarbe dieses Klangs zu einem bestimmten Zeitpunkt. Hier sieht man sehr deutlich eine Struktur [die auf den Querschnitt am unteren Rand der Skulptur zeigt], die etwas dreieckig ist. das ist, weil in diesem Ton,
Da es Melodyne noch nicht gab und ich einfach mit der Übersetzung des Klangs in diese Form experimentierte, arbeitete ich fast ein Jahr lang mit diesem einen Klang. ... Ich kenne diesen Klang von innen und außen und auswendig. Dies ist auch eine gute Illustration des lokalen Klangs. Ich kann nicht nur den Ton wiedergeben [Mausklick], sondern auch den Ton eines beliebigen Punktes eingeben und so langsam oder schnell durchlaufen, wie ich möchte. Ich kann sogar im Geräusch verweilen oder mich vorwärts und rückwärts bewegen. Wenn ich also eine Stelle hier untersuche, gehe ich darum herum. ... Vor zehn Jahren war es neu.
Kürzlich wurde DNA (Direct Note Access) hinzugefügt. Damit kann ich auch polyphone Musik bearbeiten. Mit anderen Worten, ich kann einzelne Noten, die gleichzeitig klingen, wie zum Beispiel eine Gitarrenaufnahme, bearbeiten. Wenn ich jetzt einen kleinen Akkord spiele [Auswahl von Poly -> Separate Notes auf dem Bildschirm], sehen wir hier die 3 Noten, die ich gerade als separate Entities gespielt habe. Hören wir noch einmal zu [Computer spielt Mollakkord]. Und jetzt, als würde ich meinen Finger auf einen höheren Bund bewegen, kann ich diese eine Note anheben [eine Note auf dem Bildschirm nach oben ziehen; Computer spielt Dur-Akkord]. Für das aufgeteilte Audio kann ich diese eine Note isolieren und sie nach Belieben auf eine beliebige Tonhöhe nach oben oder unten verschieben.
Warum war es bisher niemandem möglich, auf diese Weise einzelne Töne innerhalb eines komplexen Materials zu isolieren? Ich weiß es ehrlich gesagt nicht. In der Wissenschaft besteht die natürliche Tendenz darin, mit etwas Einfachem, zum Beispiel einer Sinuswelle, oder einzelnen Noten zu beginnen und diese zuerst zu analysieren, um dann herauszufinden, wann das Material komplexer wird oder in seiner Gesamtheit behandelt werden muss, dass das System funktioniert nicht Mein Ansatz ist anders. Eigentlich beginne ich mit komplexen Signalen, und nur wenn ich etwas im Detail untersuchen möchte, greife ich auf einfachere zurück, aber zuerst muss ich einen Gesamteindruck davon haben, was tatsächlich in der Realität passiert.
Liegt das Geheimnis vielleicht in dieser Rolle? Heheh, das ist eigentlich eine Klorolle. Die Frage, die ursprünglich vom Stein aufgeworfen wurde, war, wie ich einen gegebenen Klang in eine dreidimensionale Form übersetzen kann. Hier habe ich die einzelnen Abtastwerte des Klangs, die hier durch eins, zwei, drei usw. angegeben sind, spiralförmig angeordnet. Und es stellt sich heraus, dass beim Interpolieren zwischen den Punkten [Gestikulieren über die Spirale] eine Landschaft entsteht, die auch die einzelnen Querschnitte im Klang darstellt [Gestikulieren über Querschnitte der Skulptur].
Wie alt ist die Rolle? 12 Jahre. Diese Idee ist also die Quelle von Melodyne, von allem, was wir heute gesehen haben ...? Ja, aber diese Art, den Sound aufzurollen, wäre für polyphone Materialien nicht mehr von Nutzen, was einen anderen Ansatz erfordert.