Ist es in Ordnung zu versuchen, den besten PCA k-Parameter zu finden, wie wir es mit anderen Hyperparametern tun?

Die Hauptkomponentenanalyse (PCA) wird verwendet, um n-dimensionale Daten auf k-dimensionale Daten zu reduzieren, um das maschinelle Lernen zu beschleunigen. Nachdem PCA angewendet wurde, kann überprüft werden, wie viel von der Varianz des ursprünglichen Datensatzes im resultierenden Datensatz verbleibt. Ein gemeinsames Ziel ist es, die Varianz zwischen 90% und 99% zu halten.

Meine Frage ist: Wird es als eine gute Praxis angesehen, verschiedene Werte des k-Parameters (Größe der Dimension des resultierenden Datensatzes) auszuprobieren und dann die Ergebnisse der resultierenden Modelle auf die gleiche Weise wie bei der Auswahl mit einem Kreuzvalidierungsdatensatz zu vergleichen gute Werte anderer Hyperparameter wie Regularisierungs-Lambdas und Schwellenwerte?

machine-learning pca hyperparameter

— J. Doe
quelle

Ihre Betonung auf der Verwendung eines Validierungssatzes anstelle des Trainingssatzes für die Auswahl von ist eine gute Praxis und sollte befolgt werden. Wir können es jedoch noch besser machen! $k$

Der Parameter in ist spezieller als ein allgemeiner Hyperparameter. Weil die Lösung für bereits in für , was die ersten Eigenvektoren (entsprechend größten Eigenwerten) in . Anstatt , , ..., separat für Trainingsdaten auszuführen, wie dies bei einem Hyperparameter im Allgemeinen der Fall ist müssen wir nur ausführen , um die Lösung für alle . $k$ $\text{PCA}$ $\text{PCA}(k)$ $\text{PCA}(K)$ $K > k$ $k$ $k$ $\text{PCA}(K)$ $\text{PCA}(1)$ $\text{PCA}(4)$ $\text{PCA}(K)$ $\text{PCA}(K)$ $k \in \{1,..,K\}$

Infolgedessen wäre der Prozess wie folgt:

Führen Sie für das größte akzeptable im Trainingssatz aus. $\text{PCA}$ $K$
Zeichnen oder vorbereiten ( , Varianz) auf Validierungssatz, $k$
Wählen Sie das , das die minimal akzeptable Varianz ergibt, z. B. 90% oder 99%. $k$

Die N-fache Kreuzvalidierung wäre wie folgt:

Lauf $\text{PCA}$ für das größte akzeptabel $K$ auf N Trainingsfalten,
Plotten oder vorbereiten ( $k$ , Durchschnitt von N Varianzen) auf gehaltenen Falten,
Wähle aus $k$ das ergibt die minimal akzeptable durchschnittliche Varianz, zB 90% oder 99%.

Hier ist auch ein verwandter Beitrag , in dem gefragt wird, warum wir Hauptkomponenten basierend auf der erklärten maximalen Varianz auswählen.

— Esmailian
quelle

Ist K-PCA der richtige Name dafür? Es klingt ein bisschen verwirrend und erinnert mich an die Kernel Principal Component Analysis (KPCA), eine nichtlineare Version von PCA

— Pedro Henrique Monforte

@ PedroHenriqueMonforte Danke! Notation aktualisiert.

— Esmailian