Als «kernel-trick» getaggte Fragen

Ich habe über SVMs gelesen und festgestellt, dass sie ein Optimierungsproblem lösen und die Idee der maximalen Gewinnspanne sehr vernünftig war. Jetzt können sie mithilfe von Kerneln sogar nichtlineare Trennungsgrenzen finden, was großartig war. Bisher habe ich wirklich keine Ahnung, wie SVMs (eine spezielle Kernelmaschine) und Kernelmaschinen mit neuronalen Netzen …

9 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Ich bin ein Anfänger, wenn es darum geht, Vektormaschinen zu unterstützen. Gibt es Richtlinien, die besagen, welcher Kernel (z. B. linear, polynomial) für ein bestimmtes Problem am besten geeignet ist? In meinem Fall muss ich Webseiten danach klassifizieren, ob sie bestimmte Informationen enthalten oder nicht, dh ich habe ein Problem …

9 classification  svm  model-selection  libsvm  kernel-trick 

Bei Verwendung libsvmist der Parameter ein Parameter für die Kernelfunktion. Der Standardwert istγγ\gammaγ= 1Anzahl der Funktionen.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Gibt es neben den vorhandenen Methoden, z. B. der Rastersuche, theoretische Anleitungen zum Einrichten dieses Parameters?

9 machine-learning  svm  data-mining  libsvm  kernel-trick 

Ist es möglich, die Kernel-Hauptkomponentenanalyse (kPCA) für die latente semantische Indizierung (LSI) auf dieselbe Weise wie die PCA zu verwenden? Ich führe LSI in R mit der prcompPCA-Funktion durch und extrahiere die Merkmale mit den höchsten Belastungen aus den ersten Komponenten. Dadurch erhalte ich die Funktionen, die die Komponente am …

9 r  pca  feature-selection  kernel-trick 

Ich bin ein wenig verwirrt über die Formel zur Berechnung der Kovarianz im Gaußschen Prozess (das Hinzufügen von Varianz verwirrt mich immer, da es nicht immer explizit bezeichnet wird). Der Grund für die Verwirrung ist, dass die Formeln in Mustererkennung und maschinellem Lernen von Bishop angegeben sind und der Gaußsche …

8 machine-learning  covariance  covariance-matrix  kernel-trick  gaussian-process 

Mehrere Kernel-Lernmethoden zielen darauf ab, ein Kernelmodell zu erstellen, bei dem der Kernel eine lineare Kombination von Kerneln mit fester Basis ist. Das Erlernen des Kernels besteht dann darin, die Gewichtungskoeffizienten für jeden Basiskern zu lernen, anstatt die Kernelparameter eines einzelnen Kernels zu optimieren. Die Nachteile des Lernens mehrerer Kernel …

8 machine-learning  svm  kernel-trick 

Ich habe zwei Gruppen von 10 Teilnehmern, die während eines Experiments dreimal bewertet wurden. Um die Unterschiede zwischen den Gruppen und zwischen den drei Bewertungen zu testen, führte ich eine 2 × 3-ANOVA mit gemischtem Design mit group(Kontrolle, experimentell), time(erste, zweite, drei) und group x time. Beides timeund groupErgebnis signifikant, …

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

Ich implementiere einen nichtlinearen SVM-Klassifikator mit RBF-Kernel. Mir wurde gesagt, dass der einzige Unterschied zu einer normalen SVM darin bestand, dass ich das Punktprodukt einfach durch eine Kernelfunktion ersetzen musste: Ich weiß, wie eine normale lineare SVM funktioniert, dh nachdem ich das quadratische Optimierungsproblem (doppelte Aufgabe) gelöst habe, berechne ich …

8 classification  svm  kernel-trick  nonlinear 

Was sind die Eigenfunktionen und die Eigenwerte des Exponentialkerns? Der exponentielle Kernel ist definiert als k(x,x′)=σ2exp(||x−x′||l)k(x,x′)=σ2exp⁡(||x−x′||l)k(x,x')=\sigma^2\exp\left(\frac{||x-x'||}{l}\right) wo beides σ>0σ>0\sigma>0 und l>0l>0l>0. Das Mercers-Theorem sagt uns das für jede Kernelfunktion k(x,x′)k(x,x′)k(x,x') Es gibt eine Zerlegung der Eigenfunktionen ϕi(x)ϕi(x)\phi_i(x) und entsprechende Eigenwerte λiλi\lambda_i so dass k(x,x′)=∑i=1∞λiϕi(x)ϕi(x)k(x,x′)=∑i=1∞λiϕi(x)ϕi(x)k(x,x')=\sum_{i=1}^\infty \lambda_i \phi_i(x)\phi_i(x) Die Fourier-Transformation F(k)(ω)=12π−−√∫∞−∞k(r)eiωrdrF(k)(ω)=12π∫−∞∞k(r)eiωrdr\mathcal{F}(k)(\omega)=\frac{1}{\sqrt{2 \pi}} …

8 kernel-trick 

Sind "Kernel-Methoden" und "Reproduzieren von Kernel-Hilbert-Räumen" miteinander verbunden? Ist der "Kernel", der im Begriff "Kernel-Methoden" verwendet wird, derselbe (Typ von) "Kernel" wie der, der im Begriff "Reproduzieren des Kernel-Hilbert-Raums" verwendet wird? Beachten Sie, dass ich die Wikipedia-Seiten bereits auf die beiden Themen überprüft habe und auf der Seite keine Erwähnung …

7 machine-learning  terminology  kernel-trick 

Wenn ein Lernalgorithmus (z. B. Klassifizierung, Regression, Clustering oder Dimensionsreduktion) nur das Punktprodukt zwischen Datenpunkten verwendet xxT.xxT.\mathbf {x x^T} Wir können implizit eine höherdimensionale Abbildung verwenden ϕ ( x )ϕ(x)\phi(\mathbf x) Durch den Kernel-Trick wird jede Instanz ausgetauscht, in der das Punktprodukt vom Kernel auftritt K =ϕ( x )ϕ( x)T.K.=ϕ(x)ϕ(x)T.\mathbf …

7 regression  machine-learning  classification  kernel-trick 

Ich versuche mehr über die Kernel-Maschinentheorie zu lernen und habe festgestellt, dass ich viel Hintergrundmathematik lernen muss. Deshalb suche ich nach guten Ressourcen dafür. Insbesondere: Ich habe das Buch Learning with Kernels von Schölkopf und Smola und sie beginnen, Fourier-Transformationen, Green-Funktionen, Operatoren (z. B. habe ich noch nie von einem …

7 machine-learning  self-study  references  kernel-trick