Statistiken und Big Data convolution

6

Was bedeutet 1x1-Faltung in einem neuronalen Netzwerk?

Ich mache gerade das Udacity Deep Learning Tutorial. In Lektion 3 sprechen sie über eine 1x1-Faltung. Diese 1x1-Faltung wird im Google Inception-Modul verwendet. Ich habe Probleme zu verstehen, was eine 1x1-Faltung ist. Ich habe auch diesen Beitrag von Yann Lecun gesehen. Könnte mir das bitte jemand erklären?

106 neural-networks deep-learning convolution conv-neural-network

6

Bedeutung der lokalen Antwortnormalisierung in CNN

Ich habe festgestellt, dass Imagenet und andere große CNN lokale Antwortnormalisierungsschichten verwenden. Ich kann jedoch nicht so viele Informationen über sie finden. Wie wichtig sind sie und wann sollten sie angewendet werden? Von http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : Die lokale Antwortnormalisierungsschicht führt eine Art "laterale Hemmung" durch, indem sie über lokale Eingaberegionen normalisiert. …

41 deep-learning convolution conv-neural-network

4

Was ist die Übersetzungsinvarianz in der Bildverarbeitung und im neuronalen Faltungsnetzwerk?

Ich habe noch keinen Computer Vision Hintergrund. Wenn ich jedoch Artikel und Artikel über Bildverarbeitung und Faltungsneuralnetze lese, stelle ich mich ständig dem Begriff translation invariance, oder translation invariant. Oder ich habe viel gelesen, dass die Faltungsoperation bietet translation invariance? !! was bedeutet das? Ich selbst habe es immer für …

36 machine-learning conv-neural-network convolution computer-vision

10

Warum ist die Summe zweier Zufallsvariablen eine Faltung?

Für lange Zeit habe ich nicht verstanden , warum die „Summe“ von zwei Zufallsvariablen ist ihre Faltung , während eine Mischung Dichtefunktion Summe von und istf(x)f(x)f(x)g(x)g(x)g(x)pf(x)+(1−p)g(x)pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x); die arithmetische Summe und nicht ihre Faltung. Der genaue Ausdruck "die Summe von zwei Zufallsvariablen" erscheint in Google 146.000 mal und ist wie folgt …

33 pdf terminology cdf mixture convolution

2

Faltungsneuronale Netze: Sind die zentralen Neuronen in der Ausgabe nicht überrepräsentiert?

[Diese Frage wurde auch beim Stapelüberlauf gestellt] Die Frage in Kürze Ich untersuche faltungsbedingte neuronale Netze und glaube, dass diese Netze nicht jedes Eingangsneuron (Pixel / Parameter) gleichwertig behandeln. Stellen Sie sich vor, wir haben ein tiefes Netzwerk (viele Ebenen), das auf ein Eingabebild eine Faltung anwendet. Die Neuronen in …

30 machine-learning neural-networks convolution

1

Können Freiheitsgrade eine nicht ganzzahlige Zahl sein?

Wenn ich GAM verwende, erhalte ich einen DF-Rest von (letzte Zeile im Code). Was bedeutet das? Über das GAM-Beispiel hinausgehend: Kann die Anzahl der Freiheitsgrade im Allgemeinen eine nicht ganzzahlige Zahl sein?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median …

27 r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

1

"Kernel Density Estimation" ist eine Faltung von was?

Ich versuche, die Schätzung der Kerneldichte besser zu verstehen. Verwendung der Definition aus Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fh^(x)=1n∑ni=1Kh(x−xi)=1nh∑ni=1K(x−xih)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Nehmen wir als rechteckige Funktion, die ergibt, wenn zwischen und und andernfalls , und (Fenstergröße) als 1.1 x - 0,5 0,5 0 …

25 r kernel-smoothing convolution

6

Convolutional Layers: Auffüllen oder nicht auffüllen?

Die AlexNet-Architektur verwendet Null-Auffüllungen (siehe Abbildung). In diesem Artikel wird jedoch nicht erläutert, warum diese Auffüllung eingeführt wird. Der Standford CS 231n-Kurs lehrt, dass die räumliche Größe durch Auffüllen erhalten bleibt: Ich frage mich, ist es der einzige Grund, warum wir Polster brauchen? Ich meine, wenn ich die räumliche Größe …

19 conv-neural-network convolution

2

Eine dynamische Systemansicht des zentralen Grenzwertsatzes?

(Ursprünglich auf MSE gepostet .) Ich habe viele heuristische Diskussionen über den klassischen zentralen Grenzwertsatz gesehen, die von der Normalverteilung (oder einer der stabilen Verteilungen) als einem "Attraktor" im Raum der Wahrscheinlichkeitsdichten sprechen. Betrachten Sie zum Beispiel diese Sätze ganz oben in der Behandlung von Wikipedia : Im allgemeinen Sprachgebrauch …

16 probability mathematical-statistics convergence central-limit-theorem convolution

3

Was macht der Faltungsschritt in einem Faltungsneuralnetzwerk?

Ich beschäftige mich mit CNNs (Convolutional Neural Networks) aufgrund ihrer Anwendungen in der Bildverarbeitung. Ich bin bereits mit standardmäßigen neuronalen Feed-Forward-Netzen vertraut, daher hoffe ich, dass einige Leute hier mir helfen können, den zusätzlichen Schritt zum Verständnis von CNNs zu machen. Folgendes denke ich über CNNs: In herkömmlichen Feed-Forward-NNs haben …

16 neural-networks deep-learning conv-neural-network convolution

2

Gibt es mathematische Gründe für die Faltung in neuronalen Netzen, die nicht mehr angemessen sind?

In neuronalen Faltungsnetzen (CNN) werden die Zeilen und Spalten der Gewichtungsmatrix bei jedem Schritt umgedreht, um die Kernelmatrix zu erhalten, bevor mit der Faltung fortgefahren wird. Dies wird in einer Reihe von Videos von Hugo Larochelle hier erklärt : Berechnung der versteckten Karten entspräche eine diskrete Faltung mit einem Kanal …

14 machine-learning neural-networks conv-neural-network convolution

2

Verteilung der Faltung von quadrierten Normal- und Chi-Quadrat-Variablen?

Das folgende Problem ist kürzlich bei der Datenanalyse aufgetreten. Wenn die Zufallsvariable X einer Normalverteilung folgt und Y einer χ2nχn2\chi^2_n Verteilung folgt (mit n dof), wie ist verteilt? Bisher habe ich mir das PDF von : Y 2 ≤ 2 n ( x )Z=X2+Y2Z=X2+Y2Z = X^2 + Y^2Y2Y2Y^2ψ2n(x)====∂F(x−−√)∂x(∫x√0tn/2−1⋅e−t/22n/2Γ(n/2)dt)′x12n/2Γ(n/2)⋅(x−−√)n/2−1⋅e−x√/2⋅(x−−√)′x12n/2−1Γ(n/2)⋅xn/4−1⋅e−x√/2ψn2(x)=∂F(x)∂x=(∫0xtn/2−1⋅e−t/22n/2Γ(n/2)dt)x′=12n/2Γ(n/2)⋅(x)n/2−1⋅e−x/2⋅(x)x′=12n/2−1Γ(n/2)⋅xn/4−1⋅e−x/2\begin{eqnarray} \psi^2_n(x) &=& …

14 probability distributions normal-distribution chi-squared convolution

3

Wie genau verwenden Faltungsneuralnetze die Faltung anstelle der Matrixmultiplikation?

Ich habe Yoshua Bengios Buch über tiefes Lernen gelesen und auf Seite 224 steht: Faltungsnetzwerke sind einfach neuronale Netzwerke, die Faltung anstelle der allgemeinen Matrixmultiplikation in mindestens einer ihrer Schichten verwenden. Ich war mir jedoch nicht hundertprozentig sicher, wie man "Matrixmultiplikation durch Faltung ersetzen" kann. Was mich wirklich interessiert, ist, …

13 machine-learning neural-networks deep-learning convolution

4

Die Summe der unabhängigen lognormalen Zufallsvariablen erscheint lognormal?

Ich versuche zu verstehen, warum sich die Summe von zwei (oder mehr) lognormalen Zufallsvariablen einer lognormalen Verteilung nähert, wenn Sie die Anzahl der Beobachtungen erhöhen. Ich habe online gesucht und keine diesbezüglichen Ergebnisse gefunden. Wenn und Y unabhängige lognormale Variablen sind, ist X × Y aufgrund der Eigenschaften von Exponenten …

11 distributions lognormal convolution sum

2

Würden nicht mehrere Filter in einer Faltungsschicht während des Trainings denselben Parameter lernen?

Basierend auf dem, was ich gelernt habe, verwenden wir mehrere Filter in einer Conv-Schicht eines CNN, um verschiedene Feature-Detektoren zu lernen. Aber da diese Filter ähnlich angewendet werden (dh verschoben und mit Regionen der Eingabe multipliziert werden), würden sie dann nicht einfach während des Trainings dieselben Parameter lernen? Daher wäre …

11 neural-networks conv-neural-network convolution filter

Als «convolution» getaggte Fragen