Statistiken und Big Data

Angenommen, zwei Gruppen, bestehend aus und jeweils einen Satz von 25 Elementen von den wichtigsten bis zu den unwichtigsten. Wie lassen sich diese Rankings am besten vergleichen?n 2n1n1n_1n2n2n_2 Natürlich ist es möglich, 25 Mann-Whitney-U-Tests durchzuführen, aber dies würde zu 25 zu interpretierenden Testergebnissen führen, was zu viel sein kann (und …

15 ranking  group-differences 

Ich habe einige Zeit mit der gegenseitigen Information gearbeitet. Aber ich habe in der "Korrelationswelt" ein sehr neues Maß gefunden, das auch zur Messung der Verteilungsunabhängigkeit verwendet werden kann, die sogenannte "Distanzkorrelation" (auch Brownsche Korrelation genannt): http://en.wikipedia.org/wiki/Brownian_covariance . Ich habe die Papiere überprüft, in denen diese Maßnahme eingeführt wurde, ohne …

15 correlation  mutual-information  distance-covariance 

Ich habe Ergebnisse aus einem Mann-Whitney-Rangtest erhalten, die ich nicht verstehe. Der Median der 2 Populationen ist identisch (6.9). Die oberen und unteren Quantile jeder Population sind: 6,64 & 7,2 6,60 & 7,1 Der aus dem Vergleich dieser Populationen resultierende p-Wert beträgt 0,007. Wie können diese Populationen signifikant unterschiedlich sein? …

15 nonparametric  median  ranks  wilcoxon-mann-whitney 

Bei einer vorhergesagten Variablen (P), einem Zufallseffekt (R) und einem festen Effekt (F) könnte man zwei * Modelle mit gemischten Effekten ( lme4- Syntax) anpassen : m1 = lmer( P ~ (1|R) + F ) m2 = lmer( P ~ (1+F|R) + F) Soweit ich weiß, ist das zweite Modell …

15 mixed-model 

Sei eine Chi-Quadrat-verteilte Zufallsvariable mit k Freiheitsgraden. Was sind die schärfsten bekannten Grenzen für die folgenden Wahrscheinlichkeiten?X~ χ2kX∼χk2X \sim \chi^2_kkkk P [X&gt; t ] ≤ 1 - δ1( t , k )P[X&gt;t]≤1-δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) und P [X&lt; z]≤1−δ2(z,k)P[X&lt;z]≤1−δ2(z,k) \mathbb{P}[X < z] \leq 1 - …

15 probability  chi-squared 

Ich möchte einen Rat zu einer Analysemethode, die ich verwende, einholen, um zu wissen, ob sie statistisch stichhaltig ist. Ich habe zwei Punkt gemessen verarbeitet und T 2 = t 2 1 , t 2 2 , . . . , t 2 m und ich möchte feststellen, ob die …

15 point-process  cross-correlation 

Wie lautet die Ableitung der ReLU-Aktivierungsfunktion, die wie folgt definiert ist: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Was ist mit dem Sonderfall, in dem die Funktion bei eine Diskontinuität aufweist ?x=0x=0x=0

15 self-study  neural-networks 

Ich möchte ein Projekt zur optischen Zeichenerkennung (OCR) durchführen. Nach einigen Recherchen bin ich auf eine Architektur gestoßen, die interessant erscheint: CNN + RNN + CTC. Ich bin mit verschachtelten neuronalen Netzen (CNN) und wiederkehrenden neuronalen Netzen (RNN) vertraut, aber was ist Connectionist Temporal Classification (CTC)? Ich hätte gerne eine …

15 machine-learning  deep-learning  conv-neural-network  rnn 

Könnte mir bitte jemand erklären, warum Sie Daten normalisieren müssen, wenn Sie K nächste Nachbarn verwenden. Ich habe versucht, dies nachzuschlagen, aber ich kann es immer noch nicht verstehen. Ich habe folgenden Link gefunden: https://discuss.analyticsvidhya.com/t/why-it-is-necessary-to-normalize-in-knn/2715 Aber in dieser Erklärung verstehe ich nicht, warum ein größerer Bereich in einem der Merkmale …

15 k-nearest-neighbour 

Ich versuche die Yolo v2-Verlustfunktion zu verstehen: λc o o r d∑i = 0S2∑j = 0B1o b jich j[ ( xich- x^ich)2+ ( yich−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c …

15 neural-networks  loss-functions  object-detection  yolo 

Ich habe Mühe, keine überhöhten Verteilungen zu verstehen. Was sind Sie? Was ist der Sinn? Wenn ich Daten mit vielen Nullen habe, könnte ich eine logistische Regression anpassen, zuerst die Wahrscheinlichkeit von Nullen berechnen und dann alle Nullen entfernen und dann eine reguläre Regression mithilfe meiner Verteilungswahl anpassen (Poisson z. …

15 zero-inflation 

Gibt es Videos oder andere Bücher / Notizen, die nach der Mustererkennung und dem maschinellen Lernen von Chris Bishop aufgetaucht sind? Ich habe dieses Buch gekauft, um maschinelles Lernen zu lernen, und habe einige Probleme, es durchzuhalten.

15 machine-learning  references  pattern-recognition 

Was ist eine Momenterzeugungsfunktion (MGF)? Können Sie es in Laienbegriffen und zusammen mit einem einfachen und einfachen Beispiel erklären? Bitte beschränken Sie sich so weit wie möglich auf formale mathematische Notationen.

15 moments  intuition  mgf 

Die Stellen, die ich über den Fluch der Dimensionalität gelesen habe, erklären ihn hauptsächlich in Verbindung mit kNN und linearen Modellen im Allgemeinen. Ich sehe regelmäßig Spitzenreiter in Kaggle, die Tausende von Funktionen in einem Datensatz verwenden, der kaum 100.000 Datenpunkte enthält. Sie verwenden unter anderem hauptsächlich Boosted-Bäume und NN. …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Im grundlegenden maschinellen Lernen lernen wir die folgenden "Faustregeln": a) Die Größe Ihrer Daten sollte mindestens das 10-fache der Größe der VC-Dimension Ihres Hypothesensatzes betragen. b) Ein neuronales Netz mit N Anschlüssen hat eine VC-Dimension von ungefähr N. Wenn also ein Deep Learning-neuronales Netzwerk Millionen von Einheiten umfasst, sollten wir …

15 machine-learning  neural-networks  deep-learning  vc-dimension