Verwenden Sie .corr, um die Korrelation zwischen zwei Spalten zu ermitteln

Ich habe den folgenden Pandas-Datenrahmen Top15:

Ich erstelle eine Spalte, in der die Anzahl der zitierfähigen Dokumente pro Person geschätzt wird:

Top15['PopEst'] = Top15['Energy Supply'] / Top15['Energy Supply per Capita']
Top15['Citable docs per Capita'] = Top15['Citable documents'] / Top15['PopEst']

Ich möchte den Zusammenhang zwischen der Anzahl zitierfähiger Dokumente pro Kopf und der Energieversorgung pro Kopf kennen. Also benutze ich die .corr()Methode (Pearson-Korrelation):

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

Ich möchte eine einzelne Nummer zurückgeben, aber das Ergebnis ist:

Ohne tatsächliche Daten ist es schwierig, die Frage zu beantworten, aber ich denke, Sie suchen nach so etwas:

Top15['Citable docs per Capita'].corr(Top15['Energy Supply per Capita'])

Das berechnet die Korrelation zwischen Ihren beiden Spalten 'Citable docs per Capita' und 'Energy Supply per Capita'.

Um ein Beispiel zu geben:

import pandas as pd

df = pd.DataFrame({'A': range(4), 'B': [2*i for i in range(4)]})

   A  B
0  0  0
1  1  2
2  2  4
3  3  6

Dann

df['A'].corr(df['B'])

gibt 1wie erwartet.

Wenn Sie nun einen Wert ändern, z

df.loc[2, 'B'] = 4.5

   A    B
0  0  0.0
1  1  2.0
2  2  4.5
3  3  6.0

der Befehl

df['A'].corr(df['B'])

kehrt zurück

0.99586

das ist immer noch nahe an 1, wie erwartet.

Wenn Sie .corrdirekt auf Ihren Datenrahmen anwenden, werden alle paarweisen Korrelationen zwischen Ihren Spalten zurückgegeben . Deshalb beobachten Sie dann 1san der Diagonale Ihrer Matrix (jede Spalte ist perfekt mit sich selbst korreliert).

df.corr()

werde daher zurückkehren

          A         B
A  1.000000  0.995862
B  0.995862  1.000000

In der Grafik, die Sie zeigen, wird nur die obere linke Ecke der Korrelationsmatrix dargestellt (nehme ich an).

Es kann Fälle geben, in denen Sie NaNs in Ihrer Lösung erhalten - überprüfen Sie diesen Beitrag für ein Beispiel.

Wenn Sie Einträge über / unter einem bestimmten Schwellenwert filtern möchten, können Sie diese Frage überprüfen . Wenn Sie eine Heatmap der Korrelationskoeffizienten zeichnen möchten, können Sie diese Antwort überprüfen. Wenn Sie dann auf das Problem mit überlappenden Achsenbeschriftungen stoßen, lesen Sie den folgenden Beitrag .

Ich bin auf das gleiche Problem gestoßen. Es schien Citable Documents per Personein Float zu sein, und Python überspringt es standardmäßig irgendwie. Alle anderen Spalten meines Datenrahmens hatten Numpy-Formate, daher habe ich das Problem gelöst, indem ich die Spalte in konvertiert habenp.float64

Top15['Citable Documents per Person']=np.float64(Top15['Citable Documents per Person'])

Denken Sie daran, dass es genau die Spalte ist, die Sie selbst berechnet haben

Meine Lösung wäre nach der Konvertierung von Daten in einen numerischen Typ:

Top15[['Citable docs per Capita','Energy Supply per Capita']].corr()

Wenn Sie die Korrelationen zwischen allen Spaltenpaaren möchten, können Sie Folgendes tun:

import pandas as pd
import numpy as np

def get_corrs(df):
    col_correlations = df.corr()
    col_correlations.loc[:, :] = np.tril(col_correlations, k=-1)
    cor_pairs = col_correlations.stack()
    return cor_pairs.to_dict()

my_corrs = get_corrs(df)
# and the following line to retrieve the single correlation
print(my_corrs[('Citable docs per Capita','Energy Supply per Capita')])

Wenn Sie dies nennen:

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

Da die Funktion DataFrame.corr () paarweise Korrelationen ausführt, haben Sie vier Paare aus zwei Variablen. Im Grunde genommen erhalten Sie diagonale Werte als Autokorrelation (Korrelation mit sich selbst, zwei Werte, da Sie zwei Variablen haben) und zwei andere Werte als Kreuzkorrelationen zwischen einer und einer anderen und umgekehrt.

Führen Sie entweder eine Korrelation zwischen zwei Reihen durch, um einen einzelnen Wert zu erhalten:

from scipy.stats.stats import pearsonr
docs_col = Top15['Citable docs per Capita'].values
energy_col = Top15['Energy Supply per Capita'].values
corr , _ = pearsonr(docs_col, energy_col)

oder, wenn Sie einen einzelnen Wert aus derselben Funktion (DataFrame's corr) möchten:

single_value = correlation[0][1] 

Hoffe das hilft.

Es funktioniert so:

Top15['Citable docs per Capita']=np.float64(Top15['Citable docs per Capita'])

Top15['Energy Supply per Capita']=np.float64(Top15['Energy Supply per Capita'])

Top15['Energy Supply per Capita'].corr(Top15['Citable docs per Capita'])

Ich habe dieses Problem durch Ändern des Datentyps gelöst. Wenn Sie sehen, dass die 'Energieversorgung pro Kopf' ein numerischer Typ ist, während die 'Zitierbare Dokumente pro Kopf' ein Objekttyp ist. Ich habe die Spalte mit astype in float konvertiert. Ich hatte das gleiche Problem mit einigen np-Funktionen: count_nonzeround sumarbeitete während meanund stdnicht.

Wenn Sie "Citable Docs per Capita" vor der Korrelation in "numerisch" ändern, wird das Problem behoben.

    Top15['Citable docs per Capita'] = pd.to_numeric(Top15['Citable docs per Capita'])
    data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
    correlation = data.corr(method='pearson')