Was tun, wenn CFA für eine Waage mit mehreren Elementen schlecht ist?

Ich bin mir nicht sicher, wie ich mit diesem CFA in Lavaan vorgehen soll. Ich habe eine Stichprobe von 172 Teilnehmern (ich weiß, das ist nicht viel für einen CFA) und 28 Artikel mit 7-Punkte-Likert-Skalen, die auf sieben Faktoren geladen werden sollten. Ich habe eine CFA mit „mlm“ -Schätzern durchgeführt, aber die Modellanpassung war wirklich schlecht (χ2 (df = 329) = 739,36; Vergleichsanpassungsindex (CFI) = 0,69; standardisierter quadratischer Mittelwert (SRMR) = 10; quadratischer mittlerer Approximationsfehler (RMSEA) =. 09; RMSEA 90% -Konfidenzintervall (CI) = [.08, .10]).

Ich habe folgendes versucht:

• Bifaktormodell mit einem allgemeinen Methodenfaktor -> konvergierte nicht.

• Schätzer für Ordnungsdaten („WLSMV“) -> Modellanpassung: (χ2 (df = 329) = 462; Vergleichsanpassungsindex (CFI) = .81; standardisierter quadratischer Mittelwert (SRMR) =. 09; quadratischer Mittelwertfehler der Approximation (RMSEA) =. 05; RMSEA 90% Konfidenzintervall (CI) = [.04, .06])

• Reduzieren des Modells um Elemente, die einen Faktor nur wenig belasten und Kovarianzen zwischen bestimmten Elementen hinzufügen -> Modellanpassung: χ2 (df = 210) = 295; Vergleichsanpassungsindex (CFI) = 0,86; standardisierter quadratischer Mittelwert (SRMR) =. 08; quadratischer mittlerer Approximationsfehler (RMSEA) =. 07; RMSEA 90% -Konfidenzintervall (CI) = [.06, .08].

Nun meine Fragen:

• Was soll ich mit einem solchen Modell machen?

• Was wäre statistisch korrekt zu tun?

• Melden Sie, dass es passt oder dass es nicht passt? Und welches dieser Modelle?

Ich würde mich freuen, mit Ihnen darüber zu diskutieren.

Hier ist die Lavaan-Ausgabe des CFA des Originalmodells:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Kehren Sie zur exploratorischen Faktoranalyse zurück

Wenn Sie sehr schlechte CFA-Anfälle bekommen, ist dies oft ein Zeichen dafür, dass Sie zu schnell zu CFA gesprungen sind. Sie sollten zur explorativen Faktoranalyse zurückkehren, um mehr über die Struktur Ihres Tests zu erfahren. Wenn Sie eine große Stichprobe haben (in Ihrem Fall nicht), können Sie Ihre Stichprobe aufteilen, um eine explorative und eine bestätigende Stichprobe zu erhalten.

• Wenden Sie explorative Faktorenanalyseverfahren an, um zu überprüfen, ob die theoretisierte Anzahl von Faktoren angemessen erscheint. Ich würde das Geröllplot überprüfen, um zu sehen, was es vorschlägt. Ich würde dann die gedrehte Faktorladematrix mit der theoretisierten Anzahl von Faktoren sowie mit einem oder zwei weiteren und einem oder zwei weniger Faktoren überprüfen. Sie können häufig Anzeichen einer Unter- oder Überextraktion von Faktoren erkennen, wenn Sie sich solche Faktorladematrizen ansehen.
• Verwenden Sie die explorative Faktoranalyse, um problematische Elemente zu identifizieren. Insbesondere Elemente, die am meisten auf einen nicht theoretisierten Faktor geladen werden, Elemente mit großen Querladungen, Elemente, die auf keinen Faktor hoch geladen werden.

Der Vorteil von EFA besteht darin, dass es viel Freiheit bietet, sodass Sie viel mehr über die Struktur des Tests lernen als nur durch Betrachten der CFA-Änderungsindizes.

Wie auch immer, hoffentlich haben Sie aus diesem Prozess einige Probleme und Lösungen identifiziert. Beispielsweise können Sie einige Elemente löschen. Sie können Ihr theoretisches Modell aktualisieren, wie viele Faktoren es gibt und so weiter.

2. Verbessern Sie die Anpassung der Bestätigungsfaktoranalyse

Es gibt viele Punkte, die hier gemacht werden könnten:

CFA auf Waagen mit vielen Elementen pro Waage weisen im Vergleich zu herkömmlichen Standards häufig eine schlechte Leistung auf. Dies führt häufig dazu, dass Personen (und ich denke, diese Antwort ist oft unglücklich) Artikelpakete bilden oder nur drei oder vier Artikel pro Skala verwenden. Das Problem ist, dass typischerweise vorgeschlagene CFA-Strukturen die kleinen Nuancen in den Daten nicht erfassen (z. B. kleine Querladungen, Elemente innerhalb eines Tests, die etwas mehr als andere korrelieren, geringfügige Belästigungsfaktoren). Diese werden mit vielen Elementen pro Skala verstärkt.

Hier einige Antworten auf die oben genannte Situation:

• Machen Sie ein exploratives SEM, das verschiedene kleine Querbelastungen und verwandte Begriffe zulässt
• Untersuchen Sie die Modifikationsindizes und nehmen Sie einige der größten vernünftigen Modifikationen auf. zB einige innerhalb der Skala korrelierte Residuen; ein paar Querbelastungen. siehe modificationindices(fit)in lavaan.
• Verwenden Sie die Artikelpaketierung, um die Anzahl der beobachteten Variablen zu verringern

Allgemeine Kommentare

Wenn Ihr CFA-Modell wirklich schlecht ist, kehren Sie im Allgemeinen zu EFA zurück, um mehr über Ihre Waage zu erfahren. Wenn Ihre EFA gut ist und Ihr CFA aufgrund bekannter Probleme mit vielen Elementen pro Skala nur ein wenig schlecht aussieht, sind alternativ die oben genannten Standard-CFA-Ansätze angemessen.

Ich würde daran arbeiten, das Bifaktormodell zur Konvergenz zu bringen. Versuchen Sie, die Startwerte anzupassen. Dies kann jedoch ein fauler Ansatz sein. Denken Sie also daran und interpretieren Sie ihn mit Vorsicht. Informieren Sie sich über die Gefahren der Interpretation von Modellen, die der Konvergenz widerstehen, wenn Sie wirklich vorsichtig sein möchten. Ich gebe zu, dass ich in meinem SEM-Studium noch nicht so viel getan habe. Ich empfehle daher, das zu tun, was Sie tun müssen, um das Modell zu erreichen konvergieren meistens zu Ihrem Vorteil. Ich weiß nicht, ob es für die Veröffentlichung besser geeignet ist, aber wenn dies eindeutig nicht der Fall ist, weil das Bifaktormodell auch nicht gut passt, ist es möglicherweise gut, dass Sie es wissen.

Ansonsten haben Sie anscheinend so viel wie möglich mit den Daten getan, die Sie haben. AFAIK (Ich habe mich in letzter Zeit intensiv mit einem eigenen methodischen Projekt befasst, bitte korrigieren Sie mich, wenn ich falsch liege !!), WLSMV-Schätzung bei der lavaanVerwendung von Schwellenwerten aus polychromen Korrelationen, was der beste Weg ist, um eine gute Anpassung zu erhalten Indizes aus einem CFA von Ordnungsdaten. Angenommen, Sie haben Ihr Modell korrekt (oder zumindest optimal) angegeben, ist dies alles, was Sie tun können. Das Entfernen von Elementen mit geringer Beladung und das freie Schätzen von Kovarianzen zwischen Elementen geht sogar ein bisschen weit, aber das haben Sie auch versucht.

Wie Sie wahrscheinlich wissen, passt Ihr Modell nach herkömmlichen Maßstäben nicht gut. Natürlich sollten Sie nicht sagen, dass es gut passt, wenn es nicht passt. Dies gilt leider für alle Anpassungsstatistiken, die Sie hier melden (ich nehme an, Sie hatten gehofft, dass sie passen würden). Einige Ihrer Fit-Statistiken sind nur ziemlich schlecht, nicht wirklich schlecht (der RMSEA = 0,05 ist akzeptabel), aber insgesamt ist nichts davon eine gute Nachricht, und Sie haben die Verantwortung, ehrlich zu sein, wenn Sie veröffentlichen diese Ergebnisse. Ich hoffe du kannst, FWIW.

In beiden Fällen können Sie weitere Daten erfassen, wenn Sie können. Das könnte helfen, je nachdem, wonach Sie suchen. Wenn Ihr Ziel ein bestätigender Hypothesentest ist, haben Sie Ihre Daten "überprüft" und erhöhen Ihre Fehlerrate, wenn Sie sie in einer erweiterten Stichprobe wiederverwenden. Es sei denn, Sie können diesen Datensatz einfach beiseite legen und ein Ganzes replizieren. frisch, größer, du hast ein schwieriges Szenario zu bewältigen. Wenn Sie jedoch hauptsächlich daran interessiert sind, Parameter zu schätzen und Konfidenzintervalle einzugrenzen, ist es möglicherweise sinnvoll, nur so viele Daten wie möglich zu bündeln, einschließlich aller Daten, die Sie bereits hier verwendet haben. Wenn Sie mehr Daten erhalten können, erhalten Sie möglicherweise besser passende Indizes, wodurch Ihre Parameterschätzungen zuverlässiger werden. Hoffentlich ist das gut genug.