Ich habe Prospensity Score Matching durchgeführt (in R mit dem R-Paket "Matchit"). Ich habe die Matching-Methode "nächster Nachbar" verwendet. Nach dem Matching verglich ich die Behandlung und die Kontrollgruppe hinsichtlich ihrer Ergebnisvariablen. Für diesen Vergleich habe ich t-Test verwendet. Ich entdeckte, dass sich nach jedem Matching-Verfahren die Ergebnisse des T-Tests änderten. Um meine Annahme zu testen, dass diese Änderung der Ergebnisse auf eine zufällige Auswahl der Neigungsbewertungen zurückzuführen ist (die für das Matching des nächsten Nachbarn verwendet werden), habe ich den Zufallszahlengenerator auf einen bestimmten Startwert eingestellt und das Matching-Verfahren mehrmals durchgeführt. Durch das Einstellen des RNG unterschieden sich die Ergebnisse nicht mehr.
- Konfrontiert mit unterschiedlichen Ergebnissen nach jedem Matching-Verfahren: Wie entscheide ich, welche Matching-Lösung ich für die weitere Analyse verwende? Ist es eine gültige Methode, das Matching-Verfahren mehrmals durchzuführen (z. B. 10'000) und den Median der p- und t-Werte der Ergebnisse anzugeben, die ich aus den verschiedenen t-Tests erhalte?