Kann der empirische Hessische Wert eines M-Schätzers unbestimmt sein?

Jeffrey Wooldridge sagt in seiner ökonometrischen Analyse von Querschnitts- und Paneldaten (Seite 357), dass der empirische Hessische Wert "für die bestimmte Stichprobe, mit der wir arbeiten, nicht garantiert positiv oder sogar positiv semidefinit ist".

Dies erscheint mir falsch, da (abgesehen von numerischen Problemen) der Hessische Wert aufgrund der Definition des M-Schätzers als Wert des Parameters, der die Zielfunktion für die gegebene Stichprobe minimiert, und der bekannten Tatsache, dass der Hessische Wert positiv semidefinit sein muss bei einem (lokalen) Minimum ist der Hessische positiv semidefinit.

Ist mein Argument richtig?

[BEARBEITEN: Die Anweisung wurde in der 2. Ausgabe entfernt. aus dem Buch. Siehe Kommentar.]

HINTERGRUND Angenommen, θ N ein Schätzer durch Minimieren erhaltene 1$\widehat \theta_N$

Bezeichnen wir den Hessischen von $q$ mit $H$ ,

Die asymptotische Kovarianz von θ beinhaltet E [ H ( q , & thgr; 0 ) ] wobei θ 0 der wahre Parameterwert. Eine Möglichkeit, dies abzuschätzen, ist die Verwendung des empirischen Hessischen$\widehat \theta_n$$E[H(q,\theta_0)]$$\theta_0$

Es ist die Bestimmtheit der H , die in Frage steht.$\widehat H$

Ich denke, du hast recht. Lassen Sie uns Ihre Argumentation auf den Punkt bringen:

1. minimiert die FunktionQdefiniert als$\widehat \theta_N$$Q$$Q(\theta) = {1 \over N}\sum_{i=1}^N q(w_i,\theta).$

2. Sei der Hessian von Q , woraus H ( $H$$Q$$H(\theta) = \frac{\partial^2 Q}{\partial \theta_i \partial \theta_j}$ definitions und dies wiederum durch die Linearität der Differenzierung, der gleich .$\frac{1}{N}\sum_{i=1}^N H(w_i, \theta_n)$

3. Unter der Annahme , θ N liegt im Innern der Domäne von Q , dann H ( θ N ) muß positiv semi-definit.$\widehat \theta_N$$Q$$H(\widehat \theta_N)$

Dies ist lediglich eine Aussage über die Funktion : Wie sie definiert ist, ist lediglich eine Ablenkung, mit der Ausnahme, dass die angenommene Differenzierbarkeit zweiter Ordnung von q in Bezug auf sein zweites Argument ( θ ) die Differenzierbarkeit zweiter Ordnung von Q sicherstellt .$Q$$q$$\theta$$Q$

Das Finden von M-Schätzern kann schwierig sein. Betrachten Sie diese von @mpiktas bereitgestellten Daten:

{1.168042, 0.3998378}, {1.807516, 0.5939584}, {1.384942, 3.6700205}, {1.327734, -3.3390724}, {1.602101, 4.1317608}, {1.604394, -1.9045958}, {1.124633, -3.0865249}, {1.294601, -1.8331763},{1.577610, 1.0865977}, { 1.630979, 0.7869717}

Die R-Prozedur zum Finden des M-Schätzers mit thgr ; ) = ( y - c 1 x c 2 ) 4 ergab die Lösung ( c 1 , c 2 ) = ( - 114,91316 , - 32,54386 ) . Der Wert der Zielfunktion (der Durchschnitt der q ) zu diesem Zeitpunkt beträgt 62,3542. Hier ist eine Darstellung der Passform:$q((x,y),\theta)=(y-c_1x^{c_2})^4$$(c_1, c_2)$$(-114.91316, -32.54386)$$q$

Hier ist eine Darstellung der (logarithmischen) Zielfunktion in einer Nachbarschaft dieser Anpassung:

Hier ist etwas faul: Die Parameter der Anpassung sind extrem weit von den Parametern entfernt, mit denen die Daten simuliert wurden (nahe ), und wir scheinen kein Minimum zu haben: Wir befinden uns in einem extrem flachen Tal, das abfällt zu größeren Werten beider Parameter:$(0.3, 0.2)$

Die negative Determinante des Hessischen an dieser Stelle bestätigt, dass dies kein lokales Minimum ist! Wenn Sie sich jedoch die Beschriftungen der Z-Achse ansehen, können Sie feststellen, dass diese Funktion innerhalb des gesamten Bereichs flach bis fünfstellig ist, da sie einer Konstanten von 4,1329 (dem Logarithmus von 62,354) entspricht. Dies führte wahrscheinlich dazu, dass der R-Funktionsminimierer (mit seinen Standardtoleranzen) zu dem Schluss kam, dass er nahe am Minimum lag.

In der Tat ist die Lösung von diesem Punkt weit entfernt. Um dies sicher zu finden, habe ich in Mathematica die rechenintensive, aber hochwirksame Methode " Hauptachse " mit 50-stelliger Genauigkeit (Basis 10) verwendet, um mögliche numerische Probleme zu vermeiden. Sie findet ein Minimum in der Nähe von ( c 1 , c 2 ) = ( 0,02506 , 7,55973 ), wobei die Zielfunktion den Wert 58,292655 hat: ungefähr 6% kleiner als das von R gefundene "Minimum". Dieses Minimum tritt in einem extrem flach aussehenden Abschnitt auf , aber ich kann es (gerade noch) wie ein echtes Minimum mit elliptischen Konturen aussehen lassen, indem ich das c 2 übertreibe$(c_1, c_2) = (0.02506, 7.55973)$$c_2$ Richtung in der Handlung:

Die Konturen reichen von 58,29266 in der Mitte bis zu 58,29284 in den Ecken (!). Hier ist die 3D-Ansicht (wieder das Log-Objektiv):

Hier ist der Hessische positiv bestimmt: seine Eigenwerte sind 55062.02 und 0.430978. Somit dieser Punkt ein lokales Minimum (und wahrscheinlich ein globales Minimum). Hier ist die Passform, der es entspricht:

Ich denke es ist besser als das andere. Die Parameterwerte sind sicherlich realistischer und es ist klar, dass wir mit dieser Kurvenfamilie nicht viel besser umgehen können.

Aus diesem Beispiel können wir nützliche Lehren ziehen:

1. Die numerische Optimierung kann schwierig sein, insbesondere bei nichtlinearen Anpassungs- und nicht quadratischen Verlustfunktionen. Deshalb:
2. Überprüfen Sie die Ergebnisse auf so viele Arten wie möglich:
3. Zeichnen Sie die Zielfunktion, wann immer Sie können.
4. Seien Sie äußerst misstrauisch, wenn numerische Ergebnisse mathematische Theoreme zu verletzen scheinen.
5. Wenn statistische Ergebnisse überraschend sind, z. B. die vom R-Code zurückgegebenen überraschenden Parameterwerte, sind Sie besonders misstrauisch.

$\hat{\theta}_N$

$\hat{\theta}_N$$\Theta$$\hat{H}$ ) positiv semi-definit.

$N^{-1}\sum_{i=1}^Nq(w_i,\theta)$$\theta_0$

$N^{-1}\sum_{i=1}^Nq(w_i,\theta)$$\Theta$

Weiter gibt Wooldridge in seinem Buch Beispiele für Schätzungen von Hessisch, die garantiert zahlenmäßig eindeutig positiv sind. In der Praxis sollte eine nicht positive Bestimmtheit von Hessisch anzeigen, dass sich die Lösung entweder am Grenzpunkt befindet oder der Algorithmus die Lösung nicht gefunden hat. Dies ist in der Regel ein weiterer Hinweis darauf, dass das angepasste Modell für bestimmte Daten möglicherweise nicht geeignet ist.

Hier ist das numerische Beispiel. Ich generiere ein nichtlineares Problem der kleinsten Quadrate:

$X$$[1,2]$$\varepsilon$$\sigma^2$set.seed(3)$x_i$$y_i$

Ich habe das Zielfunktionsquadrat der üblichen nichtlinearen Zielfunktion der kleinsten Quadrate gewählt:

Hier ist der Code in R zur Optimierung der Funktion, der Gradient und der Hessische.

##First set-up the epxressions for optimising function, its gradient and hessian.
##I use symbolic derivation of R to guard against human error    
mt <- expression((y-c1*x^c2)^4)

gradmt <- c(D(mt,"c1"),D(mt,"c2"))

hessmt <- lapply(gradmt,function(l)c(D(l,"c1"),D(l,"c2")))

##Evaluate the expressions on data to get the empirical values. 
##Note there was a bug in previous version of the answer res should not be squared.
optf <- function(p) {
    res <- eval(mt,list(y=y,x=x,c1=p[1],c2=p[2]))
    mean(res)
}

gf <- function(p) {
    evl <- list(y=y,x=x,c1=p[1],c2=p[2]) 
    res <- sapply(gradmt,function(l)eval(l,evl))
    apply(res,2,mean)
}

hesf <- function(p) {
    evl <- list(y=y,x=x,c1=p[1],c2=p[2]) 
    res1 <- lapply(hessmt,function(l)sapply(l,function(ll)eval(ll,evl)))
    res <- sapply(res1,function(l)apply(l,2,mean))
    res
}

Testen Sie zunächst, ob Gradient und Hessisch wie angegeben funktionieren.

set.seed(3)
x <- runif(10,1,2)
y <- 0.3*x^0.2

> optf(c(0.3,0.2))
[1] 0
> gf(c(0.3,0.2))
[1] 0 0
> hesf(c(0.3,0.2))
     [,1] [,2]
[1,]    0    0
[2,]    0    0
> eigen(hesf(c(0.3,0.2)))$values
[1] 0 0

$x$$y$

> df <- read.csv("badhessian.csv")
> df
          x          y
1  1.168042  0.3998378
2  1.807516  0.5939584
3  1.384942  3.6700205
4  1.327734 -3.3390724
5  1.602101  4.1317608
6  1.604394 -1.9045958
7  1.124633 -3.0865249
8  1.294601 -1.8331763
9  1.577610  1.0865977
10 1.630979  0.7869717
> x <- df$x
> y <- df$y
> opt <- optim(c(1,1),optf,gr=gf,method="BFGS")  
> opt$par
[1] -114.91316  -32.54386
> gf(opt$par)
[1] -0.0005795979 -0.0002399711
> hesf(opt$par)
              [,1]         [,2]
[1,]  0.0002514806 -0.003670634
[2,] -0.0036706345  0.050998404
> eigen(hesf(opt$par))$values
[1]  5.126253e-02 -1.264959e-05

Der Gradient ist Null, aber der Hessische ist nicht positiv.

Hinweis: Dies ist mein dritter Versuch, eine Antwort zu geben. Ich hoffe, ich habe es endlich geschafft, präzise mathematische Aussagen zu machen, die mir in den vorherigen Versionen entgangen sind.

Der Hessische ist an einer Sattelstelle unbestimmt. Es ist möglich, dass dies der einzige stationäre Punkt im Inneren des Parameterraums ist.

Update: Lassen Sie mich näher darauf eingehen. Nehmen wir zunächst an, dass der empirische Hessische überall existiert.

Wenn $\hat{\theta}_n$ ist ein lokales (oder sogar globales) Minimum von $\sum_i q(w_i, \cdot)$ und im Inneren des Parameterraumes (angenommen eine offene Menge) dann zwangsläufig das Hessische $(1/N) \sum_i H(w_i, \hat{\theta}_n)$ist positiv semidefinit. Wenn nicht, dann$\hat{\theta}_n$ist kein lokales Minimum. Dies folgt aus Optimalitätsbedingungen zweiter Ordnung - lokal$\sum_i q(w_i, \cdot)$ darf in keiner Richtung abnehmen von $\hat{\theta}_n$.

Eine Quelle der Verwirrung könnte die "funktionierende" Definition eines M-Schätzers sein. Obwohl im Prinzip ein M-Schätzer definiert werden sollte als$\arg\min_\theta \sum_i q(w_i, \theta)$kann es auch als Lösung der Gleichung definiert werden

In der Praxis würde sogar ein fast singulärer oder schlecht konditionierter positiver Hessischer Wert darauf hindeuten, dass der Schätzer arm ist und Sie sich mehr Sorgen machen müssen, als seine Varianz zu schätzen.

Es wurde viel um den heißen Brei in diesem Thread geredet, ob der hessische Wert auf ein lokales Minimum positiv (halb) definit sein muss. Also werde ich eine klare Aussage dazu machen.

Unter der Annahme, dass die objektive Funktion und alle Nebenbedingungsfunktionen zweimal kontinuierlich differenzierbar sind, muss das in den Nullraum des Jacobi projizierte Hessische des Lagrangischen mindestens positiv semidefinit sein. Dh wenn$Z$ ist also eine Basis für den Nullraum des Jacobi von aktiven Nebenbedingungen $Z^T*(\text{Hessian of Lagrangian})*Z$muss positiv semidefinit sein. Dies muss für ein striktes lokales Minimum definitiv positiv sein.

Das Hessische der Zielfunktion in einem eingeschränkten Problem mit aktiven Einschränkungen muss also nicht positiv semidefinit sein, wenn es aktive Einschränkungen gibt.

Anmerkungen:

1) Aktive Bedingungen bestehen aus allen Gleichheitsbedingungen plus Ungleichheitsbedingungen, die mit Gleichheit zufrieden sind.

2) Siehe die Definition des Lagrange unter https://www.encyclopediaofmath.org/index.php/Karush-Kuhn-Tucker_conditions .

3) Wenn alle Bedingungen linear sind, dann ist das Hessische des Lagrange = Hessisches der Zielfunktion, da die 2. Ableitungen der linearen Funktionen Null sind. Aber Sie müssen immer noch den Projektionsjazz spielen, wenn eine dieser Einschränkungen aktiv ist. Beachten Sie, dass Unter- oder Obergrenzenbedingungen besondere Fälle von linearen Ungleichungsbedingungen sind. Wenn die einzigen Einschränkungen, die aktiv sind, gebundene Einschränkungen sind, läuft die Projektion des Hessischen in den Nullraum des Jacobischen von aktiven Einschränkungen darauf hinaus, die Zeilen und Spalten des Hessischen zu eliminieren, die diesen Komponenten an ihren Grenzen entsprechen.

4) Da Lagrange-Multiplikatoren inaktiver Nebenbedingungen Null sind, ist, wenn keine aktiven Nebenbedingungen vorhanden sind, das Hessische des Lagrange = das Hessische der Zielfunktion, und die Identitätsmatrix ist eine Basis für den Nullraum des Jacobischen der aktiven Nebenbedingungen, die Dies führt zu einer Vereinfachung des Kriteriums unter der bekannten Bedingung, dass das Hessische der Zielfunktion auf lokaler Ebene semidefinit positiv ist (auf lokaler Ebene positiv definit, wenn es sich um ein striktes lokales Minimum handelt).

Die obigen positiven Antworten sind richtig, lassen jedoch die entscheidende Annahme der Identifizierung außer Acht - wenn Ihr Modell nicht identifiziert wird (oder wenn es nur als identifiziert eingestuft wird), könnten Sie tatsächlich, wie Wooldridge richtig angegeben hat, mit einem empirischen Hessischen Nicht-PSD-Modell konfrontiert sein. Führen Sie einfach ein nicht-spielzeugpsychometrisches / ökonometrisches Modell aus und überzeugen Sie sich selbst.