Autonomes oder nicht autonomes optimales Steuerungssystem?

8

Ich habe ein folgendes System mit endogener Diskontierung. $c,k$ und $h(k)$ sind Verbrauch, Kapital und endogene Abzinsungsfunktion basierend auf physischem Kapital. (Die Eigenschaften dieser Funktion sind für die Frage nicht relevant, daher schreibe ich sie nicht, um weniger Platz in diesem Beitrag zu beanspruchen. Die Produktionsfunktion wird wie gewohnt erweitert und konkav.)

\underset{{c_{t}}}{m a x} \int_{t = 0}^{\infty} [u (c_{t})] e^{- △} d t

$\underset{\left\{ c_{t}\right\} }{max}\int_{t=0}^{\infty}\left[u\left(c_{t}\right)\right]e^{-\triangle}dt$

Meine Zustandsvariablen sind

\begin{aligned} \dot{k_{t}} = f (k_{t}) - c_{t} \\ {\dot{△}}_{t} = ρ + h (k_{t}) \end{aligned}

$\begin{align} \dot{k_{t}}=f\left(k_{t}\right)-c_{t}\\ \dot{\triangle}_{t}=\rho + h\left(k_{t}\right) \end{align}$

Ich erwähne $\triangle=\int_{0}^{t} (\rho + h\left(k_{t}\right))dt$

Ich schreibe den Barwert Hamiltonian als

H^{p r e s e n t} = u (c) e^{- △} + \tilde{λ_{1}} [f (k) - c] + \tilde{λ_{2}} [ρ + h (k)]

$\mathcal{H}^{present}=u\left(c\right)e^{-\triangle}+\tilde{\lambda_{1}}\left[f\left(k\right)-c\right]+\tilde{\lambda_{2}}\left[\rho + h\left(k\right)\right]$

In diesem Modell bezweifle ich, dass das System autonom ist oder nicht, weil ich es integriere $\dot{\triangle}$ , Ich habe $\triangle= \rho t+ \int_{0}^{t}h\left(k_{t}\right)dt$ , was explizit von der Zeit abhängt $t$ . Offensichtlich ist diese Differentialgleichung nicht autonom.

Ist dieses System wirklich nicht autonom?

Um ein autonomes System zu haben, versuche ich, Variablen zu definieren. Sagen wir $\lambda_{1}=\tilde{\lambda_{1}}e^{\triangle}$ und $\lambda_{2}=\tilde{\lambda_{2}}e^{\triangle}$ . Auf diese Weise schreibe ich den aktuellen Wert Hamiltonian;

H^{c u r r e n t} = u (c) + λ_{1} [f (k) - c] + λ_{2} [ρ + h (k)]

$\mathcal{H}^{current}=u\left(c\right) +\lambda_{1}\left[f\left(k\right)-c\right]+\lambda_{2}\left[\rho + h\left(k\right)\right]$

Ich stecke an diesem Punkt wirklich fest. Im Moment scheint das System autonom zu sein, da der Hamiltonianer hier nicht explizit von der Zeit abhängt, aber ich kann nicht wirklich sicher sein.

Hinweise oder Vorschläge sind willkommen.

macroeconomics optimal-control

— optimale Kontrolle
quelle

Nebenbei wäre es besser, die Dummy-Integrationsvariable von zu ändern

t

$t$ zu so etwas wie

s

$s$ , um Verwirrung zu vermeiden, da

t

$t$ ist Ihr aktueller Laufindex.

— Alecos Papadopoulos

"Offensichtlich ist diese Differentialgleichung nicht autonom". Das ist eine falsche Aussage. Die Differentialgleichung selbst ist autonom (außer wenn

h ()

$h()$ enthält

t

$t$ explizit) ist die Tatsache, dass die Zeitvariable nach der Integration erscheint, ein anderes Problem.

— Alecos Papadopoulos

4

Die Antwort des OP ist in seiner Schlussfolgerung richtig, aber er wendet am Ende ein seltsames Argument an, um dort anzukommen.

Bei Anwendung der Brute-Force-Differenzierung ist der Barwert Hamiltonian

H = e^{- △} U (c) + λ_{1}^{} [f (k) - c] + λ_{2} [ρ + h (k)]

$\mathcal{H}=e^{-\triangle} U\left( c\right) +\lambda _{1}^{}\left[ f(k)-c\right] +\lambda _{2}\left[ \rho +h(k)\right]$

und so

\frac{d H}{d t} = - \dot{△} e^{- △} U (c) + e^{- △} U^{'} (c) \dot{c} + {\dot{λ}}_{1} [f (k) - c] + λ_{1} [f^{'} (k) \dot{k} - \dot{c}] + {\dot{λ}}_{2} [ρ + h (k)] + λ_{2} h^{'} (k) \dot{k}

$\frac {d\mathcal{H}}{dt} = -\dot \triangle e^{-\triangle}U\left( c\right)+ e^{-\triangle} U'(c)\dot c + \dot \lambda_1\left[ f(k)-c\right] + \lambda_1\left[ f'(k)\dot k-\dot c\right] + \dot \lambda _{2}\left[ \rho +h(k)\right]+\lambda _{2}h'(k) \dot k$

Neu arrangieren und verwenden $\rho +h(k) = \dot \triangle$ wir bekommen

\frac{d H}{d t} = - \dot{△} e^{- △} U (c) + [e^{- △} U^{'} (c) - λ_{1}] \dot{c} + [λ_{1} f^{'} (k) + λ_{2} h^{'} (k)] \dot{k} + {\dot{λ}}_{2} \dot{△} + {\dot{λ}}_{1} [f (k) - c]

$\frac {d\mathcal{H}}{dt} = -\dot \triangle e^{-\triangle}U\left( c\right)+ [e^{-\triangle}U'(c)-\lambda_1]\dot c + [\lambda_1f'(k)+\lambda _{2}h'(k)]\dot k + \dot \lambda _{2}\dot \triangle + \dot \lambda_1\left[ f(k)-c\right]$

Auf dem optimalen Weg haben wir $e^{-\triangle}U'(c)=\lambda_1$ so verschwindet der zweite Term oben. Auch optimal haben wir $\dot{\lambda}_{1}=- \frac{\partial \mathcal{H}}{\partial k}$ und beobachte das $\frac{\partial \mathcal{H}}{\partial k} = [\lambda_1f'(k)+\lambda _{2}h'(k)]$ . Auswechseln bekommen wir

\frac{d H}{d t} = - \dot{△} e^{- △} U (c) + \frac{\partial H}{\partial k} \dot{k} + {\dot{λ}}_{2} \dot{△} - \frac{\partial H}{\partial k} [f (k) - c]

$\frac {d\mathcal{H}}{dt} = -\dot \triangle e^{-\triangle}U\left( c\right)+ \frac{\partial \mathcal{H}}{\partial k}\dot k + \dot \lambda _{2}\dot \triangle - \frac{\partial \mathcal{H}}{\partial k}\left[ f(k)-c\right]$

= \frac{\partial H}{\partial k} [\dot{k} - f (k) + c] + \dot{△} \cdot [{\dot{λ}}_{2} - e^{- △} U (c)]

$=\frac{\partial \mathcal{H}}{\partial k}[\dot k - f(k)+c] + \dot \triangle \cdot\big[\dot \lambda _{2} - e^{-\triangle}U\left( c\right)\big]$

Der erste Term ist nach dem Gesetz der Kapitalbewegung Null. Darüber hinaus ist eine weitere notwendige Bedingung für den optimalen Pfad, wenn man bedenkt, wie das Problem formuliert wurde $\dot{\lambda}_{2}=- \frac{\partial \mathcal{H}}{\partial \triangle}$ . so kommen wir an

\frac{d H}{d t} = - \dot{△} \cdot [\frac{\partial H}{\partial △} + e^{- △} U (c)]

$\frac {d\mathcal{H}}{dt} =-\dot \triangle \cdot\left[ \frac{\partial \mathcal{H}}{\partial \triangle} + e^{-\triangle}U\left( c\right)\right]$

Jetzt

\frac{\partial H}{\partial △} = - e^{- △} U (c)

$\frac{\partial \mathcal{H}}{\partial \triangle} = -e^{-\triangle} U\left( c\right)$ so erhalten wir

\frac{d H}{d t} = 0

$\frac {d\mathcal{H}}{dt} =0$

Dies beweist direkt, dass das Problem autonom ist.

Unabhängig davon, ob das Problem autonom ist oder nicht, haben wir dies allgemein auf dem optimalen Weg

\frac{d H}{d t} = \frac{\partial H}{\partial t}

$\frac {d\mathcal{H}}{dt} =\frac {\partial \mathcal{H}}{\partial t}$

Also , wenn es autonom ist, dann erhalten wir die Null-Derivat Ergebnis.

— Alecos Papadopoulos
quelle

Vielen Dank für Ihre ausführliche Antwort. Was ich verwendet habe, war die direkte Transversalitätsbedingung, wie ahnungslos im Kommentar erwähnt. Aber Ihre Antwort ist klarer, nochmals vielen Dank.

— optimale Kontrolle

5

Nach Caputo ist ein Optimal Control-Problem autonom, wenn keine der in der Beschreibung des Problems aufgeführten Funktionen explizit von der Zeitvariablen abhängt. Dies bedeutet jedoch, dass die Standardeinstellung mit einem exogenen Nutzenrabattfaktor nicht autonom ist , sondern durch Neudefinition der Multiplikatoren und anschließende Verwendung des aktuellen Hamilton-Werts erfolgen kann.

Der @ ramazan-Ansatz beginnt korrekt, indem der Abzinsungsfaktor gebrochen und der ungezogene Teil in die augenblickliche Zielfunktion einbezogen wird. Nichts verbietet es, dass die Zustandsvariable in der augenblicklichen Zielfunktion erscheint, im Gegenteil, die allgemeine theoretische Behandlung schließt sie immer ein. Bezeichnen $y_t = \int_{0}^{t}h\left(k_{s}\right)ds$ Ihr Problem wird jetzt

max_{{c_{t}}} \int_{t = 0}^{\infty} [u (c_{t}) e^{- y_{t}}] e^{- ρ t} d t

$\underset{\left\{ c_{t}\right\} }{\max}\int_{t=0}^{\infty}\left[u\left(c_{t}\right)e^{-y_t}\right]e^{-\rho t}dt$

\dot{k_{t}} = f (k_{t}) - c_{t}

$\dot{k_{t}}=f\left(k_{t}\right)-c_{t}$

mit aktuellem Wert Hamiltonian

H^{c u r r e n t} = u (c_{t}) e^{- y_{t}} + λ_{t} [f (k_{t}) - c_{t}]

$\mathcal{H}^{current}=u\left(c_t\right)e^{-y_t} +\lambda_t\left[f\left(k_t\right)-c_t\right]$

Während die Ableitung des Derivats in Bezug auf den Verbrauch keine Probleme darstellt, bedarf das Derivat des Hamiltonian in Bezug auf das Kapital einiger Sorgfalt (und deshalb habe ich das beibehalten $t$ -Index im Hamiltonian). Wenn $G$ ist das Antiderivativ von $h$ , dann $y_t = G(k_t) - G(k_0)$ . Ich denke, der Rest ist einfach für Sie, obwohl die Bedingungen erster Ordnung natürlich komplizierter sein werden.

— Alecos Papadopoulos
quelle

vielen Dank für Ihre Zeit. Wenn ich also den Hamiltonianer betrachte, den Sie schreiben, scheint das System autonom zu sein. Sie sagen also, dass dies ein autonomes Problem ist? Ich habe auch nicht verstanden, warum Sie die zweite Zustandsvariable nicht gesetzt haben

\dot{y}

$\dot{y}$ wie Ramazan in seiner Berechnung? Weil in einem Standardproblem der optimalen Steuerung ein Integral auf einem Hamilton-Operator nicht vorhanden sein konnte

— optimale Steuerung

Autonom mit der Qualifikation, die ich in der Antwort erwähnt habe. Ich sehe seitdem keine "zweite Zustandsvariable"

y_{t}

$y_t$ ist nur eine Funktion der Kapitalzustandsvariablen. Haben Sie die üblichen Bedingungen erster Ordnung berechnet, um zu sehen, was sie Ihnen geben?

— Alecos Papadopoulos

5

Was ist mit dem Umschreiben des Problems auf folgende Weise?

\underset{{c_{t}}}{m a x} \int_{t = 0}^{\infty} [u (c_{t}) e^{y_{t}}] e^{- ρ t} d t

$\underset{\left\{ c_{t}\right\} }{max}\int_{t=0}^{\infty}\left[u\left(c_{t}\right) e^{y_t}\right]e^{-\rho t}dt$

mit den neuen Zustandsvariablen definiert als

\begin{aligned} \dot{k_{t}} = f (k_{t}) - c_{t} \\ {\dot{y}}_{t} = - h (k_{t}) \end{aligned}

$\begin{align} \dot{k_{t}}=f\left(k_{t}\right)-c_{t}\\ \dot{y}_{t}=-h\left(k_{t}\right) \end{align}$

unter den Anfangsbedingungen $(k(0),y(0))=(k_0,0)$ .

— Ramazan
quelle

Danke Ramazan. Ich denke, auf diese Weise reduziert sich das Problem auf ein autonomes Problem. Habe ich recht ?

— optimale Kontrolle

Ich bin von diesem Punkt an nicht mehr informiert, habe nach der Definition eines autonomen Problems der optimalen Steuerung gesucht, aber es scheint, dass ich kein klares finden konnte.

— Ramazan

3

Ich denke, ich habe auf rigorose Weise bewiesen, dass das System für das Modell, das ich 3-4 Tage geschrieben habe, autonom ist, und ich denke, es ist nützlich für die Community, insbesondere für diejenigen, die an der Makroökonomie des Wachstums arbeiten.

Schreiben wir den Barwert Hamiltonian;

H = e^{- △} [U (c)] + λ_{2}^{} [f (k) - c] + λ_{2} [ρ + h (k)]

$\mathcal{H}=e^{-\triangle}\left[ U\left( c\right)\right] +\lambda _{2}^{}\left[ f(k)-c\right] +\lambda _{2}\left[ \rho +h(k)\right]$

Wir wissen das ;

{\dot{λ}}_{1} = - \frac{\partial H}{\partial k}

$\dot{\lambda}_{1}=- \frac{\partial \mathcal{H}}{\partial k}$

{\dot{λ}}_{2} = - \frac{\partial H}{\partial △}

$\dot{\lambda}_{2}=- \frac{\partial \mathcal{H}}{\partial \triangle}$

Wenn ich Hamiltonian nach Zeit unterscheide $t$ ;;

\frac{d H}{d t} = \frac{\partial H}{\partial t} + H_{k} \dot{k} + H_{λ_{1}} {\dot{λ}}_{1} + H_{△} \dot{△} + H_{λ_{2}} {\dot{λ}}_{2}

$\frac{d \mathcal{H}}{dt}=\frac{\partial \mathcal{H}}{\partial t} + \mathcal{H}_k \dot{k} + \mathcal{H}_{\lambda_1} \dot{\lambda}_{1} + \mathcal{H}_\triangle \dot{\triangle} + \mathcal{H}_{\lambda_2} \dot{\lambda}_{2}$

Es ist leicht zu erkennen, dass sich dieser Begriff auf den folgenden reduziert;

\frac{d H}{d t} = \frac{\partial H}{\partial t}

$\frac{d \mathcal{H}}{dt}=\frac{\partial \mathcal{H}}{\partial t}$

Ab Seite 299, Satz 9.6.1 von Léonard und Dockner (Optimale Steuerungstheorie und statische Optimierung in der Wirtschaft) über die Transversalitätsbedingung, die dies zeigt

\underset{t \to \infty}{l i m} H (t) = 0

$\underset{t\rightarrow\infty}{lim}\mathcal{H}\left(t\right)=0$

wann $\rho > 0$

In diesem Fall ist es offensichtlich, dass der Hamilton-Operator entlang des optimalen Pfades den Wert 0 annimmt, was ein autonomes dynamisches System gewährleistet.

— optimale Kontrolle
quelle

Ich folge nicht dem letzten Argument, das Sie verwenden. Die zeitliche Gleichheit von Teil- und Gesamtableitungen des Hamilton-Operators ist ein allgemeines Ergebnis, unabhängig davon, ob das Problem autonom ist oder nicht. Ich habe eine zweite Antwort veröffentlicht, die direkt die Autonomie des Problems belegt.

— Alecos Papadopoulos

Wenn sich das System im eingeschwungenen Zustand befindet

t = T

$t=T$ Wir müssen haben

H (T) = 0

$H(T) = 0$ und

H (T + Δ t) = 0

$H(T+\Delta t) = 0$ durch die Transversalitätsbedingung. Dieser Befund impliziert

d H / d t = 0

$dH/dt=0$ zum

t \geq T

$t \geq T$ . Dies gilt aber nur im eingeschwungenen Zustand und nicht unbedingt auf dem Sattelweg für

t < T

$t<T$ .

— ahnungslos