Kann ein neuronales Netzwerk eine Funktion und ihre funktionale Ableitung lernen?

Ich verstehe, dass neuronale Netze (NNs) unter bestimmten Voraussetzungen (sowohl für das Netz als auch für die zu approximierende Funktion) als universelle Approximatoren für beide Funktionen und ihre Ableitungen angesehen werden können. Tatsächlich habe ich eine Reihe von Tests mit einfachen, aber nicht trivialen Funktionen (z. B. Polynomen) durchgeführt, und es scheint, dass ich sie und ihre ersten Ableitungen tatsächlich gut approximieren kann (ein Beispiel ist unten gezeigt).

Was mir jedoch nicht klar ist, ist, ob sich die Theoreme, die zu dem Obigen führen, auf Funktionale und ihre funktionalen Ableitungen erstrecken (oder vielleicht erweitert werden könnten). Betrachten Sie zum Beispiel die Funktion:

Ich habe eine Reihe von Tests durchgeführt, und es scheint, dass ein NN tatsächlich die Abbildung $F[f(x)]$ bis zu einem gewissen Grad lernen kann . Die Genauigkeit dieser Zuordnung ist zwar in Ordnung, aber nicht großartig. und beunruhigend ist, dass das berechnete funktionale Derivat vollständiger Müll ist (obwohl beide mit Problemen beim Training usw. zusammenhängen könnten). Ein Beispiel ist unten gezeigt.

Wenn ein NN nicht zum Lernen einer Funktion und ihrer funktionalen Ableitung geeignet ist, gibt es dann eine andere Methode des maschinellen Lernens?

Beispiele:

(1) Das Folgende ist ein Beispiel für die Approximation einer Funktion und ihrer Ableitung: Ein NN wurde trainiert, um die Funktion $f(x) = x^3 + x + 0.5$ über den Bereich [-3,2] zu lernen, aus dem eine vernünftige Approximation hervorgeht zu $df(x)/dx$ wird erhalten: Es ist zu beachten, dass sich erwartungsgemäß die NN-Näherung an $f(x)$ und ihre erste Ableitung mit der Anzahl der Trainingspunkte, der NN-Architektur verbessern, da während des Trainings usw. bessere Minima gefunden werden .

$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$$f(x)$$F[f(x)]$

Das ist eine gute Frage. Ich denke, es geht um theoretische mathematische Beweise. Ich arbeite seit einer Weile (ungefähr ein Jahr) mit Deep Learning (im Grunde genommen einem neuronalen Netzwerk) und habe aufgrund meines Wissens aus allen von mir gelesenen Artikeln noch keinen Beweis dafür gesehen. In Bezug auf experimentelle Beweise denke ich jedoch, dass ich ein Feedback geben kann.

Betrachten wir das folgende Beispiel:

In diesem Beispiel sollte es meines Erachtens über ein mehrschichtiges neuronales Netzwerk in der Lage sein, sowohl f (x) als auch F [f (x)] über die Rückausbreitung zu lernen. Unabhängig davon, ob dies für kompliziertere Funktionen oder für alle Funktionen im Universum gilt, sind mehr Beweise erforderlich. Wenn wir jedoch das Beispiel der Imagenet-Konkurrenz betrachten - um 1000 Objekte zu klassifizieren, wird häufig ein sehr tiefes neuronales Netzwerk verwendet; Das beste Modell kann eine unglaubliche Fehlerrate von ~ 5% erreichen. Solch ein tiefes NN enthält mehr als 10 nichtlineare Schichten und dies ist ein experimenteller Beweis dafür, dass eine komplizierte Beziehung durch ein tiefes Netzwerk dargestellt werden kann [basierend auf der Tatsache, dass wir wissen, dass ein NN mit 1 verborgenen Schicht Daten nichtlinear trennen kann].

Ob jedoch ALLE Derivate erlernt werden können, erfordert mehr Forschung.

Ich bin mir nicht sicher, ob es Methoden des maschinellen Lernens gibt, mit denen die Funktion und ihre Ableitung vollständig erlernt werden können. Das tut mir leid.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$M$$f_i(x),~i=1,\dots,M$$i$

$g_0,\dots, g_N$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Nehmen wir Sinus und Cosinus mit unterschiedlichen Frequenzen als Trainingsfunktionen. Berechnung des Zielvektors:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Nun die Regressormatrix:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Lineare Regression:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$