Может ли нейронная сеть выучить функционал и его функциональную производную?

Я понимаю, что нейронные сети (НС) можно считать универсальными аппроксиматорами как для функций, так и для их производных, при определенных предположениях (как для сети, так и для функции, которую нужно аппроксимировать). На самом деле, я провел ряд тестов на простые, но нетривиальные функции (например, полиномы), и мне кажется, что я действительно могу хорошо аппроксимировать их и их первые производные (пример показан ниже).

Однако мне неясно, распространяются ли теоремы, которые приводят к вышеизложенному (или, возможно, могут быть расширены), на функционалы и их функциональные производные. Рассмотрим, например, функционал: с функциональной производной: где полностью и нетривиально зависит от . Может ли NN изучить приведенное выше отображение и его функциональную производную? Более конкретно, если кто-то дискретизирует область над и предоставляет (в дискретизированных точках) в качестве входных данных и

Я провел ряд тестов, и кажется, что NN действительно может в некоторой степени изучить отображение . Однако, хотя точность этого сопоставления в порядке, она невелика; и проблема в том, что вычисленная функциональная производная является полным мусором (хотя оба они могут быть связаны с проблемами с обучением и т. д.). Пример показан ниже.$F[f(x)]$

Если NN не подходит для изучения функционала и его производной, есть ли другой метод машинного обучения?

Примеры:

(1) Ниже приведен пример аппроксимации функции и ее производной: NN обучен изучению функции $f(x) = x^3 + x + 0.5$ в диапазоне [-3,2]: из которого можно получить разумное приближение для $df(x)/dx$ получается: обратите внимание, что, как и ожидалось, приближение NN к $f(x)$ и его первой производной улучшается с увеличением количества обучающих точек, архитектуры NN, поскольку лучшие минимумы находятся во время обучения и т. д. ,

(2) Ниже приведен пример аппроксимации функционала и его функциональной производной: NN обучен изучению функционала $F[f(x)] = \int_1^2 dx ~ f(x)^2$ . Обучающие данные были получены с использованием функций вида , где и были сгенерированы случайным образом. Следующий график иллюстрирует, что NN действительно способен достаточно хорошо аппроксимировать : однако, вычисленные функциональные производные являются полным мусором; пример (для конкретного$f(x) = a x^b$$a$$b$$F[f(x)]$f ( x ) F [ f ( x ) ]$f(x)$) показано ниже: Как интересное примечание, NN-приближение к кажется, улучшается с увеличением количества тренировочных точек и т. д. (как в примере (1)), но функциональная производная этого не делает.$F[f(x)]$

Это хороший вопрос. Я думаю, что это связано с теоретическим математическим доказательством. Я работал с Deep Learning (в основном нейронной сетью) некоторое время (около года), и, основываясь на моих знаниях из всех прочитанных мной работ, я еще не видел доказательств по этому поводу. Однако, с точки зрения экспериментального доказательства, я думаю, что могу предоставить обратную связь.

Давайте рассмотрим этот пример ниже:

Я полагаю, что в этом примере через многослойную нейронную сеть она должна быть способна выучить как f (x), так и F [f (x)] посредством обратного распространения. Однако, применимо ли это к более сложным функциям или ко всем функциям во вселенной, требуется больше доказательств. Однако, когда мы рассматриваем пример конкуренции Imagenet - для классификации 1000 объектов, часто используется очень глубокая нейронная сеть; лучшая модель может достичь невероятного уровня ошибок до ~ 5%. Такой глубокий NN содержит более 10 нелинейных слоев, и это является экспериментальным доказательством того, что сложные отношения могут быть представлены через глубокую сеть [основываясь на том факте, что NN с 1 скрытым слоем может разделять данные нелинейно].

Но чтобы узнать ВСЕ производные, требуется больше исследований.

Я не уверен, существуют ли какие-либо методы машинного обучения, которые могут полностью изучить функцию и ее производную. Прости за это.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$M$$f_i(x),~i=1,\dots,M$$i$

$g_0,\dots, g_N$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Давайте возьмем в качестве наших тренировочных функций синусы и косинусы с разными частотами. Расчет целевого вектора:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Теперь матрица регрессора:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Линейная регрессия:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$