Может ли нейронная сеть вычислить

В духе знаменитой шутки Tensorflow Fizz Buzz и проблемы XOr я начал думать, возможно ли спроектировать нейронную сеть, которая реализует функцию ?$y = x^2$

Учитывая некоторое представление числа (например, как вектор в двоичной форме, так что число 5представляется как [1,0,1,0,0,0,0,...]), нейронная сеть должна научиться возвращать свой квадрат - 25 в этом случае.

Если бы я мог реализовать , я мог бы, вероятно, реализовать и, как правило, любой многочлен от x, а затем с помощью ряда Тейлора я мог бы приблизить , что решило бы проблему Fizz Buzz - нейронная сеть, которая может найти остаток от деления.$y=x^2$$y=x^3$$y=\sin(x)$

Очевидно, что только линейная часть NN не сможет выполнить эту задачу, поэтому, если бы мы могли выполнить умножение, это произошло бы благодаря функции активации.

Можете ли вы предложить какие-либо идеи или чтения на тему?

Нейронные сети также называют универсальной функцией приближения , которая основана в теореме универсальной функции приближения . В нем говорится , что:

В математической теории искусственных нейронных сетей, универсальная аппроксимация теорема утверждает, что опережающая сеть с одним скрытым слоем, содержащим конечное числом нейронов может аппроксимировать непрерывные функции на компактных подмножествах Rn, при умеренных предположениях о функции активации

Значение ANN с нелинейной функцией активации может отображать функцию, которая связывает вход с выходом. Функция может быть легко аппроксимирована с помощью регрессионного ИНС.$y = x^2$

Вы можете найти отличный урок здесь с примером ноутбука.

Кроме того, благодаря такой способности ANN может отображать сложные отношения, например, между изображением и его метками.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$