Может ли машинное обучение выучить такую ​​функцию, как поиск максимума из списка?

У меня есть вход, который является списком, и вывод является максимумом элементов input-list.

Может ли машинное обучение выучить такую ​​функцию, которая всегда выбирает максимум входных элементов, присутствующих на входе?

Это может показаться довольно простым вопросом, но он может дать мне понимание того, что машинное обучение может делать в целом. Благодарность!

Возможно , но учтите, что это один из тех случаев, когда машинное обучение не является ответом . Существует тенденция пытаться использовать машинное обучение в тех случаях, когда действительно болотные стандартные решения, основанные на правилах, быстрее, проще и, как правило, являются правильным выбором: P

То, что вы можете, не означает, что вы должны

Редактировать : я первоначально написал это как «Да, но обратите внимание, что ...», но затем начал сомневаться в себе, никогда не видел, чтобы это было сделано. Я попробовал это сегодня днем, и это, безусловно, выполнимо:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Выход составляет 0,74576, поэтому он правильно находит максимум 74,5% времени. Я не сомневаюсь, что это можно улучшить, но, как я уже сказал, это не тот случай, который я бы порекомендовал для ML.

РЕДАКТИРОВАТЬ 2 : На самом деле я перезапустил это сегодня утром, используя sklearn RandomForestClassifier, и он работал значительно лучше:

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

И результат здесь составляет 94,4% выборок с правильно определенным максимумом, что довольно неплохо.

Да. Очень важно, что вы выбираете архитектуру решения для машинного обучения. Архитектуры и процедуры обучения не пишут сами; они должны быть спроектированы или составлены из шаблонов, и обучение следует как средство обнаружения параметризации архитектуры, подходящей для набора точек данных.

Вы можете построить очень простую архитектуру, которая на самом деле включает в себя максимальную функцию:

net(x) = a * max(x) + b * min(x)

где а и б - изученные параметры.

При наличии достаточного количества обучающих образцов и разумной тренировочной программы эта очень простая архитектура очень быстро научится устанавливать a в 1 и b в ноль для вашей задачи.

Машинное обучение часто принимает форму развёртывания нескольких гипотез о параметризации и преобразовании точек входных данных и обучения сохранению только тех гипотез, которые связаны с целевой переменной. Гипотезы кодируются явно в архитектуре и подфункциях, доступных в параметризованном алгоритме, или в качестве предположений, закодированных в «беспараметрическом» алгоритме.

Например, выбор использования точечных произведений и нелинейностей, как это принято в ванильной нейронной сети ML, несколько произвольный; он выражает всеобъемлющую гипотезу о том, что функция может быть построена с использованием заранее определенной композиционной сетевой структуры линейных преобразований и пороговых функций. Различные параметризации этой сети воплощают разные гипотезы о том, какие линейные преобразования использовать. Можно использовать любой набор инструментов функций, и задача обучающегося машины состоит в том, чтобы с помощью дифференциации, проб и ошибок или другого повторяемого сигнала обнаружить, какие функции или функции в своем массиве лучше всего минимизируют показатель ошибки. В приведенном выше примере изученная сеть просто сводится к самой максимальной функции, тогда как недифференцированная сеть может альтернативно «изучить» минимальную функцию. Эти функции могут быть выражены или аппроксимированы другими способами, как в функции регрессии линейной или нейронной сети в другом ответе. В общем, это действительно зависит от того, какие функции или части LEGO есть в вашем наборе инструментов архитектуры ML.

Да - Машинное обучение может научиться находить максимум в списке чисел.

Вот простой пример обучения поиску индекса максимума:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

Алгоритмы обучения

Вместо того, чтобы изучать функцию как вычисление, выполняемое нейронной сетью с прямой связью, существует целая область исследования алгоритмов обучения на основе выборочных данных. Например, можно использовать что-то вроде машины нейронного тьюринга или какой-то другой метод, в котором выполнение алгоритма контролируется машинным обучением в точках принятия решения. Такие игрушечные алгоритмы, как поиск максимума, или сортировка списка, или реверсирование списка, или фильтрация списка, обычно используются в качестве примеров в исследовании алгоритмов обучения.

Я исключу образованные проекты из моего ответа. Нет, это невозможно использовать готовый подход к машинному обучению (ML), чтобы полностью представить функцию максимума для произвольных списков с произвольной точностью. ML - это метод, основанный на данных, и ясно, что вы не сможете аппроксимировать функцию в регионах, где у вас нет точек данных. Следовательно, пространство возможных наблюдений (которое бесконечно) не может быть охвачено конечными наблюдениями.

Мои утверждения имеют теоретическое обоснование с помощью универсальной теоремы Кибеко для нейронных сетей. Я процитирую теорему из Википедии:

$\mathbb{R}^n$ при мягких предположениях о функция активации. Таким образом, теорема утверждает, что простые нейронные сети могут представлять широкий спектр интересных функций при заданных соответствующих параметрах; однако он не затрагивает алгоритмическую обучаемость этих параметров.

$\mathbb{R}^n$$x\in \mathbb{R}$ . Это ограничение проявляется в плохой подгонке модели из ответа с наибольшим количеством голосов.

Если ваше пространство наблюдений компактно, вы можете аппроксимировать максимальную функцию с помощью конечного набора данных. Как показал ответ с самым высоким рейтингом, вы не должны изобретать велосипед!

Вот расширение моего комментария. В предисловии, абсолютно верно @DanScally, что нет причин использовать ML для нахождения максимума списка. Но я думаю, что ваше «это может дать мне понимание того, что машинное обучение может сделать в целом», является достаточной причиной, чтобы вникнуть в это.

$\max$$\max$

$\max$$\max$$\max$

$n$ $n$

$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$
$i$$i$

Наконец, для следующего вопроса: можем ли мы обучить NN в это состояние. @DanScally помог нам начать; может быть, знание теоретической архитектуры может помочь нам обмануть решение? (Обратите внимание, что если мы сможем выучить / аппроксимировать конкретный набор весов, приведенный выше, сеть фактически будет хорошо работать вне диапазона обучающих выборок.)

Блокнот в github / Colab

$[-1,1]$получает тестовый балл до 0,961, с баллом вне диапазона 0,758. Но я забиваю тем же методом, что и @DanScally, что выглядит немного нечестно: функция идентификации будет отлично работать по этой метрике. Я также распечатал несколько коэффициентов, чтобы увидеть, появляется ли что-нибудь близкое к описанному выше точному соответствию (не совсем); и несколько необработанных выходных данных, которые предполагают, что модель слишком робкая в прогнозировании максимума, ошибочно полагая, что ни один из входных данных не является максимальным. Возможно, изменение цели может помочь, но на данный момент я уже потратил слишком много времени; если кто-то хочет улучшить подход, не стесняйтесь играть (в Colab, если хотите) и дайте мне знать.

Да, даже такое простое машинное обучение, как обычные линейные наименьшие квадраты, может сделать это, если вы используете некоторую прикладную смекалку.

(Но большинство сочло бы это довольно ужасным перебором).

(Я предполагаю, что мы хотим найти максимум абс входного вектора):

1. $$f(x) = \frac{1}{x^2}$$
2. $f({\bf r})$$\bf C_r$
3. Построить вектор, полный единиц $\bf S$,
4. Построить и решить систему уравнений $(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. Давайте назовем вектор результата $\bf p$, это будет мера вероятности (суммы до 1), мы можем перевесить ее, например, нелинейно $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. Просто рассчитайте скалярное произведение с индексом вектора и округления.