Что значит «делиться параметрами между объектами и классами»

При чтении этой статьи есть строка, в которой говорится, что «линейные классификаторы не разделяют параметры между функциями и классами». В чем смысл этого утверждения? Означает ли это, что линейные классификаторы, такие как логистическая регрессия, нуждаются во взаимно независимых признаках?

machine-learning logistic-regression multilabel-classification

— джойди бхаттачарджи
источник

Я попытаюсь ответить на этот вопрос с помощью логистической регрессии , одного из простейших линейных классификаторов.

Самый простой случай логистической регрессии - это если у нас есть задача двоичной классификации ( и только одна входная функция ( ). В этом случае результат логистической регрессии будет: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ где

w

$w$ и

b

$b$ оба являются скалярами . Выходные данные модели

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ соответствуют вероятности того, что

x

$x$ будет иметь класс

1

$1$ .

Мы попытаемся разбить фразу «линейные классификаторы не разделяют параметры между функциями и классами» на две части. Мы рассмотрим случаи нескольких объектов и нескольких классов отдельно, чтобы увидеть, разделяет ли логистическая регрессия параметры для каких-либо из этих задач:

Распределяют ли линейные классификаторы параметры между функциями?

В этом случае для каждого примера $y$ - скаляр, который принимает двоичные значения (как прежде), а $x$ - вектор длины $N$ (где $N$ - число признаков). Здесь выходные данные представляют собой линейную комбинацию входных признаков (то есть взвешенную сумму этих признаков плюс смещения).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ , где и являются векторы длины . Произведение создает скаляр. Как видно из приведенного выше, для каждого входного объекта существует отдельный вес и эти веса во всех отношениях независимы . Из этого можно сделать вывод, что между функциями нет разделения параметров .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Распределяют ли линейные классификаторы параметры между классами?

В этом случае является скаляром, однако является вектором длины (где - количество классов). Чтобы справиться с этим, логистическая регрессия, по существу, создает отдельный выход для каждого из классов. Каждый выход представляет собой скаляр и соответствует вероятности принадлежащего классу . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Самый простой способ думать об этом - это простых независимых логистических регрессий, каждая из которых выдает: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Из вышесказанного очевидно, что никакие веса не распределяются между различными классами .

многофункциональный и мультикласс :

Комбинируя два приведенных выше случая, мы можем, наконец, достичь наиболее общего случая нескольких объектов и нескольких классов:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ где - вектор с размером , - вектор с размером, равным , - вектор с размером а - матрица с размером .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

В любом случае, линейные классификаторы не разделяют какие-либо параметры среди объектов или классов .

Чтобы ответить на ваш второй вопрос, линейные классификаторы действительно исходят из предположения о том, что функции должны быть независимыми , однако это не то, что намеревался сказать автор статьи.

— Djib2011
источник

Хорошее объяснение. :)

— joydeep bhattacharjee