Как называется «горячая» кодировка в научной литературе?

10

Как называется оператор, который берет категориальный вектор и преобразует его в двоичное представление, используя горячее кодирование? Я задаюсь вопросом, так как я пишу научную статью и нужное имя для этого.

terminology categorical-encoding

— квантиль
источник

3

Фиктивная кодировка - это другое имя. В машинном обучении каждый просто использует один простой тип, так что довольно ясно, что это такое, но есть другие типы контрастного кодирования (другое имя) с минусами и другими идеями, которые выполняют аналогичную роль, используются в статистике и т. Д. Вы можете быть немного более конкретным.

— Gijs

7

В статистике и анализе данных задолго до машинного обучения этот тип категориального кодирования был известен как фиктивные переменные или контрастные переменные типа индикатора .

— ttnphns

18

Статистики называют одноразовое кодирование фиктивным . Как и предполагали другие (включая Scortchi в комментариях), это не точный синоним, но это термин, который обычно используется для закодированных 0-1 категориальных переменных.

См. Также: «фиктивная переменная» против «индикаторной переменной» для номинальных / категориальных данных

— Тим
источник

3

Duh !! Не могу поверить, что я забыл это. Я также называю их индикаторами.

— Тим Атрейдес

2

Я не думаю, что «фиктивное кодирование» является хорошим синонимом. Это либо используется в общем смысле для обозначения представляющих собой категориального переменным с набором числовых переменными, или для «эталонного уровня кодирования» в отличие от «один-горячего кодирования», например , в задачах с одной горячего кодированием по сравнению с фиктивным кодированием , «Кодирование по уровню означает» (см. Есть ли в регрессионных моделях то, что называется «средним кодированием» (например, фиктивное кодирование и кодирование эффектов) ), обозначает горячее кодирование, но, возможно, также обозначает контекст линейной модели ...

— Scortchi - Reinstate Моника

2

... сильно для общего пользования.

— Scortchi - Восстановить Монику

3

Я никогда не видел определения само по себе, но для меня фиктивные переменные в статистике всегда подразумевают кодирование N факторов с (N-1) переменными, тогда как одноразовое кодирование будет кодировать N факторов с N переменными. Эта разница чрезвычайно важна на практике. Если для регрессий использовать одно горячее кодирование, можно получить глупость из-за зависимости переменных!

— Мех

2

@aginensky Хотя люди, безусловно, должны обращать внимание на то, какие именно переменные у них есть, хорошая процедура регрессии не приведет к бессмысленности в таких обстоятельствах: она просто пропустит одного предиктора и скажет вам об этом.

— Ник Кокс

8

Это зависит от вашей целевой аудитории.

Как сказал Тим , статистики называют это фиктивным кодированием, и это то, что я ожидаю увидеть при описании чего-то вроде регрессионной модели. «Фиктивные переменные были включены, чтобы отрегулировать местоположение магазина». Я думаю, что назвать это горячим кодированием будет немного странно.

Однако, как сказал другой Тим , горячая кодировка довольно распространена в литературе по машинному обучению. Это слабо подразумевает существование узлов (как в нейронной сети), физических проводов (в устройстве) или что-то в этом роде, по крайней мере для меня.

Формально, я полагаю, вы применяете набор индикаторных функций , но это, вероятно, слишком формально вне доказательства. $\mathbb{I}_X$

— Мэтт Краузе
источник

6

Термин происходит от электроники. Подумать только, кто бы назвал 1 "горячим" Только те, кто работает с электричеством, где «горячий» или «живой» означает, что на проводе есть электрический потенциал . «Один горячий» относится к конструкции схемы, в которой дискретный уровень электрического сигнала на одном проводе будет декодирован как горячий / холодный на множестве проводов. Я полагаю, что некоторые люди, обучающиеся машинному обучению с опытом в области ЭЭ, нашли аналогию убедительной.

В эконометрике и статистике вы можете встретить dummyили indicatorпеременные, которые очень похожи, потому что они используются для представления отдельных категорий с их различными показателями. Хотя есть небольшая разница. Например, вы делаете манекены K-1 для K категорий, потому что базовая категория соответствует всем манекенам, установленным на 0. В отличие от этого, я думаю, что в одном горячем кодировании у вас есть K проводов, где у базовой категории будет свой собственный провод ( переменная).

— Аксакал
источник

5

Я статистически обучен, и недавно слышал о «горячем кодировании» в машинном обучении / компьютерной науке. Я обычно упоминал однонаправленную матрицу как матрицу проекта / матрицу данных / структуру кадра.

— Тим Атрейдес
источник

У вас есть ссылка, которую я мог бы привести для этого? Я пишу научную публикацию и хотел бы прояснить этот метод для всех читателей, поскольку статья предназначена не для сообщества ML, а для более широкой аудитории.

— квантиль

Не могу сказать, что я когда-либо слышал "горячий" как глагол. Но я также пришел к этому с математической / статистической точки зрения. (Результаты Google на тему «одна горячая» интересны - я получаю смесь значения машинного обучения и людей, говорящих об «одной горячей машине».)

— Майкл Луго,

3

В физических науках и технике это называется (обобщенная) дельта Кронекера .

В простейшей форме, дельта Кронекера это определяется как хотя это тривиально обобщается на

\begin{aligned} δ_{i, j} \equiv {\begin{cases} 1 & if & i = j \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i,j} {\equiv} \begin{cases} 1 &\text{if} & i=j \\ 0 &\text{else} \end{cases} \end{align*},$

\begin{aligned} δ_{[condition]} \equiv {\begin{cases} 1 & if & [condition] \\ 0 & else \end{cases} \end{aligned} .

$\begin{align*} {\delta}_{\left[\text{condition}\right]} {\equiv} \begin{cases} 1 &\text{if} & \left[\text{condition}\right] \\ 0 &\text{else} \end{cases} \end{align*}.$

Таким образом, « » будет иметь тенденцию восприниматься как что большинство авторов будет стремиться усечь до « », если категория очевидна из контекста. ${\delta}_{i{\in}\text{category}}$

\begin{aligned} δ_{i \in category} \equiv {\begin{cases} 1 & if & i \in category \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i{\in}\text{category}} {\equiv} \begin{cases} 1 &\text{if} & i{\in}\text{category} \\ 0 &\text{else} \end{cases} \end{align*},$

δ_{i}

${\delta}_{i}$

Дельта Кронекера действительно полезна в Sigma / Pi / Einstein / etc. обозначения, так как это позволяет условия быть определены условно.

Просто чтобы связать это с общими структурами программирования, дельтой Кронекера condition?1:0, где ?:находится условный оператор .

${\delta}_{i,j}$ ${\delta}_{i=j}$

— натуральный
источник

Я не вижу ссылку здесь. Один горячий декодирует одну переменную в набор для каждого состояния переменной. Как дельта Кронекера используется в этом приложении?

— Аксакал

{0, 1}

$\left\{0,1\right\}$

δ_{VW}

${\delta}_{\text{VW}}$

δ_{Acura}

${\delta}_{\text{Acura}}$

δ_{Honda}

${\delta}_{\text{Honda}}$

δ_{i, j}

${\delta}_{i,j}$

δ_{CompanyName, VW}

${\delta}_{\text{CompanyName},\text{VW}}$

V W

$VW$

A C U R A

$ACURA$

i = 1.. N

$i=1..N$

V W_{i}

$VW_i$

A C U R A_{i}

$ACURA_i$

i

$i$

C A R_{i}

$CAR_i$

V W_{i} = δ (C A R_{i}, V W)

$VW_i=\delta(CAR_i,VW)$

{V W}_{i}

${VW}_{i}$

{δ_{VW}}_{i}

${{\delta}_{\text{VW}}}_i$

δ_{i \in VW}

${\delta}_{i{\in}\text{VW}}$

i

$i$

1

$1$

0

$0$

2

$1$ $K$

Вот цитата из книги,

$K$ $1$ $K$ $K$ $\textbf{x}$ $x_k$ $1$ $0$ $K = 6$ $x_3 = 1$ $\textbf{x}$

$\textbf{x} = (0, 0, 1, 0, 0, 0)^{T}$

— kedarps
источник