t-SNE: почему одинаковые значения данных визуально не близки?

У меня есть 200 точек данных, которые имеют одинаковые значения для всех функций.

После уменьшения размера t-SNE они больше не выглядят такими ровными, вот так:

Почему они не находятся в одной точке визуализации и даже, кажется, распределены в двух разных кластерах?

visualization dimensionality-reduction tsne

— ScientiaEtVeritas
источник

Обязательно прочитайте distill.pub/2016/misread-tsne

— Emre

Может ли это быть вызвано используемой вами точностью (double / float)?

— Эль Бурро

Большинство значений являются целыми числами. И это очень мало, около 500 функций, в основном с нулями. Я не знаю, может ли это быть вызвано точностью. Но расстояние между этими кластерами и между этими точками данных относительно велико.

— ScientiaEtVeritas

Какие кластеры? Я думал, что все одинаковы - или вы имеете в виду сюжет?

— Эль Бурро

Да, я имею в виду кластеры на участке.

— ScientiaEtVeritas

Вы правы в том, что одни и те же значения в T-SNE могут быть распределены по разным точкам, причина этого очевидна, если взглянуть на алгоритм, по которому работает T-SNE.

$x_1 = [0,1]$ $x_2 = [0,1]$

import numpy as np from sklearn.manifold import TSNE m = TSNE(n_components=2, random_state=0) m.fit_transform(np.array([[0,1],[0,1]]))

Вы также заметите, что изменение random_stateфактически изменяет выходные координаты модели. Нет никакой реальной корреляции между фактическими координатами и их результатами. Так как первый шаг TSNE вычисляет условную вероятность.

$x_i$ $x_j$ $p_{j | i} = \frac{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}{\sum_{k \neq i}{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}}$ $p_{ij} = \frac{p_{i|j} + p_{j | i}}{2N}$ $p_{ij}$ $x_i$ $x_j$

$\mathbb{R}^2$

Таким образом, правда заключается не в том, чтобы смотреть на эти два кластера, а на расстояние между ними, потому что оно передает больше информации, чем сами координаты.

Надеюсь, что это ответил на ваш вопрос :)

— PSub
источник