Как построить вывод данных кластеризации?

15

Я попытался кластеризовать набор данных (набор меток) и получил 2 кластера. Я хотел бы представить это графически. Немного запутался в представлении, так как у меня нет координат (x, y).

Также ищем функцию MATLAB / Python для этого.

РЕДАКТИРОВАТЬ

Я думаю, что размещение данных делает вопрос более ясным. У меня есть два кластера, которые я сделал, используя кластеризацию kmeans в Python (не используя scipy). Они есть

class 1: a=[3222403552.0, 3222493472.0, 3222491808.0, 3222489152.0, 3222413632.0, 
3222394528.0, 3222414976.0, 3222522768.0, 3222403552.0, 3222498896.0, 3222541408.0, 
3222403552.0, 3222402816.0, 3222588192.0, 3222403552.0, 3222410272.0, 3222394560.0, 
3222402704.0, 3222298192.0, 3222409264.0, 3222414688.0, 3222522512.0, 3222404096.0, 
3222486720.0, 3222403968.0, 3222486368.0, 3222376320.0, 3222522896.0, 3222403552.0, 
3222374480.0, 3222491648.0, 3222543024.0, 3222376848.0, 3222403552.0, 3222591616.0, 
3222376944.0, 3222325568.0, 3222488864.0, 3222548416.0, 3222424176.0, 3222415024.0, 
3222403552.0, 3222407504.0, 3222489584.0, 3222407872.0, 3222402736.0, 3222402032.0, 
3222410208.0, 3222414816.0, 3222523024.0, 3222552656.0, 3222487168.0, 3222403728.0, 
3222319440.0, 3222375840.0, 3222325136.0, 3222311568.0, 3222491984.0, 3222542032.0, 
3222539984.0, 3222522256.0, 3222588336.0, 3222316784.0, 3222488304.0, 3222351360.0, 
3222545536.0, 3222323728.0, 3222413824.0, 3222415120.0, 3222403552.0, 3222514624.0, 
3222408000.0, 3222413856.0, 3222408640.0, 3222377072.0, 3222324304.0, 3222524016.0, 
3222324000.0, 3222489808.0, 3222403552.0, 3223571920.0, 3222522384.0, 3222319712.0, 
3222374512.0, 3222375456.0, 3222489968.0, 3222492752.0, 3222413920.0, 3222394448.0, 
3222403552.0, 3222403552.0, 3222540576.0, 3222407408.0, 3222415072.0, 3222388272.0, 
3222549264.0, 3222325280.0, 3222548208.0, 3222298608.0, 3222413760.0, 3222409408.0, 
3222542528.0, 3222473296.0, 3222428384.0, 3222413696.0, 3222486224.0, 3222361280.0, 
3222522640.0, 3222492080.0, 3222472144.0, 3222376560.0, 3222378736.0, 3222364544.0, 
3222407776.0, 3222359872.0, 3222492928.0, 3222440496.0, 3222499408.0, 3222450272.0, 
3222351904.0, 3222352480.0, 3222413952.0, 3222556416.0, 3222410304.0, 3222399984.0, 
3222494736.0, 3222388288.0, 3222403552.0, 3222323824.0, 3222523616.0, 3222394656.0, 
3222404672.0, 3222405984.0, 3222490432.0, 3222407296.0, 3222394720.0, 3222596624.0, 
3222597520.0, 3222598048.0, 3222403552.0, 3222403552.0, 3222403552.0, 3222324448.0, 
3222408976.0, 3222448160.0, 3222366320.0, 3222489344.0, 3222403552.0, 3222494480.0, 
3222382032.0, 3222450432.0, 3222352000.0, 3222352528.0, 3222414032.0, 3222728448.0, 
3222299456.0, 3222400016.0, 3222495056.0, 3222388848.0, 3222403552.0, 3222487568.0, 
3222523744.0, 3222394624.0, 3222408112.0, 3222406496.0, 3222405616.0, 3222592160.0, 
3222549360.0, 3222438560.0, 3222597024.0, 3222597616.0, 3222598128.0, 3222403552.0, 
3222403552.0, 3222403552.0, 3222499056.0, 3222408512.0, 3222402064.0, 3222368992.0, 
3222511376.0, 3222414624.0, 3222554816.0, 3222494608.0, 3222449792.0, 3222351952.0, 
3222352272.0, 3222394736.0, 3222311856.0, 3222414288.0, 3222402448.0, 3222401056.0, 
3222413568.0, 3222298848.0, 3222297184.0, 3222488000.0, 3222490528.0, 3222394688.0, 
3222408224.0, 3222406672.0, 3222404896.0, 3222443120.0, 3222403552.0, 3222596400.0, 
3222597120.0, 3222597712.0, 3222400896.0, 3222403552.0, 3222403552.0, 3222403552.0, 
3222299200.0, 3222321296.0, 3222364176.0, 3222602208.0, 3222513040.0, 3222414656.0, 
3222564864.0, 3222407904.0, 3222449984.0, 3222352096.0, 3222352432.0, 3222452832.0, 
3222368560.0, 3222414368.0, 3222399376.0, 3222298352.0, 3222573152.0, 3222438080.0, 
3222409168.0, 3222523488.0, 3222394592.0, 3222405136.0, 3222490624.0, 3222406928.0, 
3222407104.0, 3222442464.0, 3222403552.0, 3222596512.0, 3222597216.0, 3222597968.0, 
3222438208.0, 3222403552.0, 3222403552.0, 3222403552.0]

class 2: b=[3498543128.0, 3498542920.0, 3498543252.0, 3498543752.0, 3498544872.0, 
3498544528.0, 3498543024.0, 3498542548.0, 3498542232.0]

Я хотел бы построить это. Я попробовал следующее и получил следующий результат, когда я строю aи b.

pylab.plot(a,'x')
pylab.plot(b,'o')
pylab.show()

введите описание изображения здесь

можно получить лучшую визуализацию кластеризации?

clustering  data-visualization  python 
— user2721
источник
1
Это действительно зависит от того, как вы провели кластеризацию :). Если вы покажете небольшой пример данных, которые у вас есть, я уверен, что вы получите ответ
— Дэвид,
1
Использование разных цветов и маркеров имеет тенденцию быть самым простым / легким для чтения. Если у вас есть только 2 кластера, то вы можете просто напечатать 0/1 или O / X для различных значений.
— Марчин
Пожалуйста, расскажите, что вы подразумеваете под «набором отметок». Сколько переменных у вас есть, чтобы охарактеризовать кластеры? Кроме того, уверены ли вы, что 2 является лучшим числом кластеров для использования? Много раз приходится использовать программы кластерного анализа итеративно; вначале можно получить только 2, но с некоторыми корректировками можно получить более интересное и информативное большее число.
— rolando2
Я использовал kmeans, где я должен явно
— указать
@ user2721, не могли бы вы показать нам, как вы используете kmeans?
— Сигур

Ответы:

30

Обычно вы наносите исходные значения на диаграмму рассеяния (или матрицу диаграмм рассеяния, если у вас их много) и используете цвет, чтобы показать свои группы.

Вы запросили ответ в python, и вы фактически делаете всю кластеризацию и черчение с помощью scipy, numpy и matplotlib:

Начните с внесения некоторых данных

import numpy as np
from scipy import cluster
from matplotlib import pyplot

np.random.seed(123)
tests = np.reshape( np.random.uniform(0,100,60), (30,2) )
#tests[1:4]
#array([[ 22.68514536,  55.13147691],
#       [ 71.94689698,  42.31064601],
#       [ 98.07641984,  68.48297386]])

Сколько кластеров?

Это сложная вещь о k-средних, и существует множество методов. Давайте использовать метод локтя

#plot variance for each value for 'k' between 1,10
initial = [cluster.vq.kmeans(tests,i) for i in range(1,10)]
pyplot.plot([var for (cent,var) in initial])
pyplot.show()

Локоть сюжет

Присвойте свои наблюдения классам и постройте их

Я считаю, что индекс 3 (т.е. 4 кластера) так же хорош, как и любой другой

cent, var = initial[3]
#use vq() to get as assignment for each obs.
assignment,cdist = cluster.vq.vq(tests,cent)
pyplot.scatter(tests[:,0], tests[:,1], c=assignment)
pyplot.show()

точечный график

Просто поработайте так, чтобы вы могли вставить все, что вы уже сделали, в этот рабочий процесс (и я надеюсь, что ваши кластеры немного лучше, чем случайные!)

— Дэвид Ш
источник
Ваш ответ выглядит великолепно. Могу ли я использовать это эффективно для моих данных. Не могу найти время, чтобы попробовать это.
— user2721
@David W: Это один из лучших ответов, которые я видел! Большое спасибо за публикацию отдельного примера. По крайней мере, я понимаю суть вашего ответа :) Еще раз спасибо!
— Легенда
@ david w: Единственный вопрос, который у меня возник, это то, что метод локтя показывает увеличение значений, а ваш график показывает уменьшение. Это потому, что вы используете значения искажения непосредственно из kmeans? Как я могу преобразовать это, чтобы быть похожим на локоть Википедии? И последний вопрос: знаете ли вы, как это сделать для kmeans2 вместо kmeans?
— Легенда
Вы обнаружили индекс 3, просто глядя на первый сюжет?
— Сигур
2

Возможно, попробуйте что-то вроде Fastmap, чтобы построить свой набор меток, используя их относительные расстояния.

(все еще) ничего умного не написало Fastmap на python для построения строк и может быть легко обновлено для обработки списков атрибутов, если вы написали свою собственную метрику расстояния.

Ниже приведено стандартное евклидово расстояние, которое я использую, которое принимает два списка атрибутов в качестве параметров. Если в ваших списках есть значение класса, не используйте его при расчете расстояния.

def distance(vecone, vectwo, d=0.0):
    for i in range(len(vecone)):
        if isnumeric(vecone[i]):
            d = d + (vecone[i] - vectwo[i])**2
        elif vecone[i] is not vectwo[i]:
            d += 1.0
    return math.sqrt(d)

def isnumeric(s):
    try:
        float(s)
        return True
    except ValueError:
        return False
— мясник
источник
0

Я не эксперт по питону, но очень полезно нанести первые 2 основных компонента друг на друга по осям x, y.

Не уверен, какие пакеты вы используете, но вот пример ссылки:

http://pyrorobotics.org/?page=PyroModuleAnalysis

— Ральф Винтерс
источник
Я не эксперт по статистике. Не могли бы вы объяснить больше об идее построения?
— user2721
Основная идея заключается в том, что многие переменные коррелируют друг с другом, и все может быть сведено к двум переменным, которые не связаны друг с другом и объясняют «большую часть» различий в данных. Вам необходимо ознакомиться с анализом основных компонентов и применить пакет, который позволяет вам его реализовать. ru.wikipedia.org/wiki/Principal_component_analysis
— Ральф Уинтерс
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.