Какова вероятность того, что случайных точек в измерениях линейно разделимы?


24

Для точек данных, каждая из которых имеет признаков, помечены как , остальные помечены как . Каждый признак принимает значение от случайным образом (равномерное распределение). Какова вероятность того, что существует гиперплоскость, которая может разделить два класса?ndn/20n/21[0,1]

Давайте сначала рассмотрим самый простой случай, т.е. .d=1


3
Это действительно интересный вопрос. Я думаю, что это можно переформулировать с точки зрения того, пересекаются ли выпуклые оболочки двух классов точек или нет - хотя я не знаю, делает ли это проблему более прямой или нет.
Дон Вальпола

Это, очевидно, будет функцией относительных величин & . Рассмотрим простейший случай w / , если , тогда w / действительно непрерывные данные (т. Е. Нет округления до десятичного знака), вероятность их линейного разделения равна . OTOH, . ndd=1n=21limn  Pr(linearly separable)0
gung - Восстановить Монику

Вы также должны уточнить, должна ли гиперплоскость быть «плоской» (или это может быть, скажем, парабола в ситуации 2d типа). Мне кажется, что вопрос сильно подразумевает плоскостность, но это, вероятно, следует сформулировать явно.
gung - Восстановить Монику

4
@ Gung Я думаю, что слово «гиперплоскость» однозначно подразумевает «плоскостность», поэтому я отредактировал заголовок, чтобы сказать «линейно разделим». Очевидно, что любой набор данных без дубликатов в принципе может быть нелинейно разделимым.
говорит амеба: восстанови монику

1
@ Gung ИМХО "плоская гиперплоскость" - плеоназм. Если вы утверждаете, что «гиперплоскость» может быть изогнута, то «плоскость» также может быть изогнута (в соответствующей метрике).
говорит амеба: восстанови монику

Ответы:


4

Предполагая, что в данных нет дубликатов.

Если Nd+1 , вероятность равна Prзнак равно1 .

Для других комбинаций (N,d) см. Следующий график:

введите описание изображения здесь

Я создал этот график, имитируя входные и выходные данные, как указано в ОП. Линейная отделимость была определена как сбой сходимости в модели логистической регрессии из -за эффекта Хаука-Доннера .

Видно, что вероятность возрастает при увеличении . Фактически, мы могли бы подобрать модель, связывающую и , и это было результатом:NN,dп

п(N,d)знак равно11+е-(5,82944-4,58261×N+1,37271×d-0.0235785×N×d)

введите описание изображения здесь


Код для сюжета (у Юлии):

using GLM

ds = 10; #number of dimensions to be investigated
ns = 100 #number of examples to be investigated
niter = 1000; #number of iterations per d per n
P = niter * ones(Int64, ds, ns); #starting the number of successes

for d in 1:ds
    for n in (d+1):ns
        p = 0 #0 hits
        for i in 1:niter
            println("Dimensions: $d; Samples: $n; Iteration: $i;")
            try #we will try to catch errors in the logistic glm, these are due to perfect separability
                X = hcat(rand((n,d)), ones(n)); #sampling from uniform plus intercept
                Y = sample(0:1, n)  #sampling a binary outcome
                glm(X, Y, Binomial(), LogitLink())
            catch
                p = p+1 #if we catch an error, increase the count
            end
        end
        P[d,n] = p
    end
end

using Plots

gui(heatmap(P./niter, xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Probability of linear separability"))

Код для модели, относящейся к (в Юлии):(N,d)п

probs = P./niter
N = transpose(repmat(1:ns, 1, ds))
D = repmat(1:ds, 1, ns)

fit = glm(hcat(log.(N[:]), D[:], N[:].*D[:], ones(ds*ns)), probs[:], Binomial(), LogitLink())
coef(fit)
#4-element Array{Float64,1}:
# -4.58261
#  1.37271
# -0.0235785
#  5.82944

gui(heatmap(reshape(predict(fit), ds, ns), xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Fit of probability of linear separability"))

+1. Почему log (n), а не n? Желто-черная граница для меня выглядит как прямая линия на верхней фигуре, но на второй фигуре кажется изогнутой. Может быть из-за журнала (n)? Не уверена.
говорит амеба, восстанови Монику

@amoeba Я изменил это. Я также включил взаимодействие, потому что оно могло объяснить постепенное расширение границы между и (именно поэтому я попробовал логарифм раньше). пзнак равно1пзнак равно0
Firebug
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.