Тест на пропорции и двоичный классификатор

У меня есть прототип машины, производящей детали.

В первом тесте машина производит деталей, и двоичный классификатор говорит мне, что детали неисправны ( , обычно и ), а детали хороши. $N_1$ $d_1$ $d_1 < N_1$ $d_1/N_1<0.01$ $N_1\approx10^4$ $N_1-d_1$

Затем техник вносит некоторые изменения в машину, чтобы уменьшить количество дефектных деталей.

Во втором и последующем тесте модифицированная машина производит детали, и тот же двоичный классификатор (нетронутый) говорит мне, что детали неисправны, в любом случае очень похож на . $N_2$ $d_2$ $d_2/N_2$ $d_1/N_1$

Техник хотел бы знать, эффективны ли его изменения.

Предполагая, что классификаторы идеальны (его чувствительность составляет 100%, а его специфичность составляет 100%), я могу выполнить тест на пропорции (с R, я просто набираю prop.test(c(d1,d2),c(N1,N2))).

Но классификатор не идеален, так как я могу принять во внимание чувствительность и специфичность, неизвестную, классификатора, чтобы правильно ответить технику?

— Алессандро Якопсон
источник

Можете ли вы подтвердить степень точности классификатора?

— Мишель

@Michelle Я знаю без ошибок и но я не знаю, сколько дефектных деталей неправильно классифицируется как хорошее.

d_{1}

$d_1$

d_{2}

$d_2$

— Алессандро Якопсон

Привет еще раз. Можете ли вы сделать случайную выборку хороших частей из N1 и N2 отдельно, чтобы оценить ложноположительный показатель?

— Мишель

С этой информацией, можете ли вы использовать этот метод для сравнения изменений? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract также см. здесь ncbi.nlm.nih.gov/pubmed/18224558 и другие идеи, полный текст: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf

— Мишель

(+1) это отличный вопрос!

— Штеффен

Так что я извлекаю это из первых принципов, и поэтому не уверен, что это правильно. Вот мои мысли:

РЕДАКТИРОВАТЬ: Это было не совсем правильно раньше. Я обновил это.

Пусть обозначает ожидаемую разницу между фактическим числом истинных положительных значений и числом, выводимым двоичным классификатором, который мы назовем . Вы можете измерить это, запустив свой классификатор на наборе с известными метками. Вычтите количество фактических позитивов из числа позитивов, произведенных классификатором, а затем разделите на чтобы получить . $\alpha$ $d_1$ $\hat{d_1}$ $N$ $\alpha$
Итак, точечная оценка для фактического соотношения дефектных частей дается: . То есть наблюдаемое количество дефектных деталей, за вычетом ожидаемого количества ложных срабатываний плюс ожидаемое количество ложных срабатываний. $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$
Точно так же, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$
Итак, теперь давайте сделаем тест на опору. В стандартном тесте пропеллера мы сначала вычисляем объединенное отношение, используемое как нулевое значение: . Итак, здесь мы помещаем в наши точечные оценки $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ и $\hat{\frac{d_1}{N_1}}$ чтобы получить: $\hat{\frac{d_2}{N_2}}$ $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$
И тогда стандартная ошибка просто обычная: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$
И статистика теста такая же: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Несколько мыслей о толковании:

$p < 0$
Другой способ думать об этом заключается в том, что, если количество дефектных деталей находится в пределах погрешности для классификатора, то, конечно, мы не можем сказать, есть ли разница: мы даже не можем сказать, являются ли какие-либо детали дефектными!

$\alpha$

$\alpha$ $\alpha$

$h$

$\frac{h}{2}$ $\alpha$ $\alpha$ $\frac{h}{2}$ $low_l, low_r)$ $(high_l, high_r)$ $\alpha$ $(high_l,low_r)$ (который содержит оба более ранних интервала) должен быть (1-h) * 100% CI для разницы в пропорциях ... Я думаю ...

$\alpha$

— Джон Дусетт
источник

+1, спасибо. В 6 вы написали «статические», вы имели в виду «статистика»?

— Алессандро Якопсон

p < 0

$p<0$

0 < p < 1

$0<p<1$

0 < p < 1

$0<p<1$

0.01 (N 1 - d 1) \approx 100

$0.01(N1−d1)\approx100$

β = \frac{7}{100}

$\beta=\frac{7}{100}$

β

$\beta$

β

$\beta$ prop.test(7,100)

@uvts_cvs Да, это должно быть "статистика". Я исправлю это через мгновение. Существует также опечатка в расчете для стандартной ошибки, которая должна быть p * (1-p). P всегда должно быть <1, за исключением, может быть, если ваш классификатор действительно плохой, а d большое. Для вашего третьего комментария, да, это идея. Я просто не уверен, как включить эту оценку в модель. Возможно, кто-то еще здесь знает?

— Джон Дусетт

α

$\alpha$

β

$\beta$