Что сказать клиенту, который считает, что доверительные интервалы слишком широки, чтобы быть полезными?

22

Предположим, я консультант и хочу объяснить своему клиенту полезность доверительного интервала. Клиент говорит мне, что мои интервалы слишком широки, чтобы быть полезными, и он предпочел бы использовать их вдвое меньше.

Как мне ответить?

confidence-interval interpretation

— student_diversified
источник

15

выставьте им счет, чтобы собрать больше данных.

— Шаббычеф

2

Это напоминает мне обязательную статью о типах клиентов в статистическом консультировании.

@Procrastinator Не могли бы вы опубликовать ссылку на PDF-версию статьи?

— предполагается нормальным

1

@ Макс, похоже, он доступен только через JSTOR; публикация PDF была бы нарушением (вполне разумных) условий обслуживания JSTOR ...

— Бен Болкер,

@shabbychef - часто это крайне неэффективный способ повышения точности, особенно если выборка уже велика. например, чтобы вдвое уменьшить ширину ci от нормального среднего значения ci, необходимо увеличить размер выборки в четыре раза. Лучше потратить некоторое время на улучшение модели, прежде чем идти и увеличивать ваши самые большие затраты в четыре раза!

— вероятностная

16

Это зависит от того, что клиент подразумевает под «полезным». Предположение вашего клиента о том, что вы произвольно сужаете интервалы, похоже, отражает неправильное понимание того, что, сужая интервалы, вы каким-то образом волшебным образом уменьшали предел погрешности. Предполагая, что набор данных уже собран и исправлен (если это не так, шутка @ shabbychef в комментариях дает вам ваш ответ), любой ответ вашему клиенту должен подчеркивать и описывать, почему нет «бесплатного обеда» и что вы находитесь жертвуя что - то сужая интервалы.

В частности, поскольку набор данных является фиксированным, единственный способ уменьшить ширину доверительного интервала - это уменьшить уровень достоверности. Таким образом, у вас есть выбор между более широким интервалом, который, как вы уверены, содержит истинное значение параметра, или более узким интервалом, в котором вы менее уверены. То есть более широкие доверительные интервалы более консервативны. Конечно, вы никогда не можете просто бездумно оптимизировать ни ширину, ни уровень достоверности, поскольку вы можете генерировать доверительный интервал в вакууме , позволяя ему охватить все пространство параметров и получить бесконечно узкий доверительный интервал, хотя охват будет равен . $100 \%$ $0 \%$

Является ли менее консервативный интервал более полезным, очевидно, зависит как от контекста, так и от того, как ширина интервала изменяется в зависимости от уровня достоверности, но у меня возникают проблемы с представлением приложения, в котором для получения гораздо более низкого уровня достоверности более узкие интервалы были бы предпочтительнее. Также стоит отметить, что $95 \%$ доверительный интервал стал настолько повсеместным, что будет трудно объяснить, почему вы, например, используете доверительный интервал. $60\%$

— макрос
источник

6

Вы не можете просто уменьшить доверительный интервал, не отказавшись от чего-либо, но есть небольшая гибкость, аналогичная разнице между односторонним тестом и двусторонним тестом. Кроме того, возможно, что лучшая модель одних и тех же данных будет давать разные (и, возможно, меньшие) доверительные интервалы.

— Дуглас Заре

3

Я думаю, что вы продаете последнюю часть просто немного меньше. Повсеместность 95 % ДИ является культурным явлением. В некоторых контекстах распространены другие значения, например, при построении графиков ошибки часто являются стандартными ошибками (то есть 68% CI), как я уверен, вы знакомы. (+1, кстати)

— gung - Восстановить Монику

2

По духу этот ответ хорош, но я думаю, что второй абзац слишком ограничен. Одно огромное преимущество, которое статистик приносит этой стороне, - это знание альтернативных процедур, которые могут лучше удовлетворить потребности клиента. Во многих случаях можно сузить ширину CI, выбрав другую процедуру CI. Это не требует сбора дополнительных данных (от -1 до @shabbychef, я боюсь) и снижения уровня достоверности. Действительно сложная часть - это интерпретация CI, где процедура была выбрана пост-hoc. Вот почему мы хотим провести этот разговор перед анализом (или даже сбором) данных!

— whuber

7

Я реагирую на это, Макро, потому что на практике не очень хорошо быть таким негибким. Риск состоит в том, что клиент проигнорирует ваш совет и обратится за помощью к тому, кто не знает ничего лучше (но требует достаточных знаний в области статистики). Сценарий ОП является знакомым и распространенным: его лучше всего рассматривать как возможность информировать и обучать клиента, а также предлагать ему альтернативы (наряду с откровенным обсуждением их плюсов и минусов). Нам нужно сказать «да, CI можно сделать меньше, но вот некоторые из последствий этого», а не «нет, ты облажался».

— whuber

2

Это хороший момент @whuber (+1) в ситуациях, когда могут быть доступны более эффективные альтернативы - еще одна причина проконсультироваться со статистиком перед сбором / анализом данных.

— Макро

2

Я бы предположил, что это полностью зависит от того, для чего ваш клиент хочет использовать доверительные интервалы.

Какой-то отчет / публикация / и т.д. где обычно сообщается о 95% ДИ. Я мог бы очень хорошо сказать ему «Это не является статистически оправданным» и оставить его там, в зависимости от того, склонен ли клиент полагаться на ваш опыт. Если они этого не делают, вы должны принять решение о своем собственном профессиональном комфорте с тем, что они хотят.
Какой-то внутренний документ - я бы дал понять, что вы не согласны, и поясню, на какой доверительный интервал смотрит читатель, поскольку он не 95%.
В качестве меры неопределенности оценки, скажем, чтобы определить, какой анализ чувствительности может понадобиться? Я дал бы им цифру, показывающую полное распределение с 95% -й КИ и чем-то вроде 68% -ной КИ, и позволил им иметь это.

Я был бы очень горд собой, если бы мне удалось удержать «Так что беги больше учиться», чтобы быть первым из моих уст.

— фомиты
источник

1

+1. Я думаю, что комментарии, сделанные вами в (2), вероятно, будут актуальны и в ситуации, описанной (1).

— Макро

0

Используйте стандартное отклонение, как и большинство людей. 95% ДИ может быть страшным, когда люди привыкли к 68% ДИ.

— Geoph Twombly
источник

4

Мне кажется, что в этом случае мы просто заинтересованы в том, чтобы показать точность, скажем, выборочного среднего значения, а не изменчивость отдельных значений. Почему вы бы порекомендовали стандартное отклонение , в частности?

— ЧЛ

Первоначально Фишер предложил 95% ДИ в качестве приближения к 2 стандартным отклонениям.

— Патрик Калдон

1

@ Патрик, это звучит так, как если бы вы пропустили пункт chl (а также неправильно представили Фишера, который не допустил такой ошибки), или вы написали «стандартное отклонение», где вы намеревались «стандартная ошибка ». Большинство КИ основаны на стандартных ошибках, а не на стандартных отклонениях. 2 SD ни приближают к КИ, ни наоборот.

— whuber

Конечно, стандартная ошибка - это просто стандартное отклонение от среднего, поэтому это просто терминология. То есть утверждение о том, что КИ не основаны на стандартных отклонениях, на самом деле не соответствует действительности. Они основаны не на стандартном отклонении выборки, а на стандартном отклонении среднего значения.

— Аарон - Восстановить Монику

2

Не все оценки являются средствами. Существуют стандартные ошибки для оценок, отличных от средних, и это стандартная ошибка оценки, которая используется для генерации доверительных интервалов для параметра на основе изменчивости оценки, как предлагает Уабер.

— Майкл Р. Черник

0

Вы предоставляете доверительный интервал на определенном стандартном уровне, таком как 90% или 95%. Клиент может судить, является ли интервал слишком широким, чтобы быть полезным. Но, конечно, это не значит, что вы можете сократить его, чтобы сделать его полезным. Можно предположить, что увеличение размера выборки приведет к уменьшению ширины интервала с заданным уровнем достоверности, поскольку оно уменьшается примерно в квадратный корень от размера выборки.

— Майкл Р. Черник
источник