t-критерий для частично парных и частично непарных данных


28

Исследователь желает провести комбинированный анализ нескольких наборов данных. В некоторых наборах данных имеются парные наблюдения для лечения A и B. В других есть непарные данные A и / или B. Я ищу ссылку для адаптации t-критерия или критерия отношения правдоподобия для таких частично спаренных данных. Я готов (на данный момент) предполагать нормальность с равной дисперсией и то, что совокупные средние значения для A одинаковы для каждого исследования (и аналогично для B).


2
Привет Фрэнк. Может быть, было бы полезно сделать предположения о моделировании более явными. Обычно, когда я думаю о парных схемах, я думаю об одном из следующих действий: (i) попытка устранить фиксированные ненаблюдаемые эффекты на уровне единиц, (ii) уменьшение изменчивости случайного эффекта в экспериментальных единицах или (iii) корректировка ненормальности ответ, принимая различия между парами, таким образом, получая лучшее приближение. В частности, я не вижу сразу никакой выгоды в сопоставляемых парах, если предположение под нулем состоит в том, что все наблюдения являются нормальными.
кардинал

4
Кардинал, у меня действительно есть много данных, которые тоже выглядят так. Мы пытались собрать полностью спаренные данные, но из-за технических проблем или неудачи некоторые образцы измерений под А или В иногда портятся. Два очевидных - но неудовлетворительных - решения: 1) отбросить все неполные пары и выполнить парный t-тест, или 2) проигнорировать спаривание и выполнить непарный t-тест для всех данных. Я думаю, что автор просит найти способ задействовать спаривание там, где оно существует (по вашей причине № 1 и № 2), спасая все, что он может, от других непарных точек данных.
Мэтт Краузе

2
Я ценю все комментарии. Для подобранных пар испытуемые тестировались как по А, так и по В. Один из способов использовать спаривание - использовать непараметрический доверительный интервал начальной загрузки для разницы между средними значениями в А и В. Это предполагает использование кластерной начальной загрузки, выборки с заменой из предметы. У субъекта, у которого нет парных данных, в повторной выборке будет сохранено или удалено одно наблюдение, а для парных данных будут сохранены или удалены две записи. Похоже, что это относится к спариванию, но необходимо определить оценку, а мы не знаем об оптимальности.
Фрэнк Харрелл

1
Байесовский подход прост в реализации.
Стефан Лоран

2
Хани М. Самави и Роберт Фогель, Журнал прикладной статистики (2013): заметки о двух выборочных тестах для частично коррелированных (парных) данных, dx.doi.org/10.1080/02664763.2013.830285
Суреш,

Ответы:


6

Го и Юань предлагают альтернативный метод, называемый оптимальным объединенным t-тестом, основанный на объединенном t-тесте Самави и Фогеля.

Ссылка на ссылку: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.865.734&rep=rep1&type=pdf

Отлично читал с несколькими вариантами для этой ситуации.

Новое в комментировании, поэтому, пожалуйста, дайте мне знать, если мне нужно добавить что-нибудь еще.


8

Что ж, если бы вы знали дисперсии в непарном и парном (которые, как правило, были бы значительно меньше), оптимальные веса для двух оценок различий в группах означали бы наличие весов, обратно пропорциональных дисперсии отдельного человека. оценки разницы в средствах.

[Правка: получается, что когда оцениваются отклонения, это называется оценкой Грейбилла-Дила. Там было довольно много статей об этом. Вот один]

Необходимость оценки дисперсии вызывает некоторую трудность (результирующее соотношение оценок дисперсии равно F, и я думаю, что полученные веса имеют бета-распределение, а результирующая статистика является довольно сложной), но, поскольку вы рассматриваете возможность начальной загрузки, это может быть меньше проблем.

Альтернативная возможность, которая может быть лучше в некотором смысле (или, по крайней мере, немного более устойчивой к ненормальности, так как мы играем с коэффициентами дисперсии) с очень малой потерей эффективности в норме, состоит в том, чтобы основывать комбинированную оценку отклонения парные и непарные ранговые тесты - в каждом случае своего рода оценка Ходжеса-Лемана, в непарном случае на основе медиан парных различий между выборками и в парном случае от медиан парных средних средних парных различий. Опять же, линейная комбинация двух взвешенных по минимальной дисперсии весов будет пропорциональна инверсиям дисперсий. В этом случае я бы, вероятно, склонялся к перестановке (/ randomization), а не к начальной загрузке - но в зависимости от того, как вы реализуете свою начальную загрузку, они могут оказаться в одном месте.

В любом случае вы можете захотеть повысить достоверность своих отклонений / уменьшить соотношение отклонений. Попадание в правильное положение по весу - это хорошо, но при нормальной работе вы потеряете очень мало эффективности, сделав его слегка устойчивым. ---

Некоторые дополнительные мысли, которые у меня не были достаточно четко разобраны в моей голове:

Эта проблема имеет явное сходство с проблемой Беренса-Фишера, но еще сложнее.

Если бы мы фиксировали веса, мы могли бы просто ударить в приближении типа Уэлча-Саттертвейта; структура проблемы одинакова.

Наша проблема заключается в том, что мы хотим оптимизировать весовые коэффициенты, что фактически означает, что весовые коэффициенты не являются фиксированными - и, действительно, имеет тенденцию максимизировать статистику (по крайней мере приблизительно и более близко в больших выборках, поскольку любой набор весовых коэффициентов является случайной величиной, оценивающей одинаковую величину). числитель, и мы пытаемся свести к минимуму знаменатель; два не являются независимыми).

Я ожидаю, что это ухудшит приближение хи-квадрат и почти наверняка еще больше повлияет на df приближения.

[Если эта проблема выполнима, может также оказаться хорошим эмпирическое правило, которое скажет: «Вы можете сделать почти так же хорошо, если вы используете только парные данные при этих наборах обстоятельств, только непарные при этих других наборах В остальных условиях эта схема с фиксированным весом обычно очень близка к оптимальной », но я не буду задерживать дыхание в ожидании этого шанса. Такое правило принятия решений, несомненно, будет иметь некоторое влияние на истинное значение в каждом случае, но если этот эффект не будет таким большим, такое практическое правило даст людям простой способ использовать существующее устаревшее программное обеспечение, поэтому может быть желательно попытаться определить такое правило для пользователей в такой ситуации.]

---

Изменить: Примечание для себя - нужно вернуться и заполнить детали работы над тестами «перекрывающихся образцов», особенно t-тестами перекрывающихся образцов

---

Мне приходит в голову, что тест рандомизации должен работать нормально -

  • где данные спарены, вы случайным образом переключаете метки группы в пары

  • если данные непарные, но предполагается, что они имеют общее распределение (под нулевым значением), вы переставляете групповые назначения

  • Теперь вы можете основывать веса на двух сдвиговых оценках на основе относительных дисперсионных оценок ( вес1знак равно1/(1+v1v2)), вычислите взвешенную оценку сдвига каждой рандомизированной выборки и посмотрите, где выборка вписывается в распределение рандомизации.


(Добавлено намного позже)

Возможно актуальная статья:

Деррик Б., Русс Б., Тохер Д. и Уайт П. (2017),
«Статистика испытаний для сравнения средств для двух выборок, включающих как парные, так и независимые наблюдения»,
журнал «Современные прикладные статистические методы» , май Вып. 16, № 1, 137-157.
doi: 10.22237 / jmasm / 1493597280
http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=2251&context=jmasm


1
+1. У меня вопрос по поводу последней части вашего ответа. Какие оценки дисперсии (т. Е. Какие веса) вы бы использовали в тесте перестановок - фактические, вычисленные для фактической выборки, или вы бы вычислили веса для каждой перестановки на основе данных этой перестановки?
говорит амеба, восстанови Монику

@amoeba, чтобы правильно учесть характер расчета на основе выборки, который вы бы основали на этой конкретной перестановке.
Glen_b

@amoeba Я должен сравнить это с некоторыми другими подходами к проблеме.
Glen_b

1
Кстати, я натолкнулся на эту тему, потому что кто-то подошел ко мне со следующими данными: два субъекта с парными данными плюс два субъекта с непарными данными (т.е. 3 измерения в группе A, 3 измерения в группе B, из этих 6 значений 2+ 2 пары, а остальные непарные). В этом случае недостаточно данных для оценки дисперсии оценки непарного сдвига, поэтому я не могу предложить ничего, кроме игнорирования спаривания и проведения непарного теста ... Но это, конечно, довольно экстремальная ситуация.
говорит амеба, восстанови Монику

6

Вот несколько мыслей. Я просто прихожу к выводу Грега Сноу, что эта проблема имеет явное сходство с проблемой Беренса-Фишера . Чтобы избежать рукопожатия, я сначала ввожу некоторые обозначения и формализую гипотезы.

  • nxipAxipBi=1,,n
  • nAnBxiAi=1,,nAxiBi=1,,nB
  • каждое наблюдение представляет собой сумму эффекта пациента и эффекта лечения. Соответствующие случайные величины

    • XipA=Pi+TiAXipB=Pi+TiB
    • XiA=Qi+UiAXiB=Ri+ViB

    Pi,Qi,RiN(0,σP2)Tiτ,Uiτ,ViτN(μτ,σ2)τ=A,B

    • μA=μB

Xi=XipAXipB. We have XiN(μAμB,2σ2).

Now we have three groups of observations, the Xi (size n), the XiA (size nA) and the XiB (size nB). The means are

  • XN(μAμB,2nσ2)
  • XAN(μA,1nA(σP2+σ2))
  • XBN(μB,1nB(σP2+σ2))

The next natural step is to consider

  • Y=X+XAXBN(2(μAμB),2nσ2+(1nA+1nB)(σP2+σ2))

Now basically we are stuck. The three sums of squares give estimations of σ2 with n1 df, σP2+σ2 with nA1 df and nB1 df respectively. The last two can be combined to give an estimation of (1nA+1nB)(σP2+σ2) with nA+nB2 df. The variance of Y is the sum of two terms, each of which can be estimated, but the recombination is not doable, just as in Behrens Fisher problem.

At this point I think one may plug-in any solution proposed to Behrens Fisher problem to get a solution to your problem.


1
I fixed a few typos in formulas. Please check!
kjetil b halvorsen

5

My first thought was a mixed effects model, but that has already been discussed so I won't say any more on that.

My other thought is that if it were theoretically possible that you could have measured paired data on all subjects but due to cost, errors, or another reason you don't have all the pairs, then you could treat the unmeasured effect for the unpaired subjects as missing data and use tools like the EM algorithm or Multiple Imputation (missing at random seems reasonable unless the reason a subject was only measured under 1 treatment was related to what their outcome would be under the other treatment).

It may be even simpler to just fit a bivariate normal to the data using maximum likelihood (with the likelihood factored based on the available data per subject), then do a likelihood ratio test comparing the distribution with the means equal vs. different means.

It has been a long time since my theory classes, so I don't know how these compare on optimality.


1
Thanks Greg. I'm leaning towards the customized maximum likelihood approach.
Frank Harrell

4

maybe mixed modelling with patient as random effect could be a way. With mixed modelling the correlation structure in the paired case and the partial missings in the unpaired case could be accounted for.


2
Since none of the datasets when analyzed individually would lead one to use random effects, I'm not seeing why random effects are helpful here. But it may be possible to use generalized least squares to allow each subject to have her own correlation structure. Unpaired observations would have correlation zero. Worth thinking about. Thanks.
Frank Harrell

да, вы правы, наборы данных не требуют смешанного моделирования, если используются отдельно. Но если вы добавите их в один набор данных, вы можете использовать этот подход, чтобы включить корреляцию в парные данные и одновременно использовать непарные данные, указав нулевую корреляцию.
PSJ

1
Да; моя точка зрения заключалась в том, что смешанная модель может быть излишним, так как вы можете легко указать изменяющую субъектную структуру корреляции, используя обобщенные наименьшие квадраты (например, используя glsфункцию R в nlme4пакете.
Фрэнк Харрелл,

3

Один из методов, предложенных в работе Хани М. Самави и Роберта Фогеля (Журнал прикладной статистики, 2013), состоит из взвешенной комбинации Т-баллов из независимых и зависимых выборок таким образом, что новый Т-балл равен

Tознак равноγ(μY-μИксSИкс2/NИкс+SY2/NY)+(1-γ)μDSD2/ND

где Dпредставляет образцы парных различий, взятых из коррелированных данных. По сути, новый T-балл представляет собой взвешенную комбинацию непарного T-балла с новым сроком коррекции.γпредставляет долю независимых образцов. когдаγ равен 1, тест эквивалентен двум выборочным t-тестам, тогда как, если он равен нулю, это парный t-тест.


1
Что касается этого консервативного взвешенного теста для частично коррелированных данных , авторы, кажется, различают несколько случаев (приближение большой выборки, неравное соотношение совпадающих / независимых выборок, небольшие выборки), чтобы получить распределениеT0под нулевым. Было бы полезно, если бы вы могли обобщить их в своем ответе, поскольку на ту же статью ссылается другой (частичный) ответ.
ЧЛ
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.