Кто-нибудь решил упражнение PTLOS 4.1?

Это упражнение дается в теории вероятностей: Логика науки Эдвин Джейнс, 2003. Существует частичное решение здесь . Я разработал более общее частичное решение, и мне было интересно, если кто-то еще решил его. Я подожду немного, прежде чем опубликовать свой ответ, чтобы дать другим возможность.

Итак, предположим, что у нас есть $n$ взаимоисключающая и исчерпывающая гипотеза, обозначаемая $H_i \;\;(i=1,\dots,n)$ . Далее предположим, что у нас естьнаборов данных, обозначаемых. Отношение правдоподобия для i-й гипотезы определяется как:д $m$$D_j \;\;(j=1,\dots,m)$

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

Обратите внимание, что это условные вероятности. Теперь предположим , что для данного г - й гипотезы $H_{i}$ в $m$ наборы данных являются независимыми, так что мы имеем:

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

Теперь было бы весьма удобно, если бы знаменатель также учитывал эту ситуацию, чтобы мы имели:

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

Поскольку в этом случае отношение правдоподобия будет разделено на произведение меньших факторов для каждого набора данных, так что мы имеем:

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

Таким образом, в этом случае каждый набор данных будет «голосовать за $H_i$ » или «голосовать против $H_i$ » независимо от любого другого набора данных.

Упражнение состоит в том, чтобы доказать, что если (более двух гипотез), то нет такого нетривиального способа, которым этот факторинг может происходить. То есть, если вы предполагаете, что условие 1 и условие 2 выполняются, то самое большее один из факторов: P ( D 1 | H i$n>2$ отличается от 1, иследовательнотолько один набор данныхбудет способствовать отношения правдоподобия.

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$

Я лично нашел этот результат довольно захватывающим, потому что он в основном показывает, что тестирование множественных гипотез - не что иное, как серия тестов двоичных гипотез.

Причина, по которой мы приняли уравнение 4.28 (в книге ваше условие 1) заключалось в том, что мы предполагали, что вероятность данных при определенной гипотезе и исходная информация X независимы, другими словами, для любых D i и D j при i ≠ j :$H_a$$X$$D_i$$D_j$$i\neq{j}$

Невозможность расширения вне двоичного случая может поэтому обсуждаться следующим образом: если мы предполагаем, что уравнение 1 истинно, верно ли уравнение 2?

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$

Сначала давайте посмотрим на левую часть уравнения ( 2 ) , используя правило умножения:

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$

Так как п гипотезы { H 1 ... H п } предполагаются взаимно исключающими и исчерпывающими, можно записать: ¯ Н = Σ б ≠ Н Ь So eq.3 становится: Р ( Д я

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ $n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ Для случая, когда у нас есть только две гипотезы, суммирования удаляются (поскольку существует только одинb≠a), равные члены в знаменателе и знаменателе,P(DJHб|X), компенсируются и eq.2 доказано правильным, такHб=¯ H . Следовательно, уравнение 4.29 можно вывести из уравнения 4.28 в книге. Но когда у нас более двух гипотез, этого не происходит, например, если у нас есть три гипотезы: $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ , уравнение выше становится: P ( D i | D j ¯ H 1 X ) = P ( D i | H 2 X ) P ( D j H 2 | X ) + P ( D i | H 3 X ) P ( D j H 3 $\{H_1, H_2, H_3\}$ Другими словами: P $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ Единственный способ, которым это уравнение может дать уравнение 2, состоит в том, что оба знаменателя равны 1, то есть обе дроби в знаменателях должны равняться нулю. Но это невозможно. $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

Итак, вместо того чтобы пойти и заново вывести уравнение Сандера (5), я просто изложу его здесь. Условия 1 и 2 подразумевают следующее равенство:

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

$m=2$$D_{1}^{(1)}\equiv D_{1}$$D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$$m=2$

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

$(d_{1a}-d_{1b})$$k=a$$l=b$$k=b$$l=a$$a,b\neq i$$d_{2b}$$-d_{2a}$$i$$i$$i=1$$a=1,b=2$$b=1,a=2$$i=3$

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

$h_i$$n_{1}<n$$n_{1}$

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

$\frac{n(n-1)}{2}$$d_{jk}=d_{jl}$$j=1$$j=2$$(k,l)$$d_{jk}=d_{jl}$$n-1$$j$$1,\dots,n$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$2$

$\frac{n(n-1)}{2}$$\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$$j=1$$j=2$$n>4$$n-1$$n=4$$n=3$$n-1$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$n=2$

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

Чтобы завершить доказательство, обратите внимание, что если второе условие выполнено, результат уже доказан, и только одно отношение может отличаться от 1. Если первое условие выполнено, то мы можем повторить приведенный выше анализ путем перемаркировки $D_{1}^{(2)}\equiv D_{2}$$D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$$D_{1},D_{2}$$D_{2}$$D_{1}D_{2}$не способствует удержанию и так далее. Таким образом, только один набор данных может вносить вклад в отношение правдоподобия, когда выполняются условие 1 и условие 2, и существует более двух гипотез.

$d_{j1}=d_{j2}$$d_{j1}=d_{j3}$$d_{j2}=d_{j3}$$d_{jk}=d_{jl}$$k,l\notin (1,2,3)$$n=4$$j$$(1,2),(2,3),(1,3)$$(1,4),(2,4),(3,4)$$(1,2,3,4)$

Для справки, вот несколько более обширное доказательство . Он также содержит некоторую справочную информацию. Может быть, это полезно для других, изучающих тему.

Основная идея доказательства состоит в том, чтобы показать, что условия 1 и 2 Джейнса подразумевают, что

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ for all but one data set $m_k=1,\ldots,m$. It then shows that for all these data sets, we also have $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ Thus we have for all but one data set, $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ The reason that I wanted to include the proof here is that some of the steps involved are not at all obvious, and one needs to take care not to use anything else than conditions 1 and 2 and the product rule (as many of the other proofs implicitly do). The link above includes all these steps in detail. It is on my Google Drive and I will make sure it stays accessible.