Есть ли у нас проблема «жалких голосов»?

Я знаю, это может звучать как не по теме, но выслушайте меня.

В Stack Overflow и здесь мы получаем голоса за сообщения, все это хранится в табличной форме.

Например:

идентификатор сообщения идентификатор голосования тип голосования дата и время
------- -------- --------- --------
10 1 2 2000-1-1 10:00:01 
11 3 3 2000-1-1 10:00:01 
10 5 2 2000-1-1 10:00:01 

... и так далее. Тип голосования 2 - отрицательный, тип голосования 3 - отрицательный. Вы можете запросить анонимную версию этих данных на http://data.stackexchange.com

Существует мнение, что если сообщение набирает -1 балл или ниже, оно с большей вероятностью будет проголосовано. Это может быть просто предвзятым подтверждением или может быть корнем на самом деле.

Как мы проанализируем эти данные, чтобы подтвердить или опровергнуть эту гипотезу? Как бы мы измерили эффект этого смещения?

Вы можете использовать многоуровневую модель или цепочку Маркова (пакет msm в R - один из способов их соответствия). Затем можно посмотреть, больше ли вероятность перехода от -1 до 0, чем от 0 до 1, от 1 до 2 и т. Д. Вы также можете посмотреть среднее время на -1 по сравнению с другими, чтобы увидеть, не короче ли оно. ,

Провести эксперимент. Случайным образом уменьшайте половину новых сообщений в определенное время каждый день.

Резюме моего ответа. Мне нравится моделирование цепей Маркова, но оно пропускает «временной» аспект. С другой стороны, фокусировка на временном аспекте (например, на среднем времени в ) пропускает аспект «перехода». Я хотел бы перейти к следующему общему моделированию (которое с подходящим допущением может привести к [процессу Маркова] [1]). Также есть много «цензурированных» статистических данных, стоящих за этой проблемой (что, безусловно, является классической проблемой надежности программного обеспечения?). Последнее уравнение моего ответа дает оценку максимального правдоподобия интенсивности голосования (с «+» и «до» с «-») для данного состояния голосования. Как мы можем видеть из уравнения, он является промежуточным по отношению к случаю, когда вы оцениваете только вероятность перехода, и к случаю, когда вы измеряете только время, проведенное в данном состоянии. Надеюсь, это поможет.$-1$

Общее моделирование (для повторения вопроса и предположений). Пусть и будут случайными переменными, моделирующими соответственно даты голосования и соответствующий знак голосования (+1 для повышения, -1 для снижения). Процесс голосования просто ( S i ) i ≥ $(VD_i)_{i\geq 1}$$(S_{i})_{i\geq 1}$

$$Y_{t}=Y^+_t-Y^-_t$$ где

$$Y^+_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=1} \;\text{ and } \;Y^-_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=-1}$$

Важное значение здесь имеет намерение -jump где может быть или а - хорошая фильтрация, в общем случае, без других знаний это было бы : .$\epsilon$

$$\lambda^{\epsilon}_t=\lim_{dt\rightarrow 0} \frac{1}{dt} P(Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1|\mathcal{F}_t)$$ $\epsilon$$-$$+$$\mathcal{F}_t$ $$\mathcal{F}_t=\sigma \left (Y^+_t,Y^-_t,VD_1,\dots,VD_{Y^+_t+Y^-_t},S_{1},\dots,S_{Y^+_t+Y^-_t} \right )$$

но в соответствии с вашим вопросом, я думаю, вы неявно предполагаете, что Это означает, что для существует детерминированная последовательность такой, что .

$$P \left ( Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1 | \mathcal{F}_t \right )= P \left (Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1| Y_t \right )$$ $\epsilon=+,-$$(\mu^{\epsilon}_i)_{i\in \mathbb{Z}}$$\lambda^{\epsilon}_t=\mu^{\epsilon}_{Y_t}$

В рамках этого формализма ваш вопрос можно переформулировать так: «вполне вероятно, что » (или, по крайней мере, разница больше, чем заданный порог).$\mu^{+}_{-1} -\mu^{+}_{0}>0$

В этом предположении легко показать, что является [однородным марковским процессом] [3] на с генератором заданным как$Y_t$$\mathbb{Z}$$Q$

$$\forall i,j \in \mathbb{Z}\;\;\; Q_{i,i+1}=\mu^{+}_{i}\;\; Q_{i,i-1}=\mu^{-}_{i}\;\; Q_{ii}=1-(\mu^{+}_{i}+\mu^{-}_{i}) \;\; Q_{ij}=0 \text{ if } |i-j|>1$$

Отвечая на вопрос (предлагая оценку максимального правдоподобия для статистической задачи) Из этой переформулировки решение проблемы осуществляется путем оценки и построения теста с учетом его значений. Давайте исправим и забудем индекс без потери общности. Оценка (и ) может быть выполнена после наблюдения$(\mu^{+}_i)$$i$$\mu^+$$\mu^-$

$(T^{1},\eta^1),\dots,(T^{p},\eta^p)$ где - длины из периодов, проведенных в состоянии (то есть последовательные времена с ) и равно если за вопрос проголосовали отрицательно, если за него проголосовали, и если это было последнее состояние наблюдения.$T^j$$j^{th}$$p$$i$$Y_t=i$$\eta^j$$+1$$-1$$0$

Если вы забудете случай с последним состоянием наблюдения, упомянутые пары будут взяты из распределения, которое зависит от и : оно распространяется как (где Exp - это случайная переменная из экспоненциального распределения, а равно + или -1 в зависимости от того, кто реализует максимум). Затем вы можете использовать следующую простую лемму (доказательство простое):$\mu_i^+$$\mu_i^-$$(\min(Exp(\mu_i^+),Exp(\mu_i^-)),\eta)$$\eta$

Лемма Если и то и . $X_+\leadsto Exp(\mu_+)$$X_{-} \leadsto Exp(\mu_{-})$$T=\min(X_+,X_-)\leadsto Exp(\mu_++\mu_-)$$P(X_+1<X_-)=\frac{\mu_+}{\mu_++\mu_-}$

Это означает, что плотность of определяется как: где для - это функция плотности экспоненциальной случайной величины с параметром . Из этого выражения легко вывести оценку максимального правдоподобия и :$f(t,\epsilon)$$(T,\eta)$

$$f(t,\epsilon)=g_{\mu_++\mu_-}\left ( \frac{1(\epsilon=+1)*\mu_++1(\epsilon=-1)*\mu_-}{\mu_++\mu_-}\right )$$ $g_a$$a>0$$a$$\mu_+$$\mu_-$

$$(\hat{\mu}_+,\hat{\mu}_-)=argmin \ln (\mu_-+\mu_+)\left ( (\mu_-+\mu_+)\sum_{i=1}^p T^i+p\right )- p_-\ln\left (\mu_-\right ) -p_+ \ln \left (\mu_+\right )$$ гдеи,$p_-=|{i:\delta_i=-1}|$$p_+=|{i:\delta_i=+1}|$

Комментарии для более продвинутых подходов

Если вы хотите принять во внимание случаи, когда - последнее наблюдаемое состояние (конечно, умнее, потому что когда вы проходите через , это часто ваш последний счет ...), вам нужно немного изменить рассуждение. Соответствующая цензура является относительно классической ...$i$$-1$

Возможный другой подход может включать в себя возможность

• Имея интенсивность, которая уменьшается со временем
• Имея интенсивность, которая уменьшается со временем, проведенным с момента последнего голосования (я предпочитаю это. В этом случае есть классический способ моделирования, как плотность уменьшается ...
• Вы можете предположить, что является гладкой функцией от$\mu_i^+$$i$
• .... вы можете предложить другие идеи!