Определение оптимальной дискретизации данных из непрерывного распределения

Предположим, у вас есть набор данных из непрерывного распределения с плотностью поддерживаемой на которая неизвестна, но довольно велико, поэтому плотность ядра (например) оценка, , довольно точна. Для конкретного приложения мне нужно преобразовать наблюдаемые данные в конечное число категорий, чтобы получить новый набор данных с подразумеваемой функцией массы . $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

Простым примером будет когда и когда . В этом случае индуцированная функция массы будет $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Двумя «параметрами настройки» здесь являются число групп и вектор длины порогов . Обозначим индуцированную функцию массы через . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Я хотел бы, чтобы процедура отвечала, например, на «Какой лучший выбор чтобы увеличение числа групп до (и выбор там оптимального ) дало бы незначительное улучшение?» , Я чувствую, что, возможно, можно создать тестовую статистику (возможно, с разницей в дивергенции KL или чем-то подобном), распределение которой можно получить. Есть идеи или соответствующая литература? $m, \lambda$ $m+1$ $\lambda$

Редактировать: я равномерно распределил временные измерения непрерывной переменной и использую неоднородную цепь Маркова для моделирования временной зависимости. Честно говоря, с цепями дискретных состояний Маркова работать гораздо проще, и это моя мотивация. Наблюдаемые данные являются процентами. В настоящее время я использую специальную дискретизацию, которая выглядит очень хорошо для меня, но я думаю, что это интересная проблема, где возможно формальное (и общее) решение.

Редактировать 2: Фактически минимизация расхождения KL была бы эквивалентна не дискретизации данных вообще, так что идея полностью отсутствует. Я отредактировал тело соответственно.

continuous-data discrete-data

— макрос
источник

В большинстве случаев потребности последующего применения будут определять качество любого решения. Возможно, чтобы дать нам некоторое руководство, вы могли бы сказать больше об этом.

— whuber

Сначала определите, что вы подразумеваете под пренебрежимо малым . Это, похоже, связано с проблемой искажения скорости . Текст « Обложка и Томас» предоставляет хорошее читаемое введение в такие темы.

— кардинал

Я думаю о дискретизации с уровнями, как модель с параметрами (для порогов). В этой ситуации, когда я говорю «незначительный», я имею в виду «не стоит добавлять дополнительный параметр» в статистическом смысле.

k

$k$

k - 1

$k-1$

— Макрос

Я не уверен, что дискретизация - это действительно хороший ход. Вы не сможете обобщать границы, которые дискретные значения создают в исходном пространстве ваших наблюдений.

— Bayerj

Я собираюсь поделиться решением, которое я придумал для этой проблемы некоторое время назад - это не формальный статистический тест, но может предоставить полезную эвристику.

Рассмотрим общий случай, когда у вас есть непрерывные наблюдения ; Без ограничения общности предположим, что выборочным пространством каждого наблюдения является интервал . Схема категоризации будет зависеть от ряда категорий и пороговых значений местоположений, которые разделяют категории, . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

Обозначим классифицированную версию через , где . Думая о дискретизации данных как о разделении исходных данных на классы, дисперсию можно рассматривать как комбинацию вариаций внутри и между группами для фиксированного значения : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Данная категоризация успешна при создании однородных групп, если в групповой дисперсии относительно мало, что определяется количественно . Поэтому мы ищем экономной группировку, предусматривающим большую часть вариации в к . член в В частности, мы хотим выбрать так, чтобы, добавляя дополнительные уровни, мы не добавляли значительно к однородности внутри группы. С учетом этого мы определяем оптимальный для фиксированного значения которое будет $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

Грубая диагностика для определения того, какой выбор адекватен, состоит в том, чтобы посмотреть на выпадение в как функция от - эта траектория монотонно не увеличивается и после ее резкого уменьшения вы можете видеть, что вы получаете относительно меньшую точность за счет включения большего количества категорий. Эта эвристика по духу похожа на то, как иногда используется « График Скри », чтобы увидеть, сколько основных компонентов объясняют «достаточно» вариации. $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— макрос
источник