Почему бета-оценка определяет бета как это?

10

Это бета-оценка F:

F_{β} знак равно (1 + β^{2}) \cdot \frac{п р е с я s я о N \cdot р е с a L L}{(β^{2} \cdot п р е с я s я о N) + р е с a L L}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

В статье Википедии говорится, что . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Я не понял идею. Зачем определять так? Могу ли я определить следующим образом: $\beta$ $F_\beta$

F_{β} знак равно (1 + β) \cdot \frac{п р е с я s я о N \cdot р е с a L L}{(β \cdot п р е с я s я о N) + р е с a L L}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

А как показать β times as much importance?

machine-learning precision-recall model-evaluation

— аккуратный
источник

2

Ознакомьтесь с более новым ответом ниже, который включает в себя дифференциальное исчисление, в котором говорится, «почему бета в квадрате, а не бета».

— Джавадба

19

Позволить быть весом в первом определении вы предоставляете и веса во втором, два определения эквивалентны при установке , так что эти два определения представляют собой лишь обозначения различия в определение балла. Я видел, что он определил как первый путь (например, на странице википедии ), так и второй (например, здесь ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

мера получаются, если взять средние гармоническую точность и отзыва, а именно обратные среднего значение обратной точности и обратный вызова: $F_1$

\begin{aligned} F_{1} & знак равно \frac{1}{\frac{1}{2} \frac{1}{точность} + \frac{1}{2} \frac{1}{отзыв}} \\ знак равно 2 \frac{точность \cdot отзыв}{точность + отзыв} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Вместо использования весов в знаменателе, которые равны и составляют 1 ( для повторного вызова и для точности), мы могли бы вместо этого назначить веса, которые все еще суммируют с 1, но для вес которого при возврате в раза больше веса при точности ( для отзыва и для точности). Это даст вам второе определение : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & знак равно \frac{1}{\frac{1}{β + 1} \frac{1}{точность} + \frac{β}{β + 1} \frac{1}{отзыв}} \\ знак равно (1 + β) \frac{точность \cdot отзыв}{β \cdot точность + отзыв} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Опять же, если бы мы использовали здесь вместо мы бы пришли к вашему первому определению, поэтому различия между этими двумя определениями просто обозначены. $\beta^2$ $\beta$

— josliber
источник

1

почему они умножили на термин точности вместо термина отзыва?

β

$\beta$

— Анварвик

1

Дифференциальное исчисление, которое учитывает «почему бета- квадрат, а не бета», включено в более новый ответ ниже.

— Джавадба

@ Anwarvic Они умножили на обратный отзыв. После факторизации и расширяется с есть термин влево

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

Причиной определения оценки F-бета с помощью является именно та цитата, которую вы предоставляете (т.е. хотите придать раз большую важность, чтобы вспомнить ее точность), учитывая конкретное определение того, что значит прикреплять раз важнее вспомнить, чем точность. $\beta^{2}$ $\beta$ $\beta$

Конкретный способ определения относительной важности двух метрик, которые приводят к формулировке можно найти в информационном поиске (Van Rijsbergen, 1979): $\beta^{2}$

Определение: Относительная важность, которую пользователь придает точности и отзыву, - это отношение при котором , где мера эффективности, основанная на точности и отзыве. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Мотивация для этого существа:

Самый простой способ измерить это - определить отношение при котором пользователь готов обменять приращение на точность на равную потерю при отзыве. $P/R$

Для того, чтобы видеть , что это приводит к препарат можно начать с общей формулой для взвешенного гармонического среднего и , и вычислить их частные производные по отношению к и . Источник привел польз (для «эффективности мер»), который находится всего и объяснение эквивалентно , рассматривается ли или . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F знак равно \frac{1}{(\frac{α}{п} + \frac{1 - α}{р})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial п знак равно \frac{α}{(\frac{α}{п} + \frac{1 - α}{р})^{2} п^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial р знак равно \frac{1 - α}{(\frac{α}{п} + \frac{1 - α}{р})^{2} р^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Теперь, установив производные равны друг другу накладывает ограничение на взаимосвязи между и соотношение . Учитывая, что мы хотим придать раз столько важности, чтобы вспомнить, сколько точности, мы рассмотрим соотношение¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial п знак равно \partial F / \partial р \to \frac{α}{п^{2}} знак равно \frac{1 - α}{р^{2}} \to \frac{р}{п} знак равно \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Определение как этого отношения и перестановка для дает весовые коэффициенты в терминах : $\beta$ $\alpha$ $\beta^{2}$

β знак равно \sqrt{\frac{1 - α}{α}} \to β^{2} знак равно \frac{1 - α}{α} \to β^{2} + 1 знак равно \frac{1}{α} \to α знак равно \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α знак равно 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Мы получаем:

F знак равно \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{п} + \frac{β^{2}}{β^{2} + 1} \frac{1}{р})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Который можно переставить, чтобы придать форму в вашем вопросе.

Таким образом, учитывая приведенное определение, если вы хотите придать раз столько важности, чтобы вспоминать как точность, то следует использовать формулировку . Эта интерпретация не выполняется, если кто-то использует . Эквивалентная, менее интуитивная интерпретация в случае, когда мы просто используем будет состоять в том, что мы хотим придать раз большую важность, чтобы вызывать точность. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Вы можете определить оценку так, как вы предлагаете, однако вы должны знать, что в этом случае либо обсуждаемая интерпретация больше не действует, либо вы подразумеваете какое-то другое определение для количественной оценки компромисса между точностью и отзывом.

Примечания:

$P/R$ используется в информационном поиске, но, похоже, это опечатка, см . Истину F-меры (Saski, 2007).

Ссылки:

— Персона
источник

1

Это должен быть принятый ответ.

— Джавадба

3

Чтобы указать что-то быстро.

Это означает, что с увеличением значения бета вы цените точность больше.

Я на самом деле думаю, что все наоборот - так как чем выше оценка F-β, тем лучше, чтобы знаменатель был маленьким. Поэтому, если вы уменьшите β, то модель будет наказана меньше за хорошую оценку точности. Если вы увеличиваете β, то показатель F-β наказывается больше, когда точность высокая.

Если вы хотите взвесить оценку F-β так, чтобы она оценивала точность, β должно быть 0 <β <1, где β-> 0 оценивает только точность (числитель становится очень маленьким, и единственное, что в знаменателе - это отзыв, таким образом, показатель F-β уменьшается по мере увеличения числа отзывов).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
источник

0

Причина, по которой β ^ 2 умножается с точностью, заключается именно в том, как определяются F-баллы. Это означает, что с увеличением значения бета вы цените точность больше. Если вы хотите умножить его на отзыв, это также сработает, это будет означать, что при увеличении значения бета вы увеличиваете значение отзыва.

— Махмуд
источник

0

Значение бета больше 1 означает, что мы хотим, чтобы наша модель уделяла больше внимания модели Recall по сравнению с Precision. С другой стороны, значение меньше 1 делает больший акцент на точности.

— Мохит Шарма
источник