Статистика и большие данные precision-recall

3

Предложения по обучению с учетом затрат в крайне несбалансированной среде

У меня есть набор данных с несколькими миллионами строк и ~ 100 столбцов. Я хотел бы обнаружить около 1% примеров в наборе данных, которые относятся к общему классу. У меня есть ограничение минимальной точности, но из-за очень асимметричной стоимости я не слишком заинтересован в каком-либо конкретном отзыве (пока у меня …

15 machine-learning classification unbalanced-classes precision-recall

2

Увеличение числа функций приводит к снижению точности, но увеличению предварительного / повторного вызова

Я новичок в машинном обучении. В настоящее время я использую классификатор Наивного Байеса (NB), чтобы классифицировать небольшие тексты в 3 классах как положительные, отрицательные или нейтральные, используя NLTK и python. Проведя несколько тестов с набором данных, состоящим из 300 000 экземпляров (16 924 положительных, 7 477 отрицательных и 275 599 …

15 machine-learning classification naive-bayes precision-recall

2

Что такое «базовый уровень» в кривой точного отзыва

Я пытаюсь понять точную кривую отзыва, я понимаю, что такое точность и отзыв, но не понимаю, что такое базовое значение. Я читал эту ссылку https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ и я не понимаю часть базовой линии, как показано в «Кривая точного восстановления идеального классификатора», что она делает? и как мы это вычисляем? Это просто …

15 r machine-learning classification precision-recall

3

Каковы различия между AUC и F1-счетом?

F1-оценка является гармоническим средним значением точности и отзыва. Ось у отзыва - это истинно положительный показатель (который также вызывается). Итак, иногда классификаторы могут иметь низкий уровень отзыва, но очень высокий AUC, что это значит? Каковы различия между AUC и F1-счетом?

14 machine-learning precision-recall auc accuracy

4

Расчет AUPR в R [закрыто]

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 7 месяцев назад . Легко найти область вычисления пакета в ROC, но есть ли пакет, который вычисляет площадь под кривой точного возврата?

14 r precision-recall

2

Коэффициент Кости такой же, как точность?

Я сталкиваюсь с коэффициентом Кости для сходства объема ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) и точности ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Мне кажется, что эти две меры одинаковы. Какие-нибудь мысли?

13 descriptive-statistics roc accuracy precision-recall auc

5

Почему сумма Точности и Напомним не является достойной мерой?

Что такое лучший способ объяснить , почему , это не является хорошим показателем, скажем, по сравнению с F1?Точность + ОтзывPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall

1

Как уменьшить количество ложных срабатываний?

Я пытаюсь решить задачу, которая называется « Обнаружение пешеходов», и я тренирую двоичный класс по двум категориям: позитивные - люди, негативные - фон. У меня есть набор данных: количество позитивов = 3752 число отрицательных = 3800 Я использую train \ test split 80 \ 20% и форму scikit-learn RandomForestClassifier с …

12 classification random-forest unbalanced-classes precision-recall computer-vision

2

Как сравнить два алгоритма ранжирования?

Я хочу сравнить два алгоритма ранжирования. В этих алгоритмах клиент указывает некоторые условия в своем поиске. В соответствии с требованиями клиента, этот алгоритм должен назначать оценку для каждого элемента в базе данных и извлекать элементы с наивысшими оценками. Я прочитал различные темы, связанные с моим вопросом на этом сайте, и …

12 machine-learning precision-recall average-precision

1

Как сформировать кривую Precision-Recall, когда у меня есть только одно значение для PR?

У меня есть задание по извлечению данных, где я создаю систему поиска изображений на основе контента. У меня 20 изображений 5 животных. Итак, всего 100 изображений. Моя система возвращает 10 наиболее релевантных изображений для входного изображения. Теперь мне нужно оценить производительность моей системы с помощью кривой Precision-Recall. Однако я не …

12 data-mining matlab precision-recall curves computer-vision

2

Почему мы не используем взвешенное арифметическое среднее вместо гармонического среднего?

Интересно, какова внутренняя ценность использования среднего гармонического (например, для вычисления F-мер), в отличие от взвешенного арифметического среднего в сочетании точности и отзыва? Я думаю, что взвешенное среднее арифметическое может играть роль гармонического среднего, или я что-то упустил?

12 machine-learning monte-carlo precision-recall harmonic-mean

1

Тест на значимость, основанный на точности / отзыв / F1

Можно ли провести тест значимости, основанный исключительно на показателях точности / отзыва / F1? Например, если вы столкнулись с двумя системами в документе, для которых сообщается только P / R / F1 (в одном наборе данных и т. Д.), Можете ли вы затем выполнить тест статистической значимости? Если да, то …

12 statistical-significance precision-recall

5

Как рассчитать точность и вспомнить в матрице путаницы 3 x 3

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Как я могу рассчитать точность и вспомнить, чтобы стало легко рассчитать F1-счет. Нормальная матрица путаницы - это размерность 2 x 2. Тем не менее, когда он становится 3 х 3, я …

12 machine-learning precision-recall

1

Усреднение точности и отзыв при использовании перекрестной проверки

Я выполнил классификацию с использованием нескольких классификаторов для данных, помеченных для двух классов, и использовал пятикратную перекрестную проверку. Для каждого сгиба я вычислял tp, tn, fp и fn. Затем я рассчитал точность, точность, отзыв и F-показатель для каждого теста. Мой вопрос заключается в том, что, когда я хочу усреднить результаты, …

11 classification cross-validation precision-recall

3

Как выбрать хорошую рабочую точку из точных кривых отзыва?

Существует ли какой-либо стандартный метод определения «оптимальной» рабочей точки на кривой точного возврата ? (то есть, определение точки на кривой, которая предлагает хороший компромисс между точностью и отзывом) благодаря

11 machine-learning precision-recall

Вопросы с тегом «precision-recall»