Наука о данных

Я работаю над системой обнаружения мошенничества. В этом поле регулярно появляются новые случаи мошенничества, поэтому новые функции необходимо добавлять в модель на постоянной основе. Интересно, как лучше всего справиться с этим (с точки зрения процесса разработки)? Простое добавление новой функции в вектор признаков и повторное обучение классификатора кажется наивным подходом, …

10 machine-learning  bigdata 

Я хотел бы использовать ANN для автоматизации торговли валютами, предпочтительно USD / EUR или USD / GBP. Я знаю, что это сложно и, возможно, не так просто. Я уже прочитал несколько статей и провел несколько экспериментов, но без особой удачи. Я хотел бы получить совет от экспертов, чтобы сделать эту …

10 neural-network 

Я работаю над проектом и нуждаюсь в ресурсах, чтобы ускорить меня. Набор данных составляет около 35000 наблюдений по 30 или около того переменным. Около половины переменных являются категориальными, в то время как некоторые имеют много разных возможных значений, то есть, если вы разделите категориальные переменные на фиктивные переменные, у вас …

10 r  logistic-regression 

В некоторых случаях может быть невозможно нарисовать диаграммы Эйлера с перекрывающимися кругами, чтобы представить все перекрывающиеся подмножества в правильных пропорциях. Этот тип данных затем требует использования полигонов или других фигур для представления каждого набора. Имея дело с данными, которые описывают перекрывающиеся подмножества, как я могу выяснить, возможна ли простая диаграмма …

10 visualization 

Я попытался обнаружить выбросы в потреблении энергетического газа в некоторых голландских зданиях, построив модель нейронной сети. У меня очень плохие результаты, но я не могу найти причину. Я не эксперт, поэтому я хотел бы спросить вас, что я могу улучшить и что я делаю неправильно. Это полное описание: https://github.com/denadai2/Gas-consuming-outliers . …

10 neural-network  outlier 

Как все мы знаем, существуют некоторые методы индексации данных, использующиеся известными приложениями индексирования, такими как Lucene (для java) или Lucene.NET (для .NET), MurMurHash, B + Tree и т. Д. Для No-Sql / Object Ориентированная база данных (которую я пытаюсь написать / немного поиграть с C #), какую технику вы предлагаете? …

10 nosql  efficiency  indexing  data-indexing-techniques  .net 

В обзоре « Прикладное прогнозирующее моделирование » рецензент заявляет : Одна критика, которую я имею в отношении педагогики статистического обучения (SL), - это отсутствие соображений производительности вычислений при оценке различных методов моделирования. С его акцентом на начальной загрузке и перекрестной проверке для настройки / тестирования моделей, SL довольно интенсивно использует …

10 apache-hadoop  r 

Ян Лекун упомянул в своей АМА, что он считает, что иметь докторскую степень очень важно, чтобы получить работу в топ-компании. У меня есть степень магистра в области статистики, мой студент изучал экономику и прикладную математику, но сейчас я изучаю программы ML PhD. Большинство программ говорят, что нет абсолютно необходимых курсов …

10 education 

Справочная информация: Ниже приводится книга « Базы данных графиков» , в которой описывается тест производительности, упомянутый в книге « Neo4j в действии» : Отношения в графе естественно образуют пути. Запрос или обход графика включает в себя следующие пути. Из-за принципиально ориентированной на путь природы модели данных большинство операций с базой …

10 databases  nosql  neo4j 

Любая небольшая обработка базы данных может быть легко решена с помощью скриптов Python / Perl / ..., которые используют библиотеки и / или даже утилиты из самого языка. Тем не менее, когда дело доходит до производительности, люди склонны обращаться к языкам C / C ++ / низкого уровня. Кажется, что …

10 bigdata  efficiency  performance 

В настоящее время я работаю над моделью логистической регрессии для геномики. Одно из полей ввода, которое я хочу включить как ковариату, это genes. Существует около 24 000 известных генов. Существует много особенностей с таким уровнем изменчивости в вычислительной биологии, и необходимы сотни тысяч образцов. Если я LabelEncoder()эти 24K гены а …

10 machine-learning  keras  scikit-learn 

Я узнал о сверточных нейронных сетях. При рассмотрении Kerasпримеров я натолкнулся на три различных метода свертки. А именно, 1D, 2D & 3D. Каковы различия между этими тремя слоями? Каковы их варианты использования? Есть ли ссылки или ссылки, чтобы показать их варианты использования?

10 machine-learning  neural-network  deep-learning  keras  cnn 

Я изучаю масштабирование данных, и в частности метод стандартизации. Я понял математику, стоящую за этим, но мне не понятно, почему важно дать функциям нулевое среднее и единичную дисперсию. Можете ли вы объяснить мне?

10 machine-learning  feature-scaling  normalization 

Я хотел бы проверить файлы JPG, если они были изменены для изменения содержимого. Что я считаю НЕ фотоделал: Обрезка вращающийся (Масштабирование) Разрешение изображения Смартфоны могут автоматически изменять Что я считаю фотошопом: Добавление нового изображения поверх частей старого изображения Изменение текста части изображения Как это можно автоматически проверить? (И еще: есть …

10 computer-vision 

Я понял, что анализ главных компонентов - это метод уменьшения размерности, то есть, учитывая 10 входных объектов, он даст меньшее количество независимых элементов, которые являются ортогональными и линейными преобразованиями исходных элементов. Является ли PCAсам по себе рассматривается как алгоритм обучения или это шаг предварительной обработки данных.

10 machine-learning  pca