Наука о данных

Мне нужно знать, почему мы должны бороться с дисбалансом данных. Я знаю, как с этим справляться, и различными методами для решения проблемы, которая заключается в повышении или понижении или использовании Smote. Например, если у меня редкое заболевание 1% из 100, и, скажем, я решил иметь сбалансированный набор данных для моего …

12 classification  dataset  sampling  class-imbalance 

У меня есть большой многомерный набор данных, который генерируется каждый день. Каков будет хороший подход для выявления любых «аномалий» по сравнению с предыдущими днями? Является ли это подходящей проблемой, которую можно решить с помощью нейронных сетей? Любые предложения приветствуются. дополнительная информация: примеров нет, поэтому метод должен сам определять аномалии

12 tensorflow  keras  anomaly-detection 

Я работал над небольшим, личным проектом, который берет навыки работы пользователя и предлагает наиболее идеальную карьеру для них на основе этих навыков. Я использую базу данных списков вакансий для достижения этой цели. На данный момент код работает следующим образом: 1) Обработайте текст каждого списка вакансий для извлечения навыков, упомянутых в …

12 nlp  text-mining  similarity  cosine-distance 

У меня есть сверточная модель + LSTM в Керасе, похожая на эту (ссылка 1), которую я использую для конкурса Kaggle. Архитектура показана ниже. Я обучил его на своем маркированном наборе из 11000 образцов (два класса, начальная распространенность ~ 9: 1, поэтому я увеличил выборку с 1 до примерно 1/1) в …

12 keras  cross-validation  overfitting 

В данный момент я играю с Restricted Boltzmann Machines, и, поскольку я в нем, я хотел бы попытаться классифицировать рукописные цифры по ним. Модель, которую я создал, теперь является довольно модной генеративной моделью, но я не знаю, как дальше с ней работать. В этой статье автор говорит, что после создания …

12 classification  rbm 

Я строю автомобиль с дистанционным управлением для удовольствия. Я использую Raspberry Pi в качестве бортового компьютера; и я использую различные плагины, такие как камера Raspberry Pi и датчики расстояния, для обратной связи по окружению автомобиля. Я использую OpenCV, чтобы превратить видеокадры в тензоры, и я использую TensorFlow от Google, чтобы …

12 reinforcement-learning  supervised-learning 

Как выбрать K для PCA? K - количество измерений, на которое нужно спроецировать. Единственное требование - не терять слишком много информации. Я понимаю, что это зависит от данных, но я больше ищу простой общий обзор о том, какие характеристики следует учитывать при выборе K.

12 pca 

Мне нужна помощь в том, что должно быть моим следующим шагом в алгоритме, который я разрабатываю. Из-за NDA я не могу раскрыть многое, но постараюсь быть обобщенным и понятным. В основном, после нескольких шагов в алгоритмах, у меня есть это: Для каждого имеющегося у меня клиента и событий, которые он …

12 classification  clustering  time-series 

Предположим, у меня есть пять наборов, которые я бы хотел сгруппировать. Я понимаю, что техника SimHashing описана здесь: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ может привести к трем кластерам ( {A}, {B,C,D}и {E}), например, если его результаты были: A -> h01 B -> h02 C -> h02 D -> h02 E -> h03 Точно так …

12 clustering  similarity 

Я использую эту библиотеку для базового построения и анализа нейронной сети. Однако он не поддерживает построение многослойных нейронных сетей и т. Д. Итак, я хотел бы знать о каких-либо хороших библиотеках для продвинутых нейронных сетей и Deep Learning в Юлии.

12 machine-learning  neural-network  julia 

Я хочу исследовать поведение авиакомпаний в отношении ценообразования - особенно то, как авиакомпании реагируют на ценообразование конкурентов. Как я сказал бы, мои знания о более сложном анализе довольно ограничены, я использовал в основном все основные методы для сбора общего представления о данных. Это включает в себя простые графики, которые уже …

12 data-mining  dataset  regression  correlation  visualization 

Такие термины, как «наука о данных» и «ученый данных» все чаще используются в наши дни. Многие компании нанимают «ученого данных». Но я не думаю, что это совершенно новая работа. Данные существовали из прошлого, и кто-то должен был иметь дело с данными. Я думаю, что термин «ученый данных» становится все более …

12 bigdata 

Когда алгоритмы ML, например, Vowpal Wabbit или некоторые из машин факторизации, побеждающих в конкурсе кликов ( Kaggle ), упоминают, что функции «хэшированы», что это на самом деле означает для модели? Допустим, есть переменная, которая представляет идентификатор интернет-добавления, который принимает значения, такие как «236BG231». Тогда я понимаю, что эта функция хэшируется …

12 machine-learning  predictive-modeling  kaggle 

Для экспериментов мы хотели бы использовать эмодзи, встроенные во многие твиты, в качестве базовых данных о правде / обучении для простого количественного анализа настроений. Твиты обычно слишком неструктурированы для НЛП, чтобы работать хорошо. Так или иначе, в Unicode 6.0 есть 722 Emoji, и, вероятно, еще 250 будут добавлены в Unicode …

12 machine-learning  classification  parsing 

Я собираюсь классифицировать неструктурированные текстовые документы, а именно сайты неизвестной структуры. Количество классов, которые я классифицирую, ограничено (на данный момент я считаю, что их не более трех). У кого-нибудь есть предложения о том, как мне начать? Возможен ли подход "мешок слов" здесь? Позже я мог бы добавить еще один этап …

12 machine-learning  classification  text-mining  beginner