Наука о данных

Я изучаю машинное обучение, и я хотел бы знать, как рассчитать VC-измерение. Например: h(x)={10if a≤x≤belse h(x)={1if a≤x≤b0else h(x)=\begin{cases} 1 &\mbox{if } a\leq x \leq b \\ 0 & \mbox{else } \end{cases} , с параметрами(a,b)∈R2(a,b)∈R2(a,b) ∈ R^2 . Каково его VC-измерение?

12 machine-learning  classification  vc-theory 

У меня есть два фрейма данных df1 и df2, и я хотел бы объединить их в один фрейм данных. Это как если бы df1 и df2 были созданы путем разделения одного фрейма данных по центру по вертикали, подобно разрыву листа бумаги, который содержит список пополам, так что половина столбцов идет …

12 pandas 

Насколько мне известно, разработка алгоритмов для решения проблемы Frequen Pattern Mining (FPM), путь улучшения имеет несколько основных контрольных точек. Во-первых, алгоритм Apriori был предложен в 1993 году Agrawal et al. наряду с формализацией проблемы. Алгоритм был в состоянии убрать некоторые наборы из 2^n - 1наборов (powerset), используя решетку для поддержки …

12 bigdata  data-mining  efficiency  state-of-the-art 

У меня есть набор данных с ~ 1M строк и ~ 500K разреженных объектов. Я хочу уменьшить размерность до порядка 1K-5K плотных объектов. sklearn.decomposition.PCAне работает с разреженными данными, и я пытался использовать, sklearn.decomposition.TruncatedSVDно получаю ошибку памяти довольно быстро. Каковы мои варианты эффективного уменьшения размерности в этом масштабе?

12 python  scikit-learn  dimensionality-reduction 

Рассмотрим фрейм данных pyspark, состоящий из нулевых и числовых элементов. Как правило, числовые элементы имеют разные значения. Как можно заменить все числовые значения кадра данных постоянным числовым значением (например, значением 1)? Заранее спасибо! Пример для фрейма данных pyspark: 123c10.04−1nullc21null1.2c31.35−1.2nullc1c2c310.0411.352−1null−1.23null1.2null \begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & …

12 python  apache-spark 

В настоящее время я делаю курс по тензорному потоку, в котором они использовали tf.one_hot (индексы, глубина). Теперь я не понимаю, как эти индексы превращаются в эту двоичную последовательность. Может кто-нибудь, пожалуйста, объясните мне точный процесс ???

11 machine-learning  python  neural-network  deep-learning  tensorflow 

Следующий вопрос, показанный на картинке, был задан на одном из недавних экзаменов. Я не уверен, если я правильно понял принцип Бритвы Оккама или нет. В соответствии с распределением и границами решения, приведенными в вопросе, и после бритвы Оккама, граница решения B в обоих случаях должна быть ответом. Потому что в …

11 machine-learning  classification 

Я создаю прототип приложения и мне нужна языковая модель для вычисления недоумения в некоторых сгенерированных предложениях. Есть ли в Python обученная языковая модель, которую я могу легко использовать? Что-то простое, как model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Как бы вы оптимизировать с заранее обученных neural network применять его в отдельную проблему? Вы бы просто добавили больше слоев в предварительно обученную модель и протестировали ее на своем наборе данных? Например, если задача состояла в том, чтобы использовать CNN для классификации групп обоев , я уверен, что не получится …

11 neural-network  deep-learning  classification  convnet 

Я только что построил эту нейронную сеть LSTM с Keras import numpy as np import pandas as pd from sklearn import preprocessing from keras.layers.core import Dense, Dropout, Activation from keras.activations import linear from keras.layers.recurrent import LSTM from keras.models import Sequential from matplotlib import pyplot #read and prepare data from datafile …

11 machine-learning  python  keras  prediction  forecasting 

Я только что закончил курс машинного обучения для R на cognitiveclass.ai и начал экспериментировать со случайными лесами. Я сделал модель, используя библиотеку randomForest из R. Модель классифицируется по двум классам: хороший и плохой. Я знаю, что, когда модель переоснащена, она хорошо работает на данных из своего собственного набора обучения, но …

11 r  random-forest  prediction  overfitting 

Я работаю с Python, scikit-learn и keras. У меня есть 3000 тысяч изображений лицевых часов, таких как следующие: Watch_1 , Watch_2 , Watch_3 . Я хочу написать программу, которая получит в качестве входных данных фотографию настоящих часов, которые могут быть сделаны в менее идеальных условиях, чем фотографии выше (другой цвет …

11 python  neural-network  keras 

Я много раз анализировал набор данных, по которому я не мог провести какую-либо классификацию. Чтобы увидеть, могу ли я получить классификатор, я обычно использовал следующие шаги: Создайте графические зависимости метки от числовых значений. Уменьшите размерность до 2 или 3, чтобы увидеть, разделяются ли классы, также иногда пробовал LDA. Сильно попытайтесь …

11 machine-learning  classification  deep-learning  class-imbalance  bayes-error 

В настоящее время я работаю над большими данными, в которых мы активно используем R для анализа данных. У меня в компьютере GTX1070 по игровым причинам. Таким образом, я подумал, что было бы действительно здорово, если бы я мог использовать это для ускорения обработки некоторых вещей, которые мои лекторы заставляют делать, …

11 r  gpu  parallel 

Я некоторое время работал над машинным обучением и биоинформатикой, и сегодня у меня был разговор с коллегой по основным общим вопросам интеллектуального анализа данных. Мой коллега (который является экспертом по машинному обучению) сказал, что, по его мнению, возможно, наиболее важный практический аспект машинного обучения заключается в том, как понять, собрали …

11 machine-learning  data-mining  dataset  data-cleaning  data