Наука о данных

Как я мог случайно разбить матрицу данных и соответствующий вектор метки на X_train, X_test, X_val, y_train, y_test, y_val с помощью Sklearn? Насколько я знаю, sklearn.cross_validation.train_test_splitспособен только на две, а не на три ...

59 machine-learning  scikit-learn 

Этот вопрос является ответом на комментарий, который я увидел по другому вопросу. Комментарий касался учебного курса по машинному обучению на Coursera, а также «SVM не так часто используются в наши дни». Я только что закончил соответствующие лекции сам, и мое понимание SVM состоит в том, что они представляют собой надежный …

58 data-mining  svm  state-of-the-art 

Логика часто утверждает, что при недостаточном подборе модели ее способность к обобщению увеличивается. Тем не менее, в какой-то момент недооценка модели приводит к ухудшению моделей независимо от сложности данных. Как узнать, когда ваша модель достигла правильного баланса и не соответствует данным, которые она ищет для моделирования? Примечание. Это продолжение моего …

56 efficiency  algorithms  parameter 

Я недавно прочитал комментарий Яна ЛеКуна о свертках 1x1 : В Сверточных Сетях не существует такого понятия, как «полностью связанные слои». Существуют только слои свертки с ядрами свертки 1x1 и полной таблицей соединений. Это слишком редко понимаемый факт, что ConvNets не должен иметь вход фиксированного размера. Вы можете обучить их …

55 neural-network  convnet 

Я думал о рекуррентных нейронных сетях (RNN) и их разновидностях, а также о сверточных нейронных сетях (CNN) и их разновидностях. Будут ли справедливы эти два момента, чтобы сказать: Используйте CNN, чтобы разбить компонент (например, изображение) на подкомпоненты (например, объект на изображении, например, контур объекта на изображении и т. Д.) Используйте …

53 machine-learning  neural-network  beginner 

Я часто вижу в описании работы для специалиста по данным, спрашивающего опыт работы с Python / Java, и не обращаю внимания на R. Ниже приведено личное письмо, которое я получил от главного специалиста по данным компании, в которую я обратился через linkedin. X, спасибо за подключение и проявление интереса. У …

53 beginner  tools  career  reference-request 

Я знал, что Residual Network (ResNet) сделал обычную инициализацию популярной. В ResNet используется обычная инициализация He , в то время как первый уровень использует равномерную инициализацию He. Я просмотрел документ ResNet и документ «Углубление в выпрямители» (документ об инициализации), но я не нашел упоминаний о обычном init против стандартного init. …

51 neural-network  deep-learning  normalization 

Каков правильный подход и алгоритм кластеризации для геолокации? Я использую следующий код для кластеризации координат геолокации: import numpy as np import matplotlib.pyplot as plt from scipy.cluster.vq import kmeans2, whiten coordinates= np.array([ [lat, long], [lat, long], ... [lat, long] ]) x, y = kmeans2(whiten(coordinates), 3, iter = 20) plt.scatter(coordinates[:,0], coordinates[:,1], c=y); …

51 machine-learning  python  clustering  k-means  geospatial 

Я работаю над проектом данных науки с использованием Python. Проект имеет несколько этапов. Каждый этап состоит из взятия набора данных, использования скриптов Python, вспомогательных данных, конфигурации и параметров и создания другого набора данных. Я храню код в git, так что эта часть покрыта. Я хотел бы услышать о: Инструменты для …

50 python  tools  version-control 

Когда я начинал с искусственных нейронных сетей (NN), я думал, что мне придется бороться с переоснащением в качестве основной проблемы. Но на практике я даже не могу заставить свой NN пройти барьер 20% ошибок. Я даже не могу побить свой счет в случайном лесу! Я ищу какой-то очень общий или …

50 neural-network  deep-learning 

Скрытое выделение Дирихле (LDA) и иерархический процесс Дирихле (HDP) являются темами процессов моделирования. Основное различие заключается в том, что LDA требует уточнения количества тем, а HDP - нет. Почему это так? И каковы различия, плюсы и минусы обоих тематических методов моделирования?

49 nlp  topic-model  lda 

Логика часто утверждает, что из-за переобучения модели ее способность к обобщению ограничена, хотя это может означать лишь то, что переоснащение мешает модели улучшиться после определенной сложности. Вызывает ли переоснащение моделей ухудшение независимо от сложности данных, и если да, то почему это так? Связанный: Продолжение к вопросу выше, " Когда Модель …

49 machine-learning  predictive-modeling 

Я использую TensorFlow для экспериментов в основном с нейронными сетями. Хотя я провел довольно много экспериментов (XOR-Problem, MNIST, некоторые вещи регрессии, ...), я борюсь с выбором «правильной» функции стоимости для конкретных задач, потому что в целом я мог бы считаться новичком. До прихода в TensorFlow я самостоятельно кодировал некоторые полностью …

49 machine-learning  python  neural-network  statistics  tensorflow 

R имеет много библиотек, которые предназначены для анализа данных (например, JAGS, BUGS, ARULES и т. Д.), И упоминается в популярных учебниках, таких как: J. Krusche, Doing Bayesian Data Analysis; Б.Ланц, "Машинное обучение с R". Я видел рекомендацию в 5 ТБ для набора данных, который следует рассматривать как большие данные. Мой …

48 bigdata  r 

Нейронные сети получают лучшие результаты в задачах Computer Vision (см. MNIST , ILSVRC , Kaggle Galaxy Challenge ). Кажется, они превосходят любой другой подход в Computer Vision. Но есть и другие задачи: Kaggle Molecular Activity Challenge Регрессия: предсказание Kaggle Rain , также 2-е место Возьмите и поднимите 2-е, а также …

48 machine-learning  pgm