Наука о данных

В рамках моего исследования я заинтересован в распространении меток на графике. Меня особенно интересуют эти два метода: Сяоцзинь Чжу и Зубин Гахрамани. Обучение на помеченных и немаркированных данных с распространением меток. Технический отчет CMU-CALD-02-107, Университет Карнеги-Меллона, 2002 г. http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf Денйонг Чжоу, Оливье Буске, Томас Навин Лал, Джейсон Уэстон, Бернхард Шоелкопф. …

11 scikit-learn  graphs 

Я работаю над моделью Seq2Seq, используя LSTM от Keras (используя Theano background), и я хотел бы распараллелить процессы, потому что даже нескольким МБ данных требуется несколько часов для обучения. Ясно, что графические процессоры намного лучше в параллелизации, чем процессоры. На данный момент у меня есть только процессоры для работы. Я …

11 tensorflow  keras  theano  parallel 

Я конвертирую корпус текстовых документов в векторы слов для каждого документа. Я пробовал это с помощью TfidfVectorizer и HashingVectorizer Я понимаю, что HashingVectorizerа не принимает во внимание IDFоценки, как TfidfVectorizerделает. Причина, по которой я все еще работаю с, HashingVectorizerзаключается в гибкости, которую он дает при работе с огромными наборами данных, …

11 nlp  scikit-learn  text-mining  tfidf 

Меня немного смущает сосуществование метрик потерь и точности в нейронных сетях. Оба должны оказывать «точность» из сравнения yyy и у , не так ли? Так не является ли применение двух излишних в эпоху обучения? Кроме того, почему они не коррелируют?y^y^\hat{y}

11 neural-network  evaluation 

Я пытаюсь выяснить, сколько весов и уклонов необходимо для CNN. Скажем, у меня есть (3, 32, 32) -изображение и я хочу применить (32, 5, 5) -фильтр. Для каждой карты объектов у меня есть веса 5x5, поэтому у меня должно быть 3 x (5x5) x 32 параметра. Теперь мне нужно добавить …

11 deep-learning  convnet  backpropagation 

Я новичок в TensorFlow, и мне нужно понять возможности и недостатки TensorFlow, прежде чем я смогу его использовать. Я знаю, что это основа глубокого обучения, но помимо той, которую другие алгоритмы машинного обучения мы можем использовать с тензорным потоком. Например, можем ли мы использовать SVM или случайные леса, используя TensorFlow? …

11 machine-learning 

При попытке сделать, например, классификацию, мой подход в настоящее время заключается в сначала попробуйте различные алгоритмы и сравните их выполнить выбор функции по лучшему алгоритму из 1 выше настроить параметры, используя выбранные функции и алгоритм Однако я часто не могу убедить себя, что может быть лучший алгоритм, чем выбранный, если …

11 feature-selection  parameter-estimation 

Предположим, у меня есть гладкая функция типа е( х , у) = х2+ у2е(Икс,Y)знак равноИкс2+Y2f(x, y) = x^2+y^2 . У меня есть тренировочный набор и, конечно, я не знаю f, хотя я могу оценить f где угодно.D ⊊ { ( ( х , у) , ф(х , у) ) |( …

11 predictive-modeling  regression  decision-trees 

Я использую ноутбук Ipython для работы с приложениями pyspark. У меня есть файл CSV с множеством категориальных столбцов, чтобы определить, находится ли доход ниже или выше диапазона 50 КБ. Я хотел бы выполнить алгоритм классификации, используя все входные данные для определения диапазона доходов. Мне нужно создать словарь переменных для сопоставленных …

11 python  apache-spark  categorical-data  pyspark 

Я хочу сделать прогноз на результат парламентских выборов. Мой результат будет%, который получает каждая сторона. Существует более двух сторон, поэтому логистическая регрессия не является жизнеспособным вариантом. Я мог бы сделать отдельный регресс для каждой партии, но в этом случае результаты были бы в некотором роде независимыми друг от друга. Это …

11 classification  r  python  regression  predictive-modeling 

Привет, это мой первый вопрос в стеке Data Science. Я хочу создать алгоритм классификации текста. Предположим, у меня есть большой набор текста и статей. Скажем, около 5000 простых текстов. Сначала я использую простую функцию, чтобы определить частоту всех четырех и выше символов слова. Затем я использую это как особенность каждого …

11 text-mining  clustering 

Общая статистика валидации модели, такая как критерий Колмогорова – Смирнова (KS), AUROC и коэффициент Джини , все функционально связаны. Однако мой вопрос касается доказательства того, как все это связано. Мне любопытно, если кто-нибудь может помочь мне доказать эти отношения. Я не смог ничего найти в Интернете, но мне просто искренне …

11 data-mining  statistics  predictive-modeling  accuracy 

В настоящее время я использую SVM и масштабирую свои тренировочные возможности до диапазона [0,1]. Сначала я подгоняю / преобразовываю свой тренировочный набор, а затем применяю то же преобразование к своему испытательному набору. Например: ### Configure transformation and apply to training set min_max_scaler = MinMaxScaler(feature_range=(0, 1)) X_train = min_max_scaler.fit_transform(X_train) ### Perform …

11 machine-learning  svm  feature-scaling 

Я практический исследователь, и мне нравится тестировать жизнеспособные решения, поэтому я стараюсь проводить много экспериментов. Например, если я вычисляю оценку сходства между документами, я мог бы попробовать много мер. Фактически, для каждой меры мне может потребоваться выполнить несколько прогонов, чтобы проверить влияние некоторых параметров. До сих пор я отслеживал входы …

11 tools  experiments 

Я реализовал систему NER с использованием алгоритма CRF с моими функциями ручной работы, которые дали довольно хорошие результаты. Дело в том, что я использовал множество различных функций, включая POS-теги и леммы. Теперь я хочу сделать один и тот же NER для другого языка. Проблема в том, что я не могу …

11 nlp  text-mining  feature-extraction