Вопросы с тегом «python»

У меня есть Pandas DataFrame, как это: df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 Как я …

21 python  pandas  dataframe 

У меня есть 10 фреймов данных pyspark.sql.dataframe.DataFrame, полученных randomSplitкак. (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)Теперь я хочу объединить 9 tdфреймов в один фрейм данных, как мне это сделать? Я уже пробовал с …

21 python  apache-spark  cross-validation  pyspark 

Довольно плохо знаком с Python, но строю свою первую модель RF на основе некоторых классификационных данных. Я преобразовал все метки в числовые данные int64 и загрузил их в X и Y в виде пустого массива, но у меня возникает ошибка, когда я пытаюсь обучить модели. Вот как выглядят мои массивы: …

21 python  scikit-learn  sampling 

Я немного запутался в выборе между Keras (keras-team / keras) и tf.keras (tenorflow / tenorflow / python / keras /) для моего нового исследовательского проекта. Существует дискуссия о том, что Keras не принадлежит никому, поэтому люди будут рады внести свой вклад, и в будущем будет намного легче управлять проектом. С …

20 python  deep-learning  keras  tensorflow 

Закрыто . Этот вопрос нуждается в деталях или ясности . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Добавьте детали и проясните проблему, отредактировав этот пост . Закрыто 3 года назад . Я работаю над вымышленным набором данных с 25 функциями. Двумя характеристиками являются широта и долгота места, …

19 machine-learning  python  feature-engineering  feature-scaling  normalization 

У меня есть очень простой вопрос, который относится к Python, numpy и умножению матриц в настройках логистической регрессии. Во-первых, позвольте мне извиниться за то, что не использовал математическую запись Я запутался в использовании умножения матричных точек и поэлементного умножения. Функция стоимости определяется как: И в Python я написал это как …

18 python  logistic-regression  cost-function 

Я работаю над проблемой Kaggle, где некоторые переменные представлены строками, а не столбцами (разрушение сети Telstra). В настоящее время я ищу эквивалент функции collect (), separa (() и spread (), который можно найти в инструменте R tidyr.

18 r  python  dataset  data-cleaning  pandas 

Из Keras RNN Tutorial: «RNNs сложны. Выбор размера пакета важен, выбор потерь и оптимизатора важен и т. Д. Некоторые конфигурации не сходятся». Так что это более общий вопрос о настройке гиперпараметров LSTM-RNN на Keras. Я хотел бы знать о подходе к поиску лучших параметров для вашего RNN. Я начал с …

18 python  neural-network  deep-learning  keras  hyperparameter 

В моем классе я должен создать приложение, используя два классификатора, чтобы решить, является ли объект на изображении примером phylum porifera (seasponge) или каким-либо другим объектом. Тем не менее, я полностью растерялся, когда дело доходит до методов извлечения функций в Python. Мой советник убедил меня использовать изображения, которые не были рассмотрены …

18 python  feature-extraction  image-recognition 

Я хотел бы уменьшить размерность почти на 1 миллион векторов с 200 измерениями ( doc2vec). Я использую TSNEреализацию из sklearn.manifoldмодуля, и главная проблема - временная сложность. Даже при том method = barnes_hut, что скорость вычислений все еще низка. Некоторое время даже не хватает памяти. Я использую его на 48-ядерном процессоре …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

Я работаю над распознаванием речи с Tensorflow и планирую тренировать LSTM NN с массивом массивных волн. Из-за увеличения производительности я планирую использовать tfrecords. В Интернете есть несколько примеров (Inception for ex.), Где файлы tfrecords разбиты на фрагменты. У меня такой вопрос: какая польза от использования файла tfrecords в шарды? Есть …

17 python  tensorflow 

Существует ли комплексный пакет с открытым исходным кодом (предпочтительно на python или R), который можно использовать для обнаружения аномалий во временных рядах? В scikit-learn есть один класс SVM-пакета, но он не предназначен для данных временных рядов. Я ищу более сложные пакеты, которые, например, используют байесовские сети для обнаружения аномалий.

17 python  time-series  anomaly-detection 

Может кто-нибудь опубликовать простой пример использования Keras обратного вызова для сохранения модели после каждой эпохи? Я могу найти примеры экономии веса, но я хочу иметь возможность сохранять полностью функционирующую модель после каждой тренировочной эпохи.

17 python  keras 

Как я могу получить число недостающего значения в каждой строке в панде dataframe. Я хотел бы разделить фреймы данных на различные фреймы данных, которые имеют одинаковое количество пропущенных значений в каждой строке. Любое предложение?

17 python  pandas 

Я строю рабочий процесс для создания моделей машинного обучения (в моем случае, с использованием Python pandasи sklearnпакетов) из данных, извлеченных из очень большой базы данных (здесь, Vertica посредством SQL и pyodbc), и критический шаг в этом процессе включает в себя отсутствие значения предикторов. Это просто в рамках единой платформы аналитики …

16 machine-learning  python  pandas  scikit-learn