Вопросы с тегом «dataframe»

У меня есть данные, сохраненные в базе данных postgreSQL. Я запрашиваю эти данные с помощью Python2.7 и превращаю их в Pandas DataFrame. Однако последний столбец этого информационного кадра содержит словарь (или список?) Значений внутри него. DataFrame выглядит следующим образом: [1] df Station ID Pollutants 8809 {"a": "46", "b": "3", "c": …

148 python  pandas  dictionary  dataframe 

Каковы наиболее распространенные способы выбора / фильтрации строк фрейма данных, индекс которого является MultiIndex ? Нарезка на основе одного значения / метки Нарезка на основе нескольких этикеток с одного или нескольких уровней Фильтрация по логическим условиям и выражениям Какие методы применимы в каких обстоятельствах Предположения для простоты: входной фрейм данных …

148 python  pandas  dataframe  slice  multi-index 

У меня есть фрейм данных, как это: df VALUE ABS_CALL DETECTION P-VALUE 1007_s_at "957.729231881542" "P" "0.00486279317241156" 1053_at "320.632701283368" "P" "0.0313356324173416" 117_at "429.842323161046" "P" "0.0170004527476119" 121_at "2395.7364289242" "P" "0.0114473584876183" 1255_g_at "116.493632746934" "A" "0.39799368200131" 1294_at "739.927122116896" "A" "0.0668649772942343" Я хочу преобразовать имена строк в первый столбец. В настоящее время я использую что-то …

147 r  dataframe  col  rowname 

Я старался: x=pandas.DataFrame(...) s = x.take([0], axis=1) И sполучает DataFrame, а не серию.

147 python  dataframe  pandas  series 

У меня есть датафрейм pandas, и я хочу разделить его на 3 отдельных набора. Я знаю , что с помощью train_test_split из sklearn.cross_validation, можно разделить данные в двух сетах (поезд и тест). Тем не менее, я не смог найти никакого решения о разделении данных на три набора. Желательно, чтобы у …

146 pandas  numpy  dataframe  machine-learning  scikit-learn 

Дан кадр данных панд, содержащий возможные значения NaN, разбросанные здесь и там: Вопрос: Как определить, какие столбцы содержат значения NaN? В частности, могу ли я получить список имен столбцов, содержащих NaN?

144 python  pandas  dataframe  nan 

У меня есть DataFrame, сгенерированный следующим образом: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Результаты выглядят так: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

У меня есть CSV-файл без заголовка с индексом DateTime. Я хочу переименовать индекс и имя столбца, но с помощью df.rename () переименовывается только имя столбца. Ошибка? Я на версии 0.12.0 In [2]: df = pd.read_csv(r'D:\Data\DataTimeSeries_csv//seriesSM.csv', header=None, parse_dates=[[0]], index_col=[0] ) In [3]: df.head() Out[3]: 1 0 2002-06-18 0.112000 2002-06-22 0.190333 2002-06-26 …

142 python  pandas  dataframe 

Предположим, у меня есть DataFrame с некоторыми NaNs: >>> import pandas as pd >>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]]) >>> df 0 1 2 0 1 2 3 1 4 NaN NaN 2 NaN NaN 9 Что мне нужно сделать, так это заменить each …

141 python  python-3.x  pandas  dataframe  nan 

У меня есть фрейм данных с именами столбцов, и я хочу найти тот, который содержит определенную строку, но не совсем соответствует ей. Я ищу 'spike'в именах столбцов нравятся 'spike-2', 'hey spike', 'spiked-in'( 'spike'часть всегда непрерывна). Я хочу, чтобы имя столбца возвращалось в виде строки или переменной, поэтому я обращусь к …

138 python  python-3.x  string  pandas  dataframe 

У меня есть фреймворк pandas со столбцами смешанного типа, и я хотел бы применить min_max_scaler sklearn к некоторым столбцам. В идеале я хотел бы выполнить эти преобразования на месте, но еще не придумал, как это сделать. Я написал следующий код, который работает: import pandas as pd import numpy as np …

138 python  pandas  scikit-learn  dataframe 

Каков наиболее эффективный способ организовать следующий фрейм данных pandas: данные = Position Letter 1 a 2 b 3 c 4 d 5 e в словарь вроде alphabet[1 : 'a', 2 : 'b', 3 : 'c', 4 : 'd', 5 : 'e']?

138 python  dictionary  pandas  dataframe 

Я создал data.frame в R, который не очень большой, но его сборка занимает довольно много времени. Я хотел бы сохранить его как файл, который я могу, чем снова открыть в R?

137 r  dataframe 

Я хочу добавить столбец в DataFrameс произвольным значением (то же самое для каждой строки). Я получаю ошибку, когда использую withColumnследующее: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col) 1166 …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

У меня есть DataFrameтакие панды, как следующие. df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7], 'value' : ["first","second","second","first", "second","first","third","fourth", "fifth","second","fifth","first", "first","second","third","fourth","fifth"]}) Я хочу сгруппировать это по ["id", "value"] и получить первую строку каждой группы. id value 0 1 first 1 1 second 2 1 second 3 2 first 4 2 second 5 3 …

137 python  pandas  dataframe