Вопросы с тегом «dataframe»

Мне просто интересно, в чем разница между RDDand и DataFrame (Spark 2.0.0 DataFrame - просто псевдоним типа Dataset[Row]) в Apache Spark? Можете ли вы преобразовать одно в другое?

258 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Как я могу получить имя столбца индекса в пандах Python? Вот пример кадра данных: Column 1 Index Title Apples 1 Oranges 2 Puppies 3 Ducks 4 Я пытаюсь получить / установить заголовок индекса данных. Вот что я попробовал: import pandas as pd data = {'Column 1' : [1., 2., 3., …

255 python  pandas  dataframe  columnname 

Я хотел бы взять данные формы before = data.frame(attr = c(1,30,4,6), type=c('foo_and_bar','foo_and_bar_2')) attr type 1 1 foo_and_bar 2 30 foo_and_bar_2 3 4 foo_and_bar 4 6 foo_and_bar_2 и используйте split()столбец " type" сверху, чтобы получить что-то вроде этого: attr type_1 type_2 1 1 foo bar 2 30 foo bar_2 3 4 …

246 r  string  dataframe  split  r-faq 

Закрыто. Этот вопрос не воспроизводится или был вызван опечатками . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека. Закрыто в прошлом году . Улучшить этот вопрос У меня есть некоторые проблемы с функцией применения Pandas при использовании нескольких столбцов …

239 python  python-2.7  pandas  dataframe  apply 

Можно ли связать строки двумя фреймами данных, которые не имеют одинаковый набор столбцов? Я надеюсь сохранить столбцы, которые не соответствуют после привязки.

232 r  dataframe  r-faq 

У меня есть два фрейма данных панд, у которых есть несколько общих строк. Предположим, dataframe2 является подмножеством dataframe1. Как я могу получить строки dataframe1, которых нет в dataframe2? df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) df2 = pandas.DataFrame(data = …

230 python  pandas  dataframe 

У меня есть датафрейм в пандах, где каждый столбец имеет различный диапазон значений. Например: ДФ: A B C 1000 10 0.5 765 5 0.35 800 7 0.09 Любая идея, как я могу нормализовать столбцы этого кадра данных, где каждое значение находится между 0 и 1? Мой желаемый результат: A B …

227 python  pandas  dataframe  normalize 

В R, когда вам нужно получить индекс столбца на основе имени столбца, вы можете сделать idx <- which(names(my_data)==my_colum_name) Есть ли способ сделать то же самое с панелями данных?

220 python  pandas  dataframe  indexing 

У меня есть Pandas Dataframe, как показано ниже: 1 2 3 0 a NaN read 1 b l unread 2 c NaN read Я хочу удалить значения NaN с пустой строкой, чтобы это выглядело так: 1 2 3 0 a "" read 1 b l unread 2 c "" read

219 python  pandas  dataframe  nan 

У меня есть фрейм данных панд, который выглядит следующим образом (это довольно большой) date exer exp ifor mat 1092 2014-03-17 American M 528.205 2014-04-19 1093 2014-03-17 American M 528.205 2014-04-19 1094 2014-03-17 American M 528.205 2014-04-19 1095 2014-03-17 American M 528.205 2014-04-19 1096 2014-03-17 American M 528.205 2014-05-17 Теперь я …

214 python  pandas  updates  dataframe 

Предположим, у меня есть два DataFrames, например, так: left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]}) right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]}) Я хочу объединить их, поэтому я пытаюсь что-то вроде этого: pd.merge(left, right, left_on='key1', right_on='key2') И я счастлив key1 lval key2 rval 0 foo 1 foo 4 …

208 python  pandas  dataframe  join 

Я использую этот фрейм данных: Fruit Date Name Number Apples 10/6/2016 Bob 7 Apples 10/6/2016 Bob 8 Apples 10/6/2016 Mike 9 Apples 10/7/2016 Steve 10 Apples 10/7/2016 Bob 1 Oranges 10/7/2016 Bob 2 Oranges 10/6/2016 Tom 15 Oranges 10/6/2016 Mike 57 Oranges 10/6/2016 Bob 65 Oranges 10/7/2016 Tony 1 Grapes …

207 python  pandas  dataframe  group-by  aggregate 

Я использую spark-CSV для загрузки данных в DataFrame. Я хочу сделать простой запрос и отобразить содержимое: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() Col кажется усеченным: scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| …

205 apache-spark  dataframe  spark-csv  output-formatting 

У меня есть, pandas dataframeв котором один столбец текстовых строк содержит значения, разделенные запятыми. Я хочу разделить каждое поле CSV и создать новую строку для каждой записи (предположим, что CSV чисты и должны быть разделены только на ','). Например, aдолжно стать b: In [7]: a Out[7]: var1 var2 0 a,b,c …

200 python  pandas  numpy  dataframe 

У меня есть фрейм данных панд с несколькими столбцами. Теперь я знаю, что определенные строки являются выбросами на основе определенного значения столбца. Например столбец 'Vol' имеет все значения вокруг, 12xxи одно значение 4000(выброс). Теперь я хотел бы исключить те строки, которые имеют Volтакой столбец. Итак, по сути, мне нужно поместить …

198 python  pandas  filtering  dataframe  outliers