Вопросы с тегом «pandas»

У меня есть DataFrameс 4 столбцами, из которых 2 содержат строковые значения. Мне было интересно, если есть способ выбрать строки на основе частичного совпадения строк с конкретным столбцом? Другими словами, функция или лямбда-функция, которая будет делать что-то вроде re.search(pattern, cell_in_question) возвращая логическое значение. Я знаком с синтаксисом, df[df['A'] == "hello …

451 python  string  pandas  dataframe 

У меня есть следующий DataFrame: Col1 Col2 Col3 Type 0 1 2 3 1 1 4 5 6 1 ... 20 7 8 9 2 21 10 11 12 2 ... 45 13 14 15 3 46 16 17 18 3 ... DataFrame считывается из файла CSV. Все строки, которые …

441 python  pandas  dataframe  permutation  shuffle 

У меня есть фрейм данных, dfи я использую несколько столбцов из него, чтобы groupby: df['col1','col2','col3','col4'].groupby(['col1','col2']).mean() Таким образом, я почти получаю таблицу (фрейм данных), которая мне нужна. Чего не хватает, так это дополнительного столбца, который содержит количество строк в каждой группе. Другими словами, я имею в виду, но я также хотел …

439 python  pandas  dataframe  group-by  pandas-groupby 

Как я могу достичь эквивалентов SQL INи NOT IN? У меня есть список с необходимыми значениями. Вот сценарий: df = pd.DataFrame({'countries':['US','UK','Germany','China']}) countries = ['UK','China'] # pseudo-code: df[df['countries'] not in countries] Мой текущий способ сделать это заключается в следующем: df = pd.DataFrame({'countries':['US','UK','Germany','China']}) countries = pd.DataFrame({'countries':['UK','China'], 'matched':True}) # IN df.merge(countries,how='inner',on='countries') # NOT …

434 python  pandas  dataframe  sql-function 

Я запускаю программу, которая обрабатывает 30 000 похожих файлов. Случайное число из них останавливается и выдает эту ошибку ... File "C:\Importer\src\dfman\importer.py", line 26, in import_chr data = pd.read_csv(filepath, names=fields) File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f return _read(filepath_or_buffer, kwds) File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read return parser.read() File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, …

412 python  pandas  csv  dataframe  unicode 

Я пытаюсь сохранить CSV в папку после внесения некоторых изменений в файл. Каждый раз, когда я использую pd.to_csv('C:/Path of file.csv')файл CSV имеет отдельный столбец индексов. Я хочу избежать печати индекса в CSV. Я старался: pd.read_csv('C:/Path to file to edit.csv', index_col = False) И сохранить файл ... pd.to_csv('C:/Path to save edited …

407 python  csv  indexing  pandas 

Я хотел бы прочитать несколько CSV-файлов из каталога в панды и объединить их в один большой DataFrame. Я не был в состоянии понять это все же. Вот что у меня так далеко: import glob import pandas as pd # get data file names path =r'C:\DRO\DCL_rawdata_files' filenames = glob.glob(path + "/*.csv") …

404 python  pandas  csv  dataframe  concatenation 

Мне любопытно, почему df[2]не поддерживается, пока df.ix[2]и df[2:3]работают оба. In [26]: df.ix[2] Out[26]: A 1.027680 B 1.514210 C -1.466963 D -0.162339 Name: 2000-01-03 00:00:00 In [27]: df[2:3] Out[27]: A B C D 2000-01-03 1.02768 1.51421 -1.466963 -0.162339 Я ожидал df[2]бы работать так же, как и df[2:3]в соответствии с соглашением об …

395 python  pandas  dataframe  indexing 

Возникла проблема с фильтрацией моего результирующего кадра данных с orусловием. Я хочу, чтобы мой результат dfизвлекал все varзначения столбцов , которые выше 0,25 и ниже -0,25. Эта логика ниже дает мне неоднозначное значение истины, однако оно работает, когда я разделяю эту фильтрацию на две отдельные операции. Что здесь происходит? не …

370 python  pandas  dataframe  boolean  filtering 

Это может быть простой вопрос, но я не могу понять, как это сделать. Допустим, у меня есть две переменные следующим образом. a = 2 b = 3 Я хочу построить DataFrame из этого: df2 = pd.DataFrame({'A':a,'B':b}) Это приводит к ошибке: ValueError: Если используются все скалярные значения, вы должны передать индекс …

370 python  pandas  dataframe  scalar 

Предположим, у меня dfесть столбцы 'ID', 'col_1', 'col_2'. И я определяю функцию: f = lambda x, y : my_function_expression, Теперь я хочу , чтобы применить fк dfдвум колонкам «S 'col_1', 'col_2'для поэлементнога рассчитает новый столбец 'col_3', несколько как: df['col_3'] = df[['col_1','col_2']].apply(f) # Pandas gives : TypeError: ('<lambda>() takes exactly 2 …

369 python  pandas  dataframe 

Как выполнить ( LEFT| RIGHT| FULL) ( INNER| OUTER) соединение с пандами? Как добавить NaN для пропущенных строк после слияния? Как избавиться от NaNs после слияния? Можно ли слить по индексу? Крест соединиться с пандами? Как объединить несколько фреймов данных? merge? join? concat? update? ВОЗ? Какая? Почему?! ... и более. …

366 python  pandas  join  merge 

Что такое пивот? Как мне повернуть? Это стержень? Длинный формат для широкого формата? Я видел много вопросов о сводных таблицах. Даже если они не знают, что спрашивают о сводных таблицах, они обычно так и делают. Практически невозможно написать канонический вопрос и ответ, который охватывает все аспекты поворота .... ... Но …

359 python  pandas  group-by  pivot  pandas-groupby 

Я построил условие, которое извлекает ровно одну строку из моего фрейма данных: d2 = df[(df['l_ext']==l_ext) & (df['item']==item) & (df['wn']==wn) & (df['wd']==1)] Теперь я хотел бы взять значение из определенного столбца: val = d2['col_name'] Но в результате я получаю фрейм данных, который содержит одну строку и один столбец ( то есть …

347 python  pandas  dataframe 

Я пытаюсь использовать панд для манипулирования файлом .csv, но я получаю эту ошибку: pandas.parser.CParserError: Ошибка токенизации данных. Ошибка С: ожидается 2 поля в строке 3, пила 12 Я пытался читать документы панд, но ничего не нашел. Мой код прост: path = 'GOOG Key Ratios.csv' #print(open(path).read()) data = pd.read_csv(path) Как я …

343 python  csv  pandas