Вопросы с тегом «pandas»

В этом примере CSV: Source,col1,col2,col3 foo,1,2,3 bar,3,4,5 Стандартный метод, который я использую Pandas, таков: Разобрать CSV Выберите столбцы во фрейме данных ( col1и col3) Обработка столбца (например, среднее значение col1и col3) Есть ли библиотека JavaScript, которая похожа на Pandas?

91 javascript  python  pandas 

У меня есть два фрейма данных со следующими именами столбцов: frame_1: event_id, date, time, county_ID frame_2: countyid, state Я хотел бы получить фрейм данных со следующими столбцами, присоединившись (слева) к county_ID = countyid: joined_dataframe event_id, date, time, county, state Я не могу понять, как это сделать, если столбцы, к которым …

91 python  pandas  dataframe 

Когда есть DataFrame, подобный следующему: import pandas as pd df = pd.DataFrame([1, 1, 1, 1, 1], index=[100, 29, 234, 1, 150], columns=['A']) Как я могу отсортировать этот фрейм данных по индексу с сохранением каждой комбинации индекса и значения столбца?

91 python  pandas 

Можно ли добавить некоторую метаинформацию / метаданные в DataFrame pandas? Например, название инструмента, используемого для измерения данных, ответственный инструмент и т. Д. Одним из способов решения этой проблемы было бы создание столбца с этой информацией, но кажется расточительным хранить одну часть информации в каждой строке!

90 python  pandas 

Предположим, у меня есть вложенный словарь user_dict со структурой: Уровень 1: UserId (длинное целое число) Уровень 2: Категория (строка) Уровень 3: разные атрибуты (числа с плавающей запятой, целые числа и т. Д.) Например, запись этого словаря будет: user_dict[12] = { "Category 1": {"att_1": 1, "att_2": "whatever"}, "Category 2": {"att_1": 23, …

90 python  pandas  dataframe  multi-index 

У меня есть следующее DataFrame: from pandas import * df = DataFrame({'foo':['a','b','c'], 'bar':[1, 2, 3]}) Выглядит это так: bar foo 0 1 a 1 2 b 2 3 c Теперь я хочу иметь что-то вроде: bar 0 1 is a 1 2 is b 2 3 is c Как я …

90 python  string  pandas  numpy  dataframe 

Мне часто нужно применить функцию к очень большим группам DataFrame(смешанных типов данных), и я хотел бы использовать преимущества нескольких ядер. Я могу создать итератор из групп и использовать модуль многопроцессорности, но это неэффективно, потому что каждая группа и результаты функции должны быть обработаны для обмена сообщениями между процессами. Есть ли …

89 python  pandas  multiprocessing  shared-memory 

Я пытаюсь создать простую диаграмму рассеяния в pyplot с использованием объекта Pandas DataFrame, но мне нужен эффективный способ построения двух переменных, но для символов, продиктованных третьим столбцом (ключом). Я пробовал различные способы использования df.groupby, но безуспешно. Ниже приведен пример сценария df. Это раскрашивает маркеры в соответствии с «key1», но я …

89 python  matplotlib  pandas 

Я искал способ аннотировать свои столбцы на графике столбцов Pandas округленными числовыми значениями из моего DataFrame. >>> df=pd.DataFrame({'A':np.random.rand(2),'B':np.random.rand(2)},index=['value1','value2'] ) >>> df A B value1 0.440922 0.911800 value2 0.588242 0.797366 Хотелось бы получить примерно такое: Я пробовал использовать этот образец кода, но все аннотации сосредоточены на отметках x: >>> ax = …

89 python  matplotlib  plot  pandas  dataframe 

Как я могу экспортировать список DataFrames в одну электронную таблицу Excel? Документы для to_excelсостояния: Примечания. При передаче существующего объекта ExcelWriter лист будет добавлен в существующую книгу. Это можно использовать для сохранения разных DataFrames в одну книгу. writer = ExcelWriter('output.xlsx') df1.to_excel(writer, 'sheet1') df2.to_excel(writer, 'sheet2') writer.save() После этого я подумал, что могу …

89 python  pandas  openpyxl 

У меня есть два фрейма данных. Примеры: df1: Date Fruit Num Color 2013-11-24 Banana 22.1 Yellow 2013-11-24 Orange 8.6 Orange 2013-11-24 Apple 7.6 Green 2013-11-24 Celery 10.2 Green df2: Date Fruit Num Color 2013-11-24 Banana 22.1 Yellow 2013-11-24 Orange 8.6 Orange 2013-11-24 Apple 7.6 Green 2013-11-24 Celery 10.2 Green 2013-11-25 …

89 python  pandas  dataframe 

У меня есть фреймворк python pandas, в котором столбец содержит название месяца. Как я могу выполнить произвольную сортировку с использованием словаря, например: custom_dict = {'March':0, 'April':1, 'Dec':3}

89 python  pandas 

Оба являются колоночными (дисковыми) форматами хранения для использования в системах анализа данных. Оба интегрированы в Apache Arrow ( пакет pyarrow для python) и предназначены для соответствия со Arrow как столбцовым аналитическим слоем в памяти. Чем отличаются оба формата? Всегда ли вы предпочитаете перо при работе с пандами, когда это возможно? …

89 python  pandas  parquet  feather  pyarrow 

В чем существенное различие между pd.DataFrame.merge()и pd.concat()? Пока что это то, что я обнаружил, прокомментируйте, пожалуйста, насколько полно и точно я понимаю: .merge()может использовать только столбцы (плюс индексы строк) и семантически подходит для операций в стиле базы данных. .concat()может использоваться с любой осью, используя только индексы, и дает возможность добавления …

89 python  pandas  join  merge  concat 

У меня есть набор данных с многоиндексными столбцами в pandas df, который я хотел бы отсортировать по значениям в определенном столбце. Я пробовал использовать sortindex и sortlevel, но не смог получить требуемых результатов. Мой набор данных выглядит так: Group1 Group2 A B C A B C 1 1 0 3 …

88 python  sorting  pandas  multi-index