Преобразуйте Python dict в информационный фрейм


299

У меня есть словарь Python, как следующий:

{u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

Ключи - это даты Unicode, а значения - целые числа. Я хотел бы преобразовать это в pandas dataframe, указав даты и соответствующие им значения в виде двух отдельных столбцов. Пример: col1: даты col2: DateValue (даты по-прежнему Unicode, а значения дат по-прежнему целые)

     Date         DateValue
0    2012-07-01    391
1    2012-07-02    392
2    2012-07-03    392
.    2012-07-04    392
.    ...           ...
.    ...           ...

Любая помощь в этом направлении будет высоко ценится. Я не могу найти ресурсы в документах панд, чтобы помочь мне с этим.

Я знаю, что одним из решений может быть преобразование каждой пары ключ-значение в этом диктанте в диктовку, чтобы вся структура превратилась в диктат, а затем мы можем добавить каждую строку отдельно к кадру данных. Но я хочу знать, есть ли более простой и прямой способ сделать это.

До сих пор я пытался преобразовать dict в объект серии, но, похоже, это не поддерживает связь между столбцами:

s  = Series(my_dict,index=my_dict.keys())

Я пытался преобразовать dict в объект серии с датами в качестве индекса, но по какой-то причине даты не совпадали с соответствующими значениями.
anonuser0428

код был опубликован. Я хочу узнать, есть ли способ создать информационный фрейм, не создавая диктовку, а затем добавляя каждую строку отдельно.
anonuser0428

1
Что такое «дата в Юникоде»? Вы имеете в виду дату ISO 8601 ?
Питер Мортенсен

Ответы:


461

Ошибка здесь заключается в вызове конструктора DataFrame со скалярными значениями (где он ожидает, что значения будут списком / dict / ... т.е. имеют несколько столбцов):

pd.DataFrame(d)
ValueError: If using all scalar values, you must must pass an index

Вы можете взять элементы из словаря (то есть пары ключ-значение):

In [11]: pd.DataFrame(d.items())  # or list(d.items()) in python 3
Out[11]:
             0    1
0   2012-07-02  392
1   2012-07-06  392
2   2012-06-29  391
3   2012-06-28  391
...

In [12]: pd.DataFrame(d.items(), columns=['Date', 'DateValue'])
Out[12]:
          Date  DateValue
0   2012-07-02        392
1   2012-07-06        392
2   2012-06-29        391

Но я думаю, что имеет смысл передать конструктор Series:

In [21]: s = pd.Series(d, name='DateValue')
Out[21]:
2012-06-08    388
2012-06-09    388
2012-06-10    388

In [22]: s.index.name = 'Date'

In [23]: s.reset_index()
Out[23]:
          Date  DateValue
0   2012-06-08        388
1   2012-06-09        388
2   2012-06-10        388

4
@ user1009091 Теперь я понял, что означает ошибка. По сути, она говорит: «То, что я вижу, - это Series, так что используйте конструктор Series».
Энди Хейден,

1
Спасибо - очень полезно. Не могли бы вы объяснить, в чем разница между использованием этого метода и использованием DataFrame.from_dict ()? Ваш метод (который я использовал) возвращает type = pandas.core.frame.DataFrame, тогда как другой возвращает type = class 'pandas.core.frame.DataFrame'. Есть ли шанс, что вы могли бы объяснить разницу и когда каждый метод подходит? Заранее спасибо :)
Optimesh

они оба похожи, from_dictимеют ориентированный kwarg, поэтому я мог бы использовать его, если бы хотел избежать транспонирования. Есть несколько вариантов с from_dict, под капотом это не очень отличается от использования конструктора DataFrame.
Энди Хейден

54
Я вижу pandas.core.common.PandasError: DataFrame constructor not properly called!из первого примера
allthesignals

18
@allthesignals добавление list () к работам d.items: pd.DataFrame (list (d.items ()), columns = ['Date', 'DateValue'])
sigurdb

142

При преобразовании словаря в фрейм данных pandas, в котором вы хотите, чтобы ключи были столбцами указанного фрейма данных, а значения были значениями строк, вы можете просто заключить скобки в словарь следующим образом:

>>> dict_ = {'key 1': 'value 1', 'key 2': 'value 2', 'key 3': 'value 3'}
>>> pd.DataFrame([dict_])

    key 1     key 2     key 3
0   value 1   value 2   value 3

Это избавило меня от головной боли, поэтому я надеюсь, что это поможет кому-то там!

РЕДАКТИРОВАТЬ: В документахdata Pandas один параметр для параметра в конструкторе DataFrame представляет собой список словарей. Здесь мы передаем список с одним словарем.


6
Да, я тоже это сделал, но добавил .T для транспонирования.
Антон vBR

1
Это прекрасно работает, но не знаю, почему мы должны делать это так.
Хуэй Чен

Что делать, если я хочу, чтобы один из этих столбцов использовался в качестве индекса
om tripathi

102

Как объясняется в другом ответе, использование pandas.DataFrame()здесь не будет действовать так, как вы думаете.

Что вы можете сделать, это использовать pandas.DataFrame.from_dictс orient='index':

In[7]: pandas.DataFrame.from_dict({u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 .....
 u'2012-07-05': 392,
 u'2012-07-06': 392}, orient='index', columns=['foo'])
Out[7]: 
            foo
2012-06-08  388
2012-06-09  388
2012-06-10  388
2012-06-11  389
2012-06-12  389
........
2012-07-05  392
2012-07-06  392

1
Можем ли мы связать это с помощью любого renameметода, чтобы также установить имена индекса и столбцов за один раз?
Ciprian Tomoiagă

4
хорошая точка зрения. Один из примеров: ...., orient = 'index'). Rename (columns = {0: 'foobar'})
ntg

1
Вы также можете указать pandas.DataFrame.from_dict (..., orient = 'index', columns = ['foo', 'bar']), это из источника, указанного выше .
spen.smith

Хороший вопрос, это правда от панд .22, который был после первоначального ответа ...
Обновил

69

Передайте элементы словаря в конструктор DataFrame и дайте имена столбцов. После этого проанализируйте Dateстолбец, чтобы получить Timestampзначения.

Обратите внимание на разницу между Python 2.x и 3.x:

В Python 2.x:

df = pd.DataFrame(data.items(), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

В Python 3.x: (требуется дополнительный «список»)

df = pd.DataFrame(list(data.items()), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

3
Это дает мне:PandasError: DataFrame constructor not properly called!
Крис Нильсен

18
@ChrisNielsen Вы, вероятно, используете python3. Вы должны попробовать:df = pd.DataFrame(list(data.items()), columns=['Date', 'DateValue'])
Виктор Керкез

Это лучший ответ, потому что он показывает, что должно быть сделано в Python 3.
ifly6


10

Панды имеют встроенную функцию для преобразования dict в фрейм данных.

pd.DataFrame.from_dict (dictionaryObject, ориентируют = 'индекс')

Для ваших данных вы можете преобразовать его, как показано ниже:

import pandas as pd
your_dict={u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

your_df_from_dict=pd.DataFrame.from_dict(your_dict,orient='index')
print(your_df_from_dict)

2
Это действительно плохое решение, так как он сохраняет ключи словаря как индекс.
экономист


5

Вы также можете просто передать ключи и значения словаря в новый фрейм данных, например так:

import pandas as pd

myDict = {<the_dict_from_your_example>]
df = pd.DataFrame()
df['Date'] = myDict.keys()
df['DateValue'] = myDict.values()

5

В моем случае я хотел, чтобы ключи и значения dict были столбцами и значениями DataFrame. Так что единственное, что сработало для меня, было:

data = {'adjust_power': 'y', 'af_policy_r_submix_prio_adjust': '[null]', 'af_rf_info': '[null]', 'bat_ac': '3500', 'bat_capacity': '75'} 

columns = list(data.keys())
values = list(data.values())
arr_len = len(values)

pd.DataFrame(np.array(values, dtype=object).reshape(1, arr_len), columns=columns)

5

Это то, что сработало для меня, так как я хотел иметь отдельный столбец индекса

df = pd.DataFrame.from_dict(some_dict, orient="index").reset_index()
df.columns = ['A', 'B']

3

Принимает dict в качестве аргумента и возвращает фрейм данных с ключами dict в качестве индекса и значениями в виде столбца.

def dict_to_df(d):
    df=pd.DataFrame(d.items())
    df.set_index(0, inplace=True)
    return df

Возьмите диктовку, возвращает фрейм данных
сначала

3

Вот как это работает для меня:

df= pd.DataFrame([d.keys(), d.values()]).T
df.columns= ['keys', 'values']  # call them whatever you like

надеюсь, это поможет


1
d = {'Date': list(yourDict.keys()),'Date_Values': list(yourDict.values())}
df = pandas.DataFrame(data=d)

Если вы не инкапсулируете yourDict.keys()внутри list(), то в конечном итоге все ваши ключи и значения будут размещены в каждой строке каждого столбца. Как это:

Date \ 0 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
1 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
2 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
3 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
4 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...

Но, добавив, list()результат выглядит так:

Date Date_Values 0 2012-06-08 388 1 2012-06-09 388 2 2012-06-10 388 3 2012-06-11 389 4 2012-06-12 389 ...


0

Я сталкивался с этим несколько раз и у меня есть пример словаря, который я создал из функции get_max_Path(), и он возвращает пример словаря:

{2: 0.3097502930247044, 3: 0.4413177909384636, 4: 0.5197224051562838, 5: 0.5717654946470984, 6: 0.6063959031223476, 7: 0.6365209824708223, 8: 0.655918861281035, 9: 0.680844386645206}

Чтобы преобразовать это в массив данных, я запустил следующее:

df = pd.DataFrame.from_dict(get_max_path(2), orient = 'index').reset_index()

Возвращает простой двухколонный фрейм данных с отдельным индексом:

index 0 0 2 0.309750 1 3 0.441318

Просто переименуйте столбцы, используя f.rename(columns={'index': 'Column1', 0: 'Column2'}, inplace=True)


0

Я думаю, что вы можете внести некоторые изменения в свой формат данных при создании словаря, тогда вы можете легко преобразовать его в DataFrame:

вход:

a={'Dates':['2012-06-08','2012-06-10'],'Date_value':[388,389]}

вывод:

{'Date_value': [388, 389], 'Dates': ['2012-06-08', '2012-06-10']}

вход:

aframe=DataFrame(a)

вывод: будет ваш DataFrame

Вам просто нужно использовать текстовое редактирование где-нибудь, например, в Sublime или Excel.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.