Как мне преобразовать список словарей в панду DataFrame?
Другие ответы верны, но мало что было объяснено с точки зрения преимуществ и ограничений этих методов. Целью этого поста будет показать примеры этих методов в различных ситуациях, обсудить, когда использовать (а когда не использовать), и предложить альтернативы.
В зависимости от структуры и формата ваших данных, существуют ситуации, когда либо все три метода работают, либо одни работают лучше других, либо некоторые не работают вообще.
Рассмотрим очень надуманный пример.
np.random.seed(0)
data = pd.DataFrame(
np.random.choice(10, (3, 4)), columns=list('ABCD')).to_dict('r')
print(data)
[{'A': 5, 'B': 0, 'C': 3, 'D': 3},
{'A': 7, 'B': 9, 'C': 3, 'D': 5},
{'A': 2, 'B': 4, 'C': 7, 'D': 6}]
Этот список состоит из «записей» с каждым присутствующим ключом. Это самый простой случай, с которым вы могли столкнуться.
# The following methods all produce the same output.
pd.DataFrame(data)
pd.DataFrame.from_dict(data)
pd.DataFrame.from_records(data)
A B C D
0 5 0 3 3
1 7 9 3 5
2 2 4 7 6
Слово на словарь ориентации: orient='index'/'columns'
Прежде чем продолжить, важно провести различие между различными типами ориентации словаря и поддержкой с пандами. Существует два основных типа: «столбцы» и «индекс».
orient='columns'
Словари с ориентацией «столбцы» будут иметь ключи, соответствующие столбцам в эквивалентном кадре данных.
Например, dataвыше находится в «столбцах» Востока.
data_c = [
{'A': 5, 'B': 0, 'C': 3, 'D': 3},
{'A': 7, 'B': 9, 'C': 3, 'D': 5},
{'A': 2, 'B': 4, 'C': 7, 'D': 6}]
pd.DataFrame.from_dict(data_c, orient='columns')
A B C D
0 5 0 3 3
1 7 9 3 5
2 2 4 7 6
Примечание. Если вы используете pd.DataFrame.from_records, предполагается, что ориентация является «столбцами» (вы не можете указать иначе), и словари будут загружены соответствующим образом.
orient='index'
С этим ориентиром предполагается, что ключи соответствуют значениям индекса. Этот тип данных лучше всего подходит для pd.DataFrame.from_dict.
data_i ={
0: {'A': 5, 'B': 0, 'C': 3, 'D': 3},
1: {'A': 7, 'B': 9, 'C': 3, 'D': 5},
2: {'A': 2, 'B': 4, 'C': 7, 'D': 6}}
pd.DataFrame.from_dict(data_i, orient='index')
A B C D
0 5 0 3 3
1 7 9 3 5
2 2 4 7 6
Этот случай не рассматривается в ОП, но все же полезно знать.
Настройка пользовательского индекса
Если вам нужен пользовательский индекс для результирующего DataFrame, вы можете установить его, используя index=...аргумент.
pd.DataFrame(data, index=['a', 'b', 'c'])
# pd.DataFrame.from_records(data, index=['a', 'b', 'c'])
A B C D
a 5 0 3 3
b 7 9 3 5
c 2 4 7 6
Это не поддерживается pd.DataFrame.from_dict.
Работа с отсутствующими ключами / столбцами
Все методы работают "из коробки" при обработке словарей с отсутствующими значениями ключей / столбцов. Например,
data2 = [
{'A': 5, 'C': 3, 'D': 3},
{'A': 7, 'B': 9, 'F': 5},
{'B': 4, 'C': 7, 'E': 6}]
# The methods below all produce the same output.
pd.DataFrame(data2)
pd.DataFrame.from_dict(data2)
pd.DataFrame.from_records(data2)
A B C D E F
0 5.0 NaN 3.0 3.0 NaN NaN
1 7.0 9.0 NaN NaN NaN 5.0
2 NaN 4.0 7.0 NaN 6.0 NaN
Чтение подмножества столбцов
«Что делать, если я не хочу читать в каждом столбце»? Вы можете легко указать это, используя columns=...параметр.
Например, из приведенного выше примера словаря data2, если вы хотите читать только столбцы «A», «D» и «F», вы можете сделать это, передав список:
pd.DataFrame(data2, columns=['A', 'D', 'F'])
# pd.DataFrame.from_records(data2, columns=['A', 'D', 'F'])
A D F
0 5.0 3.0 NaN
1 7.0 NaN 5.0
2 NaN NaN NaN
Это не поддерживается pd.DataFrame.from_dictс восточными "столбцами" по умолчанию.
pd.DataFrame.from_dict(data2, orient='columns', columns=['A', 'B'])
ValueError: cannot use columns parameter with orient='columns'
Чтение Подмножества Строк
Не поддерживается ни одним из этих методов напрямую . Вам придется перебирать свои данные и выполнять обратное удаление на месте во время итерации. Например, чтобы извлечь только 0- ю и 2- ю строки data2сверху, вы можете использовать:
rows_to_select = {0, 2}
for i in reversed(range(len(data2))):
if i not in rows_to_select:
del data2[i]
pd.DataFrame(data2)
# pd.DataFrame.from_dict(data2)
# pd.DataFrame.from_records(data2)
A B C D E
0 5.0 NaN 3 3.0 NaN
1 NaN 4.0 7 NaN 6.0
Панацея: json_normalizeдля вложенных данных
Сильной, надежной альтернативой описанным выше методам является json_normalizeфункция, которая работает со списками словарей (записей), а также может также обрабатывать вложенные словари.
pd.io.json.json_normalize(data)
A B C D
0 5 0 3 3
1 7 9 3 5
2 2 4 7 6
pd.io.json.json_normalize(data2)
A B C D E
0 5.0 NaN 3 3.0 NaN
1 NaN 4.0 7 NaN 6.0
Опять же, имейте в виду, что передаваемые данные json_normalizeдолжны быть в формате списка словарей (записей).
Как уже упоминалось, json_normalizeтакже можно обрабатывать вложенные словари. Вот пример, взятый из документации.
data_nested = [
{'counties': [{'name': 'Dade', 'population': 12345},
{'name': 'Broward', 'population': 40000},
{'name': 'Palm Beach', 'population': 60000}],
'info': {'governor': 'Rick Scott'},
'shortname': 'FL',
'state': 'Florida'},
{'counties': [{'name': 'Summit', 'population': 1234},
{'name': 'Cuyahoga', 'population': 1337}],
'info': {'governor': 'John Kasich'},
'shortname': 'OH',
'state': 'Ohio'}
]
pd.io.json.json_normalize(data_nested,
record_path='counties',
meta=['state', 'shortname', ['info', 'governor']])
name population state shortname info.governor
0 Dade 12345 Florida FL Rick Scott
1 Broward 40000 Florida FL Rick Scott
2 Palm Beach 60000 Florida FL Rick Scott
3 Summit 1234 Ohio OH John Kasich
4 Cuyahoga 1337 Ohio OH John Kasich
Для получения более подробной информации о metaи record_pathаргументах, проверьте документацию.
Подведение итогов
Вот таблица всех методов, обсужденных выше, вместе с поддерживаемыми функциями / функциональностью.
* Используйте, orient='columns'а затем транспонировать, чтобы получить тот же эффект, что и orient='index'.