Что означает «ValueError: невозможно переиндексировать с дублированной оси»?

255

Я получаю, ValueError: cannot reindex from a duplicate axisкогда я пытаюсь установить индекс на определенное значение. Я попытался воспроизвести это на простом примере, но я не смог этого сделать.

Вот мой сеанс внутри ipdbтрассировки. У меня есть DataFrame со строковым индексом и целочисленными столбцами, значениями с плавающей запятой. Однако, когда я пытаюсь создать sumиндекс для суммы всех столбцов, я получаю сообщение ValueError: cannot reindex from a duplicate axisоб ошибке. Я создал небольшой DataFrame с такими же характеристиками, но не смог воспроизвести проблему, что я мог упустить?

Я не очень понимаю, что ValueError: cannot reindex from a duplicate axisозначает, что означает это сообщение об ошибке? Может быть, это поможет мне диагностировать проблему, и это самая ответственная часть моего вопроса.

ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')

ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False

Вот ошибка:

ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis

Я попытался воспроизвести это на простом примере, но мне не удалось

In [32]: import pandas as pd

In [33]: import numpy as np

In [34]: a = np.arange(35).reshape(5,7)

In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))

In [36]: df.values.dtype
Out[36]: dtype('int64')

In [37]: df.loc['sums'] = df.sum(axis=0)

In [38]: df
Out[38]: 
      10  11  12  13  14  15   16
x      0   1   2   3   4   5    6
y      7   8   9  10  11  12   13
u     14  15  16  17  18  19   20
z     21  22  23  24  25  26   27
w     28  29  30  31  32  33   34
sums  70  75  80  85  90  95  100
python  pandas 
— Akavall
источник
1
Есть ли вероятность того, что вы запутали реальные имена столбцов вашей аффинной матрицы? (т.е. заменил реальные значения чем-то другим, чтобы скрыть конфиденциальную информацию)
— Korem
@ Korem, я не думаю, что это правда, но даже если это правда, почему это вызвало вышеуказанную ошибку?
— Akavall
2
Я обычно вижу это, когда индекс, назначенный для, имеет повторяющиеся значения. Поскольку в вашем случае вы назначаете строку, я ожидал дубликат в именах столбцов. Вот почему я спросил.
— Коре
@ Korem, действительно мои фактические данные имели дублированные значения индекса, и я смог воспроизвести ошибку в небольшом примере, когда присутствовали дублированные значения индекса. Вы полностью ответили на мой вопрос. Спасибо. Вы не против поставить это как ответ?
— Akavall

Ответы:

170

Эта ошибка обычно возникает, когда вы присоединяетесь / присваиваете столбцу, когда в индексе есть повторяющиеся значения. Поскольку вы назначаете строку, я подозреваю, что в ней есть дублирующее значение affinity_matrix.columns, возможно, не отображаемое в вашем вопросе.

— Корь
источник
20
Чтобы быть более точным, в моем случае была повторяющаяся величина affinity_matrix.index, но я думаю, что это та же самая концепция.
— Akavall
24
Для тех, кто пришел к этому позже, indexозначает и то, rowи другое column names, потратив 20 минут на индекс строки, но оказалось, что я получил дублированные имена столбцов, которые вызвали эту ошибку.
— Джейсон Гол
Чтобы добавить к этому, я столкнулся с этой ошибкой, когда я попытался переиндексировать информационный кадр в списке столбцов. Как ни странно, мой дубликат был в моем исходном фрейме данных, поэтому обязательно проверьте оба!
— m8_
163

Как уже говорили другие, у вас, вероятно, есть дубликаты значений в вашем исходном индексе. Чтобы найти их, сделайте это:

df[df.index.duplicated()]

— Мэтью
источник
39
Чтобы удалить строки с дублирующимися индексами, используйте:df = df[~df.index.duplicated()]
— tuomastik
4
Для DatetimeIndexред dataframes, вы можете resampleна нужную частоту , а затем принять .first(), .mean()и т.д.
— BallpointBen
29

Индексы с дублирующимися значениями часто возникают, если вы создаете DataFrame путем объединения других DataFrame. Если вы не заботитесь о сохранении значений вашего индекса, и вы хотите, чтобы они были уникальными значениями, когда вы объединяете данные, установите ignore_index=True.

В качестве альтернативы, чтобы перезаписать ваш текущий индекс новым, вместо использования df.reindex(), установите:

df.index = new_index
— Rebeku
источник
9
Я использовал ignore_index = True, чтобы заставить мой код работать с объединенными фреймами данных
— Габи Ли,
Действительно, ignore_index=Falseэто значение по умолчанию; если использование параметра вообще означает изменение appendповедения, то это должно произойти, потому что вы установили его на True.
— Джеффри Бенджамин Браун
Я потратил 10 часов, пытаясь выяснить мою ошибку, и ваш ответ помог мне. Я конкатенировал два кадра данных и посмотрел на df.tail (), чтобы увидеть последний индекс. Дело в том, что индекс дублировался.
— Исаак Моура
17

Для людей, которые все еще борются с этой ошибкой, это также может произойти, если вы случайно создадите дубликат столбца с тем же именем. Удалить дубликаты столбцов, например, так:

df = df.loc[:,~df.columns.duplicated()]
— змеином
источник
12

Просто пропустите ошибку, используя .valuesв конце.

affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values
— Hadij
источник
Это именно то , что мне было нужно! Просто пытаюсь создать новый столбец, но у меня был индекс с дубликатами в нем. Использование .valuesсделал трюк
— Пол Wildenhain
8

Я столкнулся с этой ошибкой сегодня, когда я хотел добавить новый столбец, как это

df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

Я хотел обработать REMARKстолбец, df_tempчтобы вернуть 1 или 0. Однако я набрал неправильную переменную с df. И это возвратило ошибку как это:

----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
   2417         else:
   2418             # set column
-> 2419             self._set_item(key, value)
   2420 
   2421     def _setitem_slice(self, key, value):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
   2483 
   2484         self._ensure_valid_index(value)
-> 2485         value = self._sanitize_column(key, value)
   2486         NDFrame._set_item(self, key, value)
   2487 

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
   2633 
   2634         if isinstance(value, Series):
-> 2635             value = reindexer(value)
   2636 
   2637         elif isinstance(value, DataFrame):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
   2625                     # duplicate axis
   2626                     if not value.index.is_unique:
-> 2627                         raise e
   2628 
   2629                     # other

ValueError: cannot reindex from a duplicate axis

Как вы можете видеть, правильный код должен быть

df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

Потому dfи df_tempесть разное количество строк. Так и вернулось ValueError: cannot reindex from a duplicate axis.

Надеюсь, вы понимаете это, и мой ответ может помочь другим людям отладить их код.

— GoingMyWay
источник
4

В моем случае эта ошибка появилась не из-за повторяющихся значений, а из-за того, что я попытался соединить более короткую серию с датафреймом: у обоих был один и тот же индекс, но у серии было меньше строк (отсутствовали верхние несколько). Следующие работали для моих целей:

df.head()
                          SensA
date                           
2018-04-03 13:54:47.274   -0.45
2018-04-03 13:55:46.484   -0.42
2018-04-03 13:56:56.235   -0.37
2018-04-03 13:57:57.207   -0.34
2018-04-03 13:59:34.636   -0.33

series.head()
date
2018-04-03 14:09:36.577    62.2
2018-04-03 14:10:28.138    63.5
2018-04-03 14:11:27.400    63.1
2018-04-03 14:12:39.623    62.6
2018-04-03 14:13:27.310    62.5
Name: SensA_rrT, dtype: float64

df = series.to_frame().combine_first(df)

df.head(10)
                          SensA  SensA_rrT
date                           
2018-04-03 13:54:47.274   -0.45        NaN
2018-04-03 13:55:46.484   -0.42        NaN
2018-04-03 13:56:56.235   -0.37        NaN
2018-04-03 13:57:57.207   -0.34        NaN
2018-04-03 13:59:34.636   -0.33        NaN
2018-04-03 14:00:34.565   -0.33        NaN
2018-04-03 14:01:19.994   -0.37        NaN
2018-04-03 14:02:29.636   -0.34        NaN
2018-04-03 14:03:31.599   -0.32        NaN
2018-04-03 14:04:30.779   -0.33        NaN
2018-04-03 14:05:31.733   -0.35        NaN
2018-04-03 14:06:33.290   -0.38        NaN
2018-04-03 14:07:37.459   -0.39        NaN
2018-04-03 14:08:36.361   -0.36        NaN
2018-04-03 14:09:36.577   -0.37       62.2
— tehfink
источник
Спасибо! Я привык к фильтрации и последующему объединению DataFrames и Series 'вот так: df_larger_dataframe['values'] = df_filtered_dataframe['filtered_values'] и в последнее время он не работал на TimeSeries - ваш код решил это!
— 26:00 18
2

Я потратил пару часов на одну и ту же проблему. В моем случае мне пришлось выполнить reset_index () из фрейма данных перед использованием функции apply. Перед объединением или поиском другого индексированного набора данных необходимо сбросить индекс, так как 1 набор данных может иметь только 1 индекс.

— Риши Джайн
источник
2

Простое исправление, которое сработало для меня

Запустите df.reset_index(inplace=True)перед группировкой.

Спасибо за этот комментарий github для решения.

— Коннор
источник
@Chris_vr удалите часть на месте, если вы хотите, чтобы он возвратил фрейм данных
— Коннор
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.