Перемешать строки DataFrame

У меня есть следующий DataFrame:

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame считывается из файла CSV. Все строки, которые имеют Type1, находятся сверху, за ними следуют строки с Type2, за которыми следуют строки с Type3 и т. Д.

Я хотел бы изменить порядок строк в DataFrame, чтобы все Typeсмешалось. Возможный результат может быть:

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

Как мне этого добиться?

Идиоматический способ сделать это с Pandas - это использовать .sampleметод вашего фрейма данных для выборки всех строк без замены:

df.sample(frac=1)

В fracключевых словах аргумента задает часть возвращаемых строк в случайной выборке, так что frac=1средство возвращает все строки (в случайном порядке).

Примечание. Если вы хотите переместить ваш фрейм данных на месте и сбросить индекс, вы можете сделать, например,

df = df.sample(frac=1).reset_index(drop=True)

Здесь указание не drop=Trueпозволяет .reset_indexсоздать столбец, содержащий старые записи индекса.

Последующий Примечание: Несмотря на то, что не может выглядеть выше операция на месте , питона / панды является достаточно умны , чтобы не сделать еще таНос для перемешиваются объекта. То есть, даже если эталонный объект изменился (я имею в виду id(df_old)не то же самое id(df_new)), базовый объект C остается тем же. Чтобы показать, что это действительно так, вы можете запустить простой профилировщик памяти:

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

Вы можете просто использовать sklearn для этого

from sklearn.utils import shuffle
df = shuffle(df)

Вы можете перетасовать строки фрейма данных, проиндексировав их с помощью перетасованного индекса. Для этого вы можете, например, использовать np.random.permutation(но np.random.choiceэто также возможно):

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

Если вы хотите сохранить индекс с номерами 1, 2, .., n, как в вашем примере, вы можете просто сбросить индекс: df_shuffled.reset_index(drop=True)

TL; DR : np.random.shuffle(ndarray)может сделать работу.
Итак, в вашем случае

np.random.shuffle(DataFrame.values)

DataFrame, под капотом, использует NumPy ndarray в качестве держателя данных. (Вы можете проверить из исходного кода DataFrame )

Так что, если вы используете np.random.shuffle(), он будет перетасовывать массив вдоль первой оси многомерного массива. Но индекс DataFrameостается не перетасованным.

Тем не менее, есть некоторые моменты, которые следует учитывать.

• функция не возвращает ничего. Если вы хотите сохранить копию исходного объекта, вы должны сделать это, прежде чем перейти к функции.
• sklearn.utils.shuffle(), как предложил пользователь tj89, может назначить random_stateнаряду с другой опцией для управления выводом. Вы можете хотеть это для цели разработки.
• sklearn.utils.shuffle()быстрее. Но будет перетасовывать информацию об оси (индекс, столбец) DataFrameвместе с ndarrayсодержащейся в ней.

Результат теста

между sklearn.utils.shuffle()и np.random.shuffle().

ndarray

nd = sklearn.utils.shuffle(nd)

0,10793248389381915 сек. В 8 раз быстрее

np.random.shuffle(nd)

0,8897626010002568 с

DataFrame

df = sklearn.utils.shuffle(df)

0,3183923360193148 сек. В 3 раза быстрее

np.random.shuffle(df.values)

0,9357550159329548 сек

Вывод: если информация оси (индекс, столбец) может быть перетасована вместе с ndarray, используйте sklearn.utils.shuffle(). В противном случае используйтеnp.random.shuffle()

используемый код

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

питонбенчмаркинг

(У меня недостаточно репутации, чтобы комментировать это в верхнем посте, поэтому я надеюсь, что кто-то другой может сделать это для меня.) Была обеспокоенность, что первый метод:

df.sample(frac=1)

сделал глубокую копию или просто изменил фрейм данных. Я запустил следующий код:

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

и мои результаты были:

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

Это означает, что метод не возвращает тот же объект, как было предложено в последнем комментарии. Так что этот метод действительно делает случайную копию .

Что также полезно, если вы используете его для Machine_learning и хотите всегда разделять одни и те же данные, вы можете использовать:

df.sample(n=len(df), random_state=42)

это гарантирует, что ваш случайный выбор будет всегда воспроизводимым

AFAIK самое простое решение:

df_shuffled = df.reindex(np.random.permutation(df.index))

перетасуйте фрейм данных Pandas, взяв образец массива в этом случае индекса и рандомизируйте его порядок, а затем установите массив в качестве индекса фрейма данных. Теперь отсортируйте фрейм данных по индексу. Вот твой перетасованный кадр данных

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

вывод

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

Вставьте свой фрейм данных вместо моего в приведенном выше коде.

Вот еще один способ:

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)