Во-первых, давайте создадим mcve для игры:
import pandas as pd
import numpy as np
In [1]: categorical_array = np.random.choice(['Var1','Var2','Var3'],
size=(5,3), p=[0.25,0.5,0.25])
df = pd.DataFrame(categorical_array,
columns=map(lambda x:chr(97+x), range(categorical_array.shape[1])))
# Add another column that isn't categorical but float
df['d'] = np.random.rand(len(df))
print(df)
Out[1]:
a b c d
0 Var3 Var3 Var3 0.953153
1 Var1 Var2 Var1 0.924896
2 Var2 Var2 Var2 0.273205
3 Var2 Var1 Var3 0.459676
4 Var2 Var1 Var1 0.114358
Теперь мы можем использовать pd.get_dummies для кодирования первых трех столбцов.
Обратите внимание, что я использую drop_first
параметр, потому что N-1
пустышки достаточно для полного описания N
возможностей (например: если a_Var2
и a_Var3
0, то это a_Var1
). Кроме того , я специально указав столбцы , но я не должен , как это будет столбцы с DTYPE либо object
или categorical
(подробнее ниже).
In [2]: df_encoded = pd.get_dummies(df, columns=['a','b', 'c'], drop_first=True)
print(df_encoded]
Out[2]:
d a_Var2 a_Var3 b_Var2 b_Var3 c_Var2 c_Var3
0 0.953153 0 1 0 1 0 1
1 0.924896 0 0 1 0 0 0
2 0.273205 1 0 1 0 1 0
3 0.459676 1 0 0 0 0 1
4 0.114358 1 0 0 0 0 0
В вашем конкретном приложении вы должны будете предоставить список столбцов, которые являются Категориальными, или вы должны будете определить, какие столбцы являются Категориальными.
В лучшем случае в вашем фрейме данных эти столбцы уже есть, dtype=category
и вы можете перейти columns=df.columns[df.dtypes == 'category']
к ним get_dummies
.
В противном случае я предлагаю установить dtype
все остальные столбцы соответствующим образом (подсказка: pd.to_numeric, pd.to_datetime и т. Д.), И у вас останутся столбцы, имеющие object
тип d, и они должны быть вашими категориальными столбцами.
По умолчанию столбцы параметров pd.get_dummies:
columns : list-like, default None
Column names in the DataFrame to be encoded.
If `columns` is None then all the columns with
`object` or `category` dtype will be converted.