Как мне преобразовать данные из объекта Scikit-learn Bunch в Pandas DataFrame?
from sklearn.datasets import load_iris
import pandas as pd
data = load_iris()
print(type(data))
data1 = pd. # Is there a Pandas method to accomplish this?
Как мне преобразовать данные из объекта Scikit-learn Bunch в Pandas DataFrame?
from sklearn.datasets import load_iris
import pandas as pd
data = load_iris()
print(type(data))
data1 = pd. # Is there a Pandas method to accomplish this?
Ответы:
Вручную вы можете использовать pd.DataFrame
конструктор, задавая numpy array ( data
) и список имен столбцов ( columns
). Чтобы все было в одном DataFrame, вы можете объединить функции и цель в один массив numpy с np.c_[...]
(обратите внимание на []
):
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
# save load_iris() sklearn dataset to iris
# if you'd like to check dataset type use: type(load_iris())
# if you'd like to view list of attributes use: dir(load_iris())
iris = load_iris()
# np.c_ is the numpy concatenate function
# which is used to concat iris['data'] and iris['target'] arrays
# for pandas column argument: concat iris['feature_names'] list
# and string list (in this case one string); you can make this anything you'd like..
# the original dataset would probably call this ['Species']
data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
columns= iris['feature_names'] + ['target'])
load_boston()
. Этот ответ работает в более общем плане: stackoverflow.com/a/46379878/1840471
from sklearn.datasets import load_iris
import pandas as pd
data = load_iris()
df = pd.DataFrame(data.data, columns=data.feature_names)
df.head()
Этот учебник может быть интересен: http://www.neural.cz/dataset-exploration-boston-house-pricing.html
Решение TOMDLt недостаточно универсально для всех наборов данных в scikit-learn. Например, это не работает для набора данных о жилье в Бостоне. Предлагаю другое решение, более универсальное. Нет необходимости использовать numpy.
from sklearn import datasets
import pandas as pd
boston_data = datasets.load_boston()
df_boston = pd.DataFrame(boston_data.data,columns=boston_data.feature_names)
df_boston['target'] = pd.Series(boston_data.target)
df_boston.head()
Как общая функция:
def sklearn_to_df(sklearn_dataset):
df = pd.DataFrame(sklearn_dataset.data, columns=sklearn_dataset.feature_names)
df['target'] = pd.Series(sklearn_dataset.target)
return df
df_boston = sklearn_to_df(datasets.load_boston())
Просто в качестве альтернативы, которую я мог бы гораздо проще понять:
data = load_iris()
df = pd.DataFrame(data['data'], columns=data['feature_names'])
df['target'] = data['target']
df.head()
По сути, вместо конкатенации с самого начала, просто создайте фрейм данных с матрицей функций, а затем просто добавьте целевой столбец с данными ['whatvername'] и возьмите целевые значения из набора данных
Мне потребовалось 2 часа, чтобы понять это
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
##iris.keys()
df= pd.DataFrame(data= np.c_[iris['data'], iris['target']],
columns= iris['feature_names'] + ['target'])
df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)
Верни вид для моих панд
В противном случае используйте наборы данных seaborn, которые являются фактическими фреймами данных pandas:
import seaborn
iris = seaborn.load_dataset("iris")
type(iris)
# <class 'pandas.core.frame.DataFrame'>
Сравните с наборами данных scikit learn:
from sklearn import datasets
iris = datasets.load_iris()
type(iris)
# <class 'sklearn.utils.Bunch'>
dir(iris)
# ['DESCR', 'data', 'feature_names', 'filename', 'target', 'target_names']
У меня это работает.
dataFrame = pd.dataFrame(data = np.c_[ [iris['data'],iris['target'] ],
columns=iris['feature_names'].tolist() + ['target'])
Другой способ комбинировать функции и целевые переменные можно использовать np.column_stack
( подробности )
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
data = load_iris()
df = pd.DataFrame(np.column_stack((data.data, data.target)), columns = data.feature_names+['target'])
print(df.head())
Результат:
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) target
0 5.1 3.5 1.4 0.2 0.0
1 4.9 3.0 1.4 0.2 0.0
2 4.7 3.2 1.3 0.2 0.0
3 4.6 3.1 1.5 0.2 0.0
4 5.0 3.6 1.4 0.2 0.0
Если вам нужен ярлык строки для target
, то вы можете использовать replace
путем преобразования target_names
в dictionary
и добавить новый столбец:
df['label'] = df.target.replace(dict(enumerate(data.target_names)))
print(df.head())
Результат:
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) target label
0 5.1 3.5 1.4 0.2 0.0 setosa
1 4.9 3.0 1.4 0.2 0.0 setosa
2 4.7 3.2 1.3 0.2 0.0 setosa
3 4.6 3.1 1.5 0.2 0.0 setosa
4 5.0 3.6 1.4 0.2 0.0 setosa
По сути, вам нужны «данные», и они у вас есть в группе scikit, теперь вам нужна только «цель» (прогноз), которая также находится в группе.
Так что просто нужно объединить эти два, чтобы данные были полными.
data_df = pd.DataFrame(cancer.data,columns=cancer.feature_names)
target_df = pd.DataFrame(cancer.target,columns=['target'])
final_df = data_df.join(target_df)
Начиная с версии 0.23, вы можете напрямую вернуть DataFrame с помощью as_frame
аргумента. Например, загрузка набора данных радужной оболочки:
from sklearn.datasets import load_iris
iris = load_iris(as_frame=True)
df = iris.data
Насколько я понимаю, используя предварительные примечания к выпуску , это работает для наборов данных груди_cancer, diab, digits, iris, linnerud, wine и california_houses.
Вы можете использовать параметр as_frame=True
для получения фреймов данных pandas.
from sklearn import datasets
X,y = datasets.load_iris(return_X_y=True) # numpy arrays
dic_data = datasets.load_iris(as_frame=True)
print(dic_data.keys())
df = dic_data['frame'] # pandas dataframe data + target
df_X = dic_data['data'] # pandas dataframe data only
ser_y = dic_data['target'] # pandas series target only
dic_data['target_names'] # numpy array
from sklearn import datasets
fnames = [ i for i in dir(datasets) if 'load_' in i]
print(fnames)
fname = 'load_boston'
loader = getattr(datasets,fname)()
df = pd.DataFrame(loader['data'],columns= loader['feature_names'])
df['target'] = loader['target']
df.head(2)
Отрабатывая лучший ответ и обращаясь к моему комментарию, вот функция для преобразования
def bunch_to_dataframe(bunch):
fnames = bunch.feature_names
features = fnames.tolist() if isinstance(fnames, np.ndarray) else fnames
features += ['target']
return pd.DataFrame(data= np.c_[bunch['data'], bunch['target']],
columns=features)
На что бы ни ответил TomDLT, для некоторых из вас это может не сработать, потому что
data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
columns= iris['feature_names'] + ['target'])
потому что iris ['feature_names'] возвращает вам массив numpy. В массиве numpy вы не можете добавить массив и список ['target'] только оператором +. Следовательно, вам нужно сначала преобразовать его в список, а затем добавить.
Ты можешь сделать
data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
columns= list(iris['feature_names']) + ['target'])
Это будет работать нормально, хотя ..
Возможно, есть способ получше, но вот что я делал в прошлом, и он работает довольно хорошо:
items = data.items() #Gets all the data from this Bunch - a huge list
mydata = pd.DataFrame(items[1][1]) #Gets the Attributes
mydata[len(mydata.columns)] = items[2][1] #Adds a column for the Target Variable
mydata.columns = items[-1][1] + [items[2][0]] #Gets the column names and updates the dataframe
Теперь в mydata будет все, что вам нужно - атрибуты, целевая переменная и имена столбцов.
mydata = pd.DataFrame(items[1][1])
throwsTypeError: 'dict_items' object does not support indexing
Этот фрагмент - всего лишь синтаксический сахар, построенный на том, что TomDLT и rolyat уже внесли и объяснили. Единственное отличие будет заключаться в том, что load_iris
вместо словаря будет возвращен кортеж, а имена столбцов перечислены.
df = pd.DataFrame(np.c_[load_iris(return_X_y=True)])
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
X = iris['data']
y = iris['target']
iris_df = pd.DataFrame(X, columns = iris['feature_names'])
iris_df.head()
Один из лучших способов:
data = pd.DataFrame(digits.data)
Digits - это фрейм данных sklearn, и я преобразовал его в фрейм данных pandas
Я взял пару идей из ваших ответов и не знаю, как сделать их короче :)
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris['feature_names'])
df['target'] = iris['target']
Это дает Pandas DataFrame с feature_names плюс target в виде столбцов и RangeIndex (start = 0, stop = len (df), step = 1). Я хотел бы иметь более короткий код, в который я мог бы напрямую добавлять «цель».
API немного чище, чем предложенные ответы. Здесь, используя as_frame
и обязательно включив столбец ответа.
import pandas as pd
from sklearn.datasets import load_wine
features, target = load_wine(as_frame=True).data, load_wine(as_frame=True).target
df = features
df['target'] = target
df.head(2)
Вот еще один пример интегрированного метода, который может быть полезен.
from sklearn.datasets import load_iris
iris_X, iris_y = load_iris(return_X_y=True, as_frame=True)
type(iris_X), type(iris_y)
Данные iris_X импортируются как pandas DataFrame, а целевой iris_y импортируется как pandas Series.
from sklearn.datasets import load_iris
import pandas as pd
iris_dataset = load_iris()
datasets = pd.DataFrame(iris_dataset['data'], columns =
iris_dataset['feature_names'])
target_val = pd.Series(iris_dataset['target'], name =
'target_values')
species = []
for val in target_val:
if val == 0:
species.append('iris-setosa')
if val == 1:
species.append('iris-versicolor')
if val == 2:
species.append('iris-virginica')
species = pd.Series(species)
datasets['target'] = target_val
datasets['target_name'] = species
datasets.head()
Этот простой метод сработал для меня.
boston = load_boston()
boston_frame = pd.DataFrame(data=boston.data, columns=boston.feature_names)
boston_frame["target"] = boston.target
Но это также применимо и к load_iris.