Как преобразовать набор данных Scikit-learn в набор данных Pandas?


109

Как мне преобразовать данные из объекта Scikit-learn Bunch в Pandas DataFrame?

from sklearn.datasets import load_iris
import pandas as pd
data = load_iris()
print(type(data))
data1 = pd. # Is there a Pandas method to accomplish this?

Ответы:


136

Вручную вы можете использовать pd.DataFrameконструктор, задавая numpy array ( data) и список имен столбцов ( columns). Чтобы все было в одном DataFrame, вы можете объединить функции и цель в один массив numpy с np.c_[...](обратите внимание на []):

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris

# save load_iris() sklearn dataset to iris
# if you'd like to check dataset type use: type(load_iris())
# if you'd like to view list of attributes use: dir(load_iris())
iris = load_iris()

# np.c_ is the numpy concatenate function
# which is used to concat iris['data'] and iris['target'] arrays 
# for pandas column argument: concat iris['feature_names'] list
# and string list (in this case one string); you can make this anything you'd like..  
# the original dataset would probably call this ['Species']
data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
                     columns= iris['feature_names'] + ['target'])

3
Не могли бы вы добавить небольшой текст, чтобы объяснить этот код? По нашим меркам это несколько кратко.
gung - Reinstate Monica

1
Некоторые группы имеют feature_names как ndarray, что нарушает параметр columns.

1
Отсутствуют ключ и значения "Виды" для фрейма данных.
mastash3ff

4
Этот код у меня не работал как есть. Для параметра columns мне нужно было передать columns = np.append (iris ['feature_names'], 'target). Я что-то сделал не так или этот ответ нужно отредактировать?
Джош Дэвис

2
Это не работает для всех наборов данных, например load_boston(). Этот ответ работает в более общем плане: stackoverflow.com/a/46379878/1840471
Макс Генис

79
from sklearn.datasets import load_iris
import pandas as pd

data = load_iris()
df = pd.DataFrame(data.data, columns=data.feature_names)
df.head()

Этот учебник может быть интересен: http://www.neural.cz/dataset-exploration-boston-house-pricing.html


11
Необходимо объединить данные с целью: df = pd.DataFrame (np.concatenate ((iris.data, np.array ([iris.target]). T), axis = 1), columns = iris.feature_names + [' target '])
Тайлер 傲 来 国 主

56

Решение TOMDLt недостаточно универсально для всех наборов данных в scikit-learn. Например, это не работает для набора данных о жилье в Бостоне. Предлагаю другое решение, более универсальное. Нет необходимости использовать numpy.

from sklearn import datasets
import pandas as pd

boston_data = datasets.load_boston()
df_boston = pd.DataFrame(boston_data.data,columns=boston_data.feature_names)
df_boston['target'] = pd.Series(boston_data.target)
df_boston.head()

Как общая функция:

def sklearn_to_df(sklearn_dataset):
    df = pd.DataFrame(sklearn_dataset.data, columns=sklearn_dataset.feature_names)
    df['target'] = pd.Series(sklearn_dataset.target)
    return df

df_boston = sklearn_to_df(datasets.load_boston())

10

Просто в качестве альтернативы, которую я мог бы гораздо проще понять:

data = load_iris()
df = pd.DataFrame(data['data'], columns=data['feature_names'])
df['target'] = data['target']
df.head()

По сути, вместо конкатенации с самого начала, просто создайте фрейм данных с матрицей функций, а затем просто добавьте целевой столбец с данными ['whatvername'] и возьмите целевые значения из набора данных


9

Мне потребовалось 2 часа, чтобы понять это

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris

iris = load_iris()
##iris.keys()


df= pd.DataFrame(data= np.c_[iris['data'], iris['target']],
                 columns= iris['feature_names'] + ['target'])

df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)

Верни вид для моих панд


7

В противном случае используйте наборы данных seaborn, которые являются фактическими фреймами данных pandas:

import seaborn
iris = seaborn.load_dataset("iris")
type(iris)
# <class 'pandas.core.frame.DataFrame'>

Сравните с наборами данных scikit learn:

from sklearn import datasets
iris = datasets.load_iris()
type(iris)
# <class 'sklearn.utils.Bunch'>
dir(iris)
# ['DESCR', 'data', 'feature_names', 'filename', 'target', 'target_names']


3

Другой способ комбинировать функции и целевые переменные можно использовать np.column_stack( подробности )

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris

data = load_iris()
df = pd.DataFrame(np.column_stack((data.data, data.target)), columns = data.feature_names+['target'])
print(df.head())

Результат:

   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)     target
0                5.1               3.5                1.4               0.2     0.0
1                4.9               3.0                1.4               0.2     0.0 
2                4.7               3.2                1.3               0.2     0.0 
3                4.6               3.1                1.5               0.2     0.0
4                5.0               3.6                1.4               0.2     0.0

Если вам нужен ярлык строки для target, то вы можете использовать replaceпутем преобразования target_namesв dictionaryи добавить новый столбец:

df['label'] = df.target.replace(dict(enumerate(data.target_names)))
print(df.head())

Результат:

   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)     target  label 
0                5.1               3.5                1.4               0.2     0.0     setosa
1                4.9               3.0                1.4               0.2     0.0     setosa
2                4.7               3.2                1.3               0.2     0.0     setosa
3                4.6               3.1                1.5               0.2     0.0     setosa
4                5.0               3.6                1.4               0.2     0.0     setosa

2

По сути, вам нужны «данные», и они у вас есть в группе scikit, теперь вам нужна только «цель» (прогноз), которая также находится в группе.

Так что просто нужно объединить эти два, чтобы данные были полными.

  data_df = pd.DataFrame(cancer.data,columns=cancer.feature_names)
  target_df = pd.DataFrame(cancer.target,columns=['target'])

  final_df = data_df.join(target_df)

2

Начиная с версии 0.23, вы можете напрямую вернуть DataFrame с помощью as_frameаргумента. Например, загрузка набора данных радужной оболочки:

from sklearn.datasets import load_iris
iris = load_iris(as_frame=True)
df = iris.data

Насколько я понимаю, используя предварительные примечания к выпуску , это работает для наборов данных груди_cancer, diab, digits, iris, linnerud, wine и california_houses.


2

Обновление: 2020

Вы можете использовать параметр as_frame=True для получения фреймов данных pandas.

Если доступен параметр as_frame (например, load_iris)

from sklearn import datasets
X,y = datasets.load_iris(return_X_y=True) # numpy arrays

dic_data = datasets.load_iris(as_frame=True)
print(dic_data.keys())

df = dic_data['frame'] # pandas dataframe data + target
df_X = dic_data['data'] # pandas dataframe data only
ser_y = dic_data['target'] # pandas series target only
dic_data['target_names'] # numpy array

Если параметр as_frame НЕ доступен (например, load_boston)

from sklearn import datasets

fnames = [ i for i in dir(datasets) if 'load_' in i]
print(fnames)

fname = 'load_boston'
loader = getattr(datasets,fname)()
df = pd.DataFrame(loader['data'],columns= loader['feature_names'])
df['target'] = loader['target']
df.head(2)

1

Отрабатывая лучший ответ и обращаясь к моему комментарию, вот функция для преобразования

def bunch_to_dataframe(bunch):
  fnames = bunch.feature_names
  features = fnames.tolist() if isinstance(fnames, np.ndarray) else fnames
  features += ['target']
  return pd.DataFrame(data= np.c_[bunch['data'], bunch['target']],
                 columns=features)

1

На что бы ни ответил TomDLT, для некоторых из вас это может не сработать, потому что

data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
                 columns= iris['feature_names'] + ['target'])

потому что iris ['feature_names'] возвращает вам массив numpy. В массиве numpy вы не можете добавить массив и список ['target'] только оператором +. Следовательно, вам нужно сначала преобразовать его в список, а затем добавить.

Ты можешь сделать

data1 = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
                 columns= list(iris['feature_names']) + ['target'])

Это будет работать нормально, хотя ..


0

Возможно, есть способ получше, но вот что я делал в прошлом, и он работает довольно хорошо:

items = data.items()                          #Gets all the data from this Bunch - a huge list
mydata = pd.DataFrame(items[1][1])            #Gets the Attributes
mydata[len(mydata.columns)] = items[2][1]     #Adds a column for the Target Variable
mydata.columns = items[-1][1] + [items[2][0]] #Gets the column names and updates the dataframe

Теперь в mydata будет все, что вам нужно - атрибуты, целевая переменная и имена столбцов.


1
Решение TomDLT намного превосходит то, что я предлагаю выше. Он делает то же самое, но очень элегантно и легко для понимания. Используйте это!
HakunaMaData

mydata = pd.DataFrame(items[1][1])throwsTypeError: 'dict_items' object does not support indexing
SANBI сэмплы 01

0

Этот фрагмент - всего лишь синтаксический сахар, построенный на том, что TomDLT и rolyat уже внесли и объяснили. Единственное отличие будет заключаться в том, что load_irisвместо словаря будет возвращен кортеж, а имена столбцов перечислены.

df = pd.DataFrame(np.c_[load_iris(return_X_y=True)])

Спасибо за этот фрагмент кода, который может оказать некоторую немедленную помощь. Надлежащее объяснение было бы значительно улучшить свою долгосрочную ценность , показывая , почему это хорошее решение проблемы, и сделает его более полезным для читателей будущих с другими подобными вопросами. Пожалуйста , измените свой ответ , чтобы добавить некоторые объяснения, в том числе допущений , которые вы сделали.
Прощай, StackExchange


0

Один из лучших способов:

data = pd.DataFrame(digits.data)

Digits - это фрейм данных sklearn, и я преобразовал его в фрейм данных pandas


0

Я взял пару идей из ваших ответов и не знаю, как сделать их короче :)

import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris['feature_names'])
df['target'] = iris['target']

Это дает Pandas DataFrame с feature_names плюс target в виде столбцов и RangeIndex (start = 0, stop = len (df), step = 1). Я хотел бы иметь более короткий код, в который я мог бы напрямую добавлять «цель».


0

API немного чище, чем предложенные ответы. Здесь, используя as_frameи обязательно включив столбец ответа.

import pandas as pd
from sklearn.datasets import load_wine

features, target = load_wine(as_frame=True).data, load_wine(as_frame=True).target
df = features
df['target'] = target

df.head(2)

0

Вот еще один пример интегрированного метода, который может быть полезен.

from sklearn.datasets import load_iris
iris_X, iris_y = load_iris(return_X_y=True, as_frame=True)
type(iris_X), type(iris_y)

Данные iris_X импортируются как pandas DataFrame, а целевой iris_y импортируется как pandas Series.


0
from sklearn.datasets import load_iris
import pandas as pd

iris_dataset = load_iris()

datasets = pd.DataFrame(iris_dataset['data'], columns = 
           iris_dataset['feature_names'])
target_val = pd.Series(iris_dataset['target'], name = 
            'target_values')

species = []
for val in target_val:
    if val == 0:
        species.append('iris-setosa')
    if val == 1:
        species.append('iris-versicolor')
    if val == 2:
        species.append('iris-virginica')
species = pd.Series(species)

datasets['target'] = target_val
datasets['target_name'] = species
datasets.head()

0

Этот простой метод сработал для меня.

boston = load_boston()
boston_frame = pd.DataFrame(data=boston.data, columns=boston.feature_names)
boston_frame["target"] = boston.target

Но это также применимо и к load_iris.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.