Рассчитать процент схожих значений в панде


14

У меня есть один dataframe df, с двумя столбцами: Script (с текстом) и Speaker

Script  Speaker
aze     Speaker 1 
art     Speaker 2
ghb     Speaker 3
jka     Speaker 1
tyc     Speaker 1
avv     Speaker 2 
bhj     Speaker 1

И у меня есть следующий список: L = ['a','b','c']

Со следующим кодом,

df = (df.set_index('Speaker')['Script'].str.findall('|'.join(L))
        .str.join('|')
        .str.get_dummies()
        .sum(level=0))
print (df)

Я получаю этот фрейм данных df2:

Speaker     a    b    c
Speaker 1   2    1    1
Speaker 2   2    0    0
Speaker 3   0    1    0

Какую строку я могу добавить в своем коде, чтобы получить для каждой строки моего информационного кадра df2процентное значение всех строк, произнесенных оратором, чтобы получить следующий информационный кадр df3:

Speaker     a    b    c
Speaker 1   50%  25%   25%
Speaker 2  100%    0   0
Speaker 3   0   100%   0

Ответы:


8

Вы можете разделить sumвдоль первой оси, а затем привести к строке и добавить %:

out = (df.set_index('Speaker')['Script'].str.findall('|'.join(L))
         .str.join('|')
         .str.get_dummies()
         .sum(level=0))

(out/out.sum(0)[:,None]).mul(100).astype(int).astype(str).add('%')

            a     b    c
Speaker                  
Speaker1   50%   25%  25%
Speaker2  100%    0%   0%
Speaker3    0%  100%   0%

5

Начиная с исходного кадра данных, если вы хотите использовать%, а не сгруппированную сумму пустышек, вы можете изменить весь скрипт, как показано ниже:

m = df.set_index('Speaker')['Script'].str.findall('|'.join(L)) #creates a list of matches
m = m.explode().reset_index() #explode to a series 
final = pd.crosstab(m['Speaker'],m['Script'],normalize='index').mul(100) # percentage pivot

Script         a      b     c
Speaker                      
Speaker 1   50.0   25.0  25.0
Speaker 2  100.0    0.0   0.0
Speaker 3    0.0  100.0   0.0

Если вы не хотите процент, просто используйте:

pd.crosstab(m['Speaker'],m['Script'])

Script     a  b  c
Speaker           
Speaker 1  2  1  1
Speaker 2  2  0  0
Speaker 3  0  1  0

Примечание: в качестве версии используются панды 0.25+


3
(df.set_index('Speaker')['Script'].str.extractall(f'({"|".join(L)})')
   .groupby('Speaker')[0].value_counts(normalize=True)
   .unstack(fill_value=0)
)

Вывод:

0            a     b     c
Speaker                   
Speaker 1  0.5  0.25  0.25
Speaker 2  1.0  0.00  0.00
Speaker 3  0.0  1.00  0.00

2

Учитывая пример, вы можете попробовать следующую строку кода:

df = (df/df.sum(axis=1)[:, None]).mul(100).astype(int)

С данными, которые вы предоставляете:

import pandas as pd
import numpy as np
data = {'a':[2,2,0],'b':[1,0,1],'c':[1,0,0]}
df = pd.DataFrame(data)
df = (df/df.sum(axis=1)[:, None]).mul(100).astype(int)
print(df)

Вывод:

     a   b   c
0   50  25  25
1  100   0   0
2    0 100   0

Или, если вы хотите добавить символ «%»:

df = (df / df.sum(axis=1)[:, None]).mul(100).astype(int).astype(str) + '%'

Вывод:

      a     b    c
0   50%   25%  25%
1  100%    0%   0%
2    0%  100%   0%
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.