Вопросы с тегом «pandas»

Я регулярно выполняю операции pandas над фреймами данных, длина которых превышает 15 миллионов строк, и я хотел бы получить доступ к индикатору прогресса для определенных операций. Существует ли текстовый индикатор прогресса для операций pandas split-apply-Объединить? Например, что-то вроде: df_users.groupby(['userID', 'requestDate']).apply(feature_rollup) где feature_rollup- несколько задействованная функция, которая принимает множество столбцов DF …

159 python  pandas  ipython 

У меня есть сценарий, в котором пользователь хочет применить несколько фильтров к объекту Pandas DataFrame или Series. По сути, я хочу эффективно объединить в цепочку несколько операций фильтрации (операций сравнения), которые задаются пользователем во время выполнения. Фильтры должны быть аддитивными (то есть каждый применяемый фильтр должен сужать результаты). В настоящее …

158 python  algorithm  pandas 

Я пытаюсь определить, есть ли запись в столбце Панд, которая имеет определенное значение. Я пытался сделать это с if x in df['id']. Я думал, что это работает, за исключением случаев, когда я дал ему значение, которое, как я знал, не было в столбце, которое 43 in df['id']он все еще возвращал …

157 python  pandas 

У меня есть Pandas DataFrame со столбцом «дата». Теперь мне нужно отфильтровать все строки в DataFrame с датами за пределами следующих двух месяцев. По сути, мне нужно только сохранить строки, которые находятся в течение следующих двух месяцев. Каков наилучший способ достичь этого?

157 python  datetime  pandas  filtering  dataframe 

У меня есть датафрейм с 2 уровнями индекса: value Trial measurement 1 0 13 1 3 2 4 2 0 NaN 1 12 3 0 34 Который я хочу превратить в это: Trial measurement value 1 0 13 1 1 3 1 2 4 2 0 NaN 2 1 12 …

156 python  pandas  dataframe  flatten  multi-index 

Я понимаю, что для удаления столбца вы используете df.drop ('имя столбца', axis = 1). Есть ли способ удалить столбец, используя числовой индекс вместо имени столбца?

155 python  pandas  dataframe 

Я не могу получить среднее или среднее значение столбца в пандах. А есть датафрейм. Ничто из того, что я попробовал ниже, не дает мне среднее значение столбцаweight >>> allDF ID birthyear weight 0 619040 1962 0.1231231 1 600161 1963 0.981742 2 25602033 1963 1.3123124 3 624870 1987 0.94212 Следующее возвращает …

155 python  pandas 

Я пытаюсь заполнить никакие значения в кадре данных Pandas с 0 только для некоторого подмножества столбцов. Когда я делаю: import pandas as pd df = pd.DataFrame(data={'a':[1,2,3,None],'b':[4,5,None,6],'c':[None,None,7,8]}) print df df.fillna(value=0, inplace=True) print df Выход: a b c 0 1.0 4.0 NaN 1 2.0 5.0 NaN 2 3.0 NaN 7.0 3 NaN …

155 python  pandas  dataframe 

Как получить доступ к соответствующему фрейму данных groupby в объекте groupby по ключу? Со следующей группой: rand = np.random.RandomState(1) df = pd.DataFrame({'A': ['foo', 'bar'] * 3, 'B': rand.randn(6), 'C': rand.randint(0, 20, 6)}) gb = df.groupby(['A']) Я могу пройти через это, чтобы получить ключи и группы: In [11]: for k, gp …

154 python  pandas  dataframe  group-by  pandas-groupby 

Я знаю, что это очень простой вопрос, но по какой-то причине я не могу найти ответ. Как я могу получить индекс определенного элемента Серии в пандах Python? (первого появления будет достаточно) Т.е. я бы хотел что-то вроде: import pandas as pd myseries = pd.Series([1,4,0,7,5], index=[0,1,2,3,4]) print myseries.find(7) # should output …

154 python  pandas 

У меня есть следующий DataFrame: In [1]: import pandas as pd df = pd.DataFrame({'a': [1,2,3], 'b': [2,3,4], 'c':['dd','ee','ff'], 'd':[5,9,1]}) df Out [1]: a b c d 0 1 2 dd 5 1 2 3 ee 9 2 3 4 ff 1 Я хотел бы добавить столбец, 'e'который является суммой столбца …

153 python  pandas  dataframe  sum 

У меня есть ситуация, когда иногда, когда я читаю csvиз, dfя получаю нежелательный индексоподобный столбец с именем unnamed:0. file.csv ,A,B,C 0,1,2,3 1,4,5,6 2,7,8,9 CSV читается с этим: pd.read_csv('file.csv') Unnamed: 0 A B C 0 0 1 2 3 1 1 4 5 6 2 2 7 8 9 Это очень …

152 python  pandas  csv  dataframe 

Я хочу найти все значения в кадре данных Pandas, которые содержат пробелы (любое произвольное количество) и заменить эти значения на NaN. Есть идеи, как это можно улучшить? В основном я хочу включить это: A B C 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 …

152 python  pandas  dataframe 

Сегодня я был приятно удивлен тем фактом, что при чтении данных из файла данных (например) панды могут распознавать типы значений: df = pandas.read_csv('test.dat', delimiter=r"\s+", names=['col1','col2','col3']) Например, это можно проверить следующим образом: for i, r in df.iterrows(): print type(r['col1']), type(r['col2']), type(r['col3']) В частности, целое число, числа с плавающей точкой и строки …

151 python  date  types  dataframe  pandas 

У меня есть динамический DataFrame, который работает нормально, но когда нет данных для добавления в DataFrame, я получаю сообщение об ошибке. И поэтому мне нужно решение для создания пустого DataFrame только с именами столбцов. На данный момент у меня есть что-то вроде этого: df = pd.DataFrame(columns=COLUMN_NAMES) # Note that there …

151 python  pandas  dataframe