Вопросы с тегом «pandas»

Мне нужен поэлементный логический оператор ИЛИ. Я знаю, что само по себе «или» - это не то, что я ищу. Я знаю , что и соответствует &и NOT, ~. Но как насчет ИЛИ?

81 python  pandas  boolean-logic  logical-operators  boolean-operations 

Есть ли способ заменить значения Noneв Pandas в Python? Вы можете использовать df.replace('pre', 'post')и можете заменить одно значение другим, но этого нельзя сделать, если вы хотите заменить на Noneзначение, которое при попытке получить странный результат. Итак, вот пример: df = DataFrame(['-',3,2,5,1,-5,-1,'-',9]) df.replace('-', 0) который возвращает успешный результат. Но, df.replace('-', None) …

80 python  pandas  dataframe  replace  nan 

Есть ли способ написать функцию агрегирования, используемую в DataFrame.aggметоде, которая имела бы доступ к более чем одному столбцу агрегируемых данных? Типичными вариантами использования являются функции взвешенного среднего и взвешенного стандартного отклонения. Я бы хотел написать что-нибудь вроде def wAvg(c, w): return ((c * w).sum() / w.sum()) df = DataFrame(....) # …

80 python  pandas 

Очистив значения фрейма данных с несколькими типами в python / pandas, я хочу обрезать строки. Сейчас я делаю это по двум инструкциям: import pandas as pd df = pd.DataFrame([[' a ', 10], [' c ', 5]]) df.replace('^\s+', '', regex=True, inplace=True) #front df.replace('\s+$', '', regex=True, inplace=True) #end df.values Это довольно медленно, …

80 python  regex  pandas  dataframe  trim 

Я пытаюсь сделать что-то довольно простое, читая большой файл csv в фреймворк pandas. data = pandas.read_csv(filepath, header = 0, sep = DELIMITER,skiprows = 2) Код либо не работает с a MemoryError, либо никогда не завершается. Использование памяти в диспетчере задач остановилось на 506 МБ, и после 5 минут отсутствия изменений …

79 python  windows  pandas 

Большая часть функции Numpy по умолчанию включает многопоточность. например, я работаю на 8-ядерном компьютере Intel Cpu, если я запускаю скрипт import numpy as np x=np.random.random(1000000) for i in range(100000): np.sqrt(x) Linux topпокажет 800% загрузки процессора во время работы, что означает, что numpy автоматически обнаруживает, что моя рабочая станция имеет 8 …

25 python  pandas  numpy 

У меня есть датафрейм и словарь. Мне нужно добавить новый столбец в фрейм данных и рассчитать его значения на основе словаря. Машинное обучение, добавление новой функции на основе некоторой таблицы: score = {(1, 45, 1, 1) : 4, (0, 1, 2, 1) : 5} df = pd.DataFrame(data = { 'gender' …

23 python  pandas  dataframe  dictionary 

У меня есть df, как это: frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c']}) И список предметов: letters = ['a','c'] Моя цель - получить все строки из frameкоторых содержат как минимум 2 элемента вletters Я придумал это решение: for i in letters: subframe = frame[frame['a'].str.contains(i)] Это дает мне то, что я …

20 python  pandas 

У меня есть фрейм данных, в котором записаны ответы людей, выбравших языки программирования 19717 года на вопросы с несколькими вариантами ответов. В первом столбце, конечно, указывается пол респондента, а в остальных - выбор, который они выбрали. И, следовательно, если я выберу Python, мой ответ будет записан в столбце Python, а …

19 python  pandas  dataframe 

У меня есть два pandasкадра данных, aи b: a1 a2 a3 a4 a5 a6 a7 1 3 4 5 3 4 5 0 2 0 3 0 2 1 2 5 6 5 2 1 2 а также b1 b2 b3 b4 b5 b6 b7 3 5 4 5 1 …

18 python  python-3.x  pandas 

У меня есть следующий пандас dataframe: df1 = pd.DataFrame({'date': [200101,200101,200101,200101,200102,200102,200102,200102],'blockcount': [1,1,2,2,1,1,2,2],'reactiontime': [350,400,200,250,100,300,450,400]}) Я пытаюсь создать иерархический словарь со значениями встроенного словаря в виде списков, который выглядит следующим образом: {200101: {1:[350, 400], 2:[200, 250]}, 200102: {1:[100, 300], 2:[450, 400]}} Как бы я это сделал? Самое близкое, что я получаю, это использование …

16 python  pandas 

При использовании Pandas DataFrame, как это: import pandas as pd import numpy as np df = pd.DataFrame({'today': [['a', 'b', 'c'], ['a', 'b'], ['b']], 'yesterday': [['a', 'b'], ['a'], ['a']]}) today yesterday 0 ['a', 'b', 'c'] ['a', 'b'] 1 ['a', 'b'] ['a'] 2 ['b'] ['a'] ... etc Но с примерно 100 000 …

16 python  pandas  numpy  dataframe 

Я работаю с отдельными строками фреймов данных Pandas, но я спотыкаюсь о проблемах принуждения при индексации и вставке строк. Панды, кажется, всегда хотят привести к смешанному типу int / float к типам с плавающей точкой, и я не вижу каких-либо очевидных элементов управления этим поведением. Например, вот простой фрейм данных …

16 python  pandas  coercion 

from itertools import product import pandas as pd df = pd.DataFrame.from_records(product(range(10), range(10))) df = df.sample(90) df.columns = "c1 c2".split() df = df.sort_values(df.columns.tolist()).reset_index(drop=True) # c1 c2 # 0 0 0 # 1 0 1 # 2 0 2 # 3 0 3 # 4 0 4 # .. .. .. # …

15 python  pandas  numpy 

Вот мой первый геодатфрейм: !pip install geopandas import pandas as pd import geopandas city1 = [{'City':"Buenos Aires","Country":"Argentina","Latitude":-34.58,"Longitude":-58.66}, {'City':"Brasilia","Country":"Brazil","Latitude":-15.78 ,"Longitude":-70.66}, {'City':"Santiago","Country":"Chile ","Latitude":-33.45 ,"Longitude":-70.66 }] city2 = [{'City':"Bogota","Country":"Colombia ","Latitude":4.60 ,"Longitude":-74.08}, {'City':"Caracas","Country":"Venezuela","Latitude":10.48 ,"Longitude":-66.86}] city1df = pd.DataFrame(city1) city2df = pd.DataFrame(city2) gcity1df = geopandas.GeoDataFrame( city1df, geometry=geopandas.points_from_xy(city1df.Longitude, city1df.Latitude)) gcity2df = geopandas.GeoDataFrame( city2df, geometry=geopandas.points_from_xy(city2df.Longitude, city2df.Latitude)) City1 City …

14 python  pandas  dataframe  geolocation  geopandas