Каков самый быстрый способ скопировать данные из массива b в массив a, не изменяя адрес массива a. Мне это нужно, потому что внешняя библиотека (PyFFTW) использует указатель на мой массив, который не может измениться.
Например:
a = numpy.empty(n, dtype=complex)
for i in xrange(a.size):
a[i] = b[i]
А можно без шлейфа?
Ответы:
я верю
a = numpy.empty_like (b)
a[:] = b
быстро сделает глубокую копию. Как упоминает Фунси, последние версии numpy также имеют copytoфункцию.
a = bпросто создает новую ссылку на b. a[:] = bозначает «установить все элементы aравными элементам из b». Разница важна, потому что массивы numpy являются изменяемыми типами.
empty()он примерно на 10% быстрее, чем zeros(). На удивление empty_like()даже быстрее. copyto(a,b)быстрее, чем синтаксис массива a[:] = b. См. Gist.github.com/bhawkins/5095558
np.copyto(a, b)а когда a = b.astype(b.dtype)для повышения скорости, см. Ответ ниже: stackoverflow.com/a/33672015/3703716
empty_likeон намного быстрее empty, тем более что zeros_likeон медленнее, чем zeros. Кстати, я только что повторно запустил свой тест (теперь обновлен), и разница между copyto(a,b)и, a[:] = bпохоже, испарилась. gist.github.com/bhawkins/5095558
NumPy версии 1.7 имеет numpy.copytoфункцию, которая делает то, что вы ищете:
numpy.copyto (dst, src)
Копирует значения из одного массива в другой, передавая их по мере необходимости.
См. Https://docs.scipy.org/doc/numpy/reference/generated/numpy.copyto.html
AttributeError: 'module' object has no attribute 'copyto'
a = numpy.array(b)
даже быстрее, чем предлагаемые решения до numpy v1.6, а также делает копию массива. Однако я не смог протестировать его против copyto (a, b), так как у меня нет самой последней версии numpy.
Чтобы ответить на ваш вопрос, я поиграл с некоторыми вариантами и профилировал их.
Вывод: для копирования данных из массива numpy в другой используйте одну из встроенных функций numpy numpy.array(src)или numpy.copyto(dst, src)там, где это возможно.
(Но всегда выбирайте более позднее, если dstпамять уже выделена, чтобы повторно использовать память. См. Профилирование в конце сообщения.)
настройка профилирования
import timeit
import numpy as np
import pandas as pd
from IPython.display import display
def profile_this(methods, setup='', niter=10 ** 4, p_globals=None, **kwargs):
if p_globals is not None:
print('globals: {0}, tested {1:.0e} times'.format(p_globals, niter))
timings = np.array([timeit.timeit(method, setup=setup, number=niter,
globals=p_globals, **kwargs) for
method in methods])
ranking = np.argsort(timings)
timings = np.array(timings)[ranking]
methods = np.array(methods)[ranking]
speedups = np.amax(timings) / timings
pd.set_option('html', False)
data = {'time (s)': timings,
'speedup': ['{:.2f}x'.format(s) if 1 != s else '' for s in speedups],
'methods': methods}
data_frame = pd.DataFrame(data, columns=['time (s)', 'speedup', 'methods'])
display(data_frame)
print()
код профилирования
setup = '''import numpy as np; x = np.random.random(n)'''
methods = (
'''y = np.zeros(n, dtype=x.dtype); y[:] = x''',
'''y = np.zeros_like(x); y[:] = x''',
'''y = np.empty(n, dtype=x.dtype); y[:] = x''',
'''y = np.empty_like(x); y[:] = x''',
'''y = np.copy(x)''',
'''y = x.astype(x.dtype)''',
'''y = 1*x''',
'''y = np.empty_like(x); np.copyto(y, x)''',
'''y = np.empty_like(x); np.copyto(y, x, casting='no')''',
'''y = np.empty(n)\nfor i in range(x.size):\n\ty[i] = x[i]'''
)
for n, it in ((2, 6), (3, 6), (3.8, 6), (4, 6), (5, 5), (6, 4.5)):
profile_this(methods[:-1:] if n > 2 else methods, setup,
niter=int(10 ** it), p_globals={'n': int(10 ** n)})
результаты для Windows 7 на процессоре Intel i7, CPython v3.5.0, numpy v1.10.1.
Также см. Результаты для варианта профилирования, в котором память назначения уже заранее выделена во время копирования значения, поскольку y = np.empty_like(x)это часть настройки:
x.copy()работает так же быстро, как np.array(x)и мне гораздо больше нравится синтаксис: $ python3 -m timeit -s "import numpy as np; x = np.random.random((100, 100))" "x.copy()"- 100000 loops, best of 3: 4.7 usec per loop. У меня есть аналогичные результаты для np.array(x). Протестировано на Linux с i5-4210U и numpy 1.10.4
np.copyболее прощая: np.copy(False), до np.copy(None)сих пор работают, в то время как a = None; a.copy()броски AttributeError: 'NoneType' object has no attribute 'copy'. Кроме того, мы более точно объявляем, что мы хотим, в этой строке кода, используя функцию вместо синтаксиса метода.
np.copy(None)не выкидывает ошибку действительно непифонично. Еще одна причина использовать a.copy():)
y[:] = xтеперь они немного быстрее, чем copyto(y, x). Код и вывод на gist.github.com/bhawkins/7cdbd5b9372cb798e34e21f92279d2dc
вы можете легко использовать:
b = 1*a
это самый быстрый способ, но есть и некоторые проблемы. Если вы не определяете Непосредственно dtypeиз aа также не проверяет dtypeиз bвас может попасть в беду. Например:
a = np.arange(10) # dtype = int64
b = 1*a # dtype = int64
a = np.arange(10.) # dtype = float64
b = 1*a # dtype = float64
a = np.arange(10) # dtype = int64
b = 1. * a # dtype = float64
Я надеюсь, что смогу прояснить суть дела. Иногда вы можете изменить тип данных всего за одну небольшую операцию.
a = numpy.zeros(len(b))или a = numpy.empty(n,dtype=complex)также создаст новый массив.
Вы можете делать много разных вещей:
a=np.copy(b)
a=np.array(b) # Does exactly the same as np.copy
a[:]=b # a needs to be preallocated
a=b[np.arange(b.shape[0])]
a=copy.deepcopy(b)
Вещи, которые не работают
a=b
a=b[:] # This have given my code bugs