Перезагрузка субмодулей в IPython

В настоящее время я работаю над проектом на Python, который содержит подмодули и использует numpy / scipy. Ipython используется в качестве интерактивной консоли. К сожалению, я не очень доволен рабочим процессом, который я использую сейчас, я был бы признателен за некоторые советы.

В IPython фреймворк загружается простой importкомандой. Однако часто бывает необходимо изменить код в одном из подмодулей фреймворка. На данный момент модель уже загружена, и я использую IPython для взаимодействия с ней.

Теперь фреймворк содержит много модулей, которые зависят друг от друга, то есть, когда фреймворк изначально загружен, основной модуль импортирует и конфигурирует субмодули. Изменения в коде выполняются только в том случае, если модуль перезагружается с помощью reload(main_mod.sub_mod). Это громоздко, так как мне нужно перезагрузить все измененные модули индивидуально, используя полный путь. Было бы очень удобно, если reload(main_module)бы также перезагрузить все подмодули, но без перезагрузки numpy / scipy ..

IPython поставляется с некоторой магией автоматической перезагрузки :

%load_ext autoreload
%autoreload 2

Он будет перезагружать все измененные модули каждый раз перед выполнением новой строки. То, как это работает, немного отличается от dreload. Применяются некоторые предостережения, напечатайте, %autoreload?чтобы увидеть, что может пойти не так.

Если вы хотите всегда включать эти настройки, измените файл конфигурации IPython ~/.ipython/profile_default/ipython_config.py[1] и добавьте:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Кредит @Kos через комментарий ниже.

[1] Если у вас нет файла ~/.ipython/profile_default/ipython_config.py, ipython profile createсначала вам нужно позвонить . Или файл может быть расположен в $IPYTHONDIR.

В IPython 0.12 (и, возможно, ранее) вы можете использовать это:

%load_ext autoreload
%autoreload 2

По сути это то же самое, что и ответ от pv. , за исключением того, что расширение было переименовано и теперь загружается с использованием %load_ext.

По какой-то причине ни %autoreload, ни, dreloadпохоже , не работает для ситуации, когда вы импортируете код из одного ноутбука в другой . reloadРаботает только обычный Python :

reload(module)

На основании [1] .

IPython предлагает dreload()рекурсивно перезагрузить все подмодули. Лично я предпочитаю использовать %run()магическую команду (хотя она не выполняет глубокую перезагрузку, как указал Джон Сальватье в комментариях).

Модуль с именем importlibразрешает доступ к внутренним объектам импорта. Особенно, это обеспечивает функцию importlib.reload():

import importlib
importlib.reload(my_module)

В отличие от %autoreload,importlib.reload() также сбросить глобальные переменные, установленные в модуле. В большинстве случаев это то, что вы хотите.

importlibдоступно только с Python 3.1. Для более старой версии вы должны использовать модуль imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Чтобы не вводить эти магические функции снова и снова, их можно поместить в сценарий запуска ipython (назовите его суффиксом .py в .ipython / profile_default / startup. Все сценарии python в этой папке будут загружены в соответствии с лексическим порядком), что выглядит следующим образом:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Как насчет этого:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Это должно эффективно перезагрузить все дерево модулей и подмодулей, которые вы ему даете. Вы также можете поместить эту функцию в ваш .ipythonrc (я думаю), чтобы она загружалась каждый раз, когда вы запускаете интерпретатор.

Другой вариант:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Проверено на ipython и ipython3 v5.1.0 на Ubuntu 14.04.

Моя стандартная практика для перезагрузки состоит в том, чтобы объединить оба метода после первого открытия IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Загрузка модулей перед выполнением этого приведет к тому, что они не будут перезагружены, даже с руководством reload(module_name). Я все еще очень редко получаю необъяснимые проблемы с методами класса, не перезагружающими, что я еще не изучал.

Обратите внимание, что вышеупомянутое autoreloadработает только в IntelliJ, если вы вручную сохраняете измененный файл (например, используя ctrl + s или cmd + s). Кажется, он не работает с автосохранением.

На Jupyter Notebooks об Анаконде, сделав это:

%load_ext autoreload
%autoreload 2

произвел сообщение:

Расширение автозагрузки уже загружено. Чтобы перезагрузить его, используйте: %reload_ext autoreload

Похоже, это лучше сделать:

%reload_ext autoreload
%autoreload 2

Информация о версии:

Версия сервера ноутбука - 5.0.0 и работает на: Python 3.6.2 | Anaconda, Inc. | (по умолчанию, 20 сентября 2017 г., 13:35:58) [MSC v.1900 32 бит (Intel)]

Любые подобъекты не будут перезагружены этим, я полагаю, что для этого нужно использовать глубокую загрузку IPython.