Простой способ измерить время выполнения ячейки в блокноте ipython

Я хотел бы получить время, затраченное на выполнение ячейки, в дополнение к исходному выводу из ячейки.

С этой целью я пытался, %%timeit -r1 -n1но он не раскрывает переменную, определенную в ячейке.

%%time работает для ячейки, которая содержит только 1 оператор.

In[1]: %%time
       1
CPU times: user 4 µs, sys: 0 ns, total: 4 µs
Wall time: 5.96 µs
Out[1]: 1

In[2]: %%time
       # Notice there is no out result in this case.
       x = 1
       x
CPU times: user 3 µs, sys: 0 ns, total: 3 µs
Wall time: 5.96 µs

Какой лучший способ сделать это?

Обновить

Я использую время выполнения в Nbextension уже довольно давно. Это просто супер.

Используйте магию клеток и этот проект на github от Phillip Cloud:

Загрузите его, поместив в верхнюю часть записной книжки или в файл конфигурации, если вы всегда хотите загрузить его по умолчанию:

%install_ext https://raw.github.com/cpcloud/ipython-autotime/master/autotime.py
%load_ext autotime

Если загружено, каждый вывод последующего выполнения ячейки будет включать время в минутах и ​​секундах, которое потребовалось для его выполнения.

Единственный способ, который я нашел, чтобы преодолеть эту проблему, - выполнить последнее утверждение с помощью print.

Не забывайте, что клеточная магия начинается с, %%а магическая линия начинается с %.

%%time
clf = tree.DecisionTreeRegressor().fit(X_train, y_train)
res = clf.predict(X_test)
print(res)

Обратите внимание, что любые изменения, выполненные внутри ячейки, не учитываются в следующих ячейках, что противоречит интуитивно понятному при наличии конвейера:

%timeи %timeitтеперь входите в состав встроенных магических команд ipython

Более простой способ - использовать плагин ExecuteTime в пакете jupyter_contrib_nbextensions.

pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
jupyter nbextension enable execute_time/ExecuteTime

Я просто добавил %%timeв начале ячейки и получил время. Вы можете использовать то же самое в кластере Jupyter Spark / Виртуальной среде, используя то же самое. Просто добавьте %%timeвверху ячейки, и вы получите вывод. На искровом кластере с использованием Jupyter я добавил верхнюю часть ячейки и получил вывод, как показано ниже: -

[1]  %%time
     import pandas as pd
     from pyspark.ml import Pipeline
     from pyspark.ml.classification import LogisticRegression
     import numpy as np
     .... code ....

Output :-

CPU times: user 59.8 s, sys: 4.97 s, total: 1min 4s
Wall time: 1min 18s

import time
start = time.time()
"the code you want to test stays here"
end = time.time()
print(end - start)

Вы можете использовать timeitмагическую функцию для этого.

%timeit CODE_LINE

Или на камеру

%%timeit 

SOME_CELL_CODE

Проверьте больше магических функций IPython на https://nbviewer.jupyter.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell%20Magics.ipynb

Это не совсем красиво, но без дополнительного программного обеспечения

class timeit():
    from datetime import datetime
    def __enter__(self):
        self.tic = self.datetime.now()
    def __exit__(self, *args, **kwargs):
        print('runtime: {}'.format(self.datetime.now() - self.tic))

Тогда вы можете запустить его так:

with timeit():
    # your code, e.g., 
    print(sum(range(int(1e7))))

% 49999995000000
% runtime: 0:00:00.338492

Иногда форматирование в ячейке отличается при использовании print(res), но jupyter / ipython поставляется с display. Смотрите пример разницы форматирования с использованием панд ниже.

%%time
import pandas as pd 
from IPython.display import display

df = pd.DataFrame({"col0":{"a":0,"b":0}
              ,"col1":{"a":1,"b":1}
              ,"col2":{"a":2,"b":2}
             })

#compare the following
print(df)
display(df)

displayОператор может сохранить форматирование.

Вы также можете заглянуть в магическую команду профилирования Python, %prunкоторая дает что-то вроде -

def sum_of_lists(N):
    total = 0
    for i in range(5):
        L = [j ^ (j >> i) for j in range(N)]
        total += sum(L)
    return total

затем

%prun sum_of_lists(1000000)

вернется

14 function calls in 0.714 seconds  

Ordered by: internal time      

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    5    0.599    0.120    0.599    0.120 <ipython-input-19>:4(<listcomp>)
    5    0.064    0.013    0.064    0.013 {built-in method sum}
    1    0.036    0.036    0.699    0.699 <ipython-input-19>:1(sum_of_lists)
    1    0.014    0.014    0.714    0.714 <string>:1(<module>)
    1    0.000    0.000    0.714    0.714 {built-in method exec}

Я считаю это полезным при работе с большими кусками кода.

Когда в беде, что значит что:

?%timeit или ??timeit

Чтобы получить детали:

Usage, in line mode:
  %timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] statement
or in cell mode:
  %%timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] setup_code
  code
  code...

Time execution of a Python statement or expression using the timeit
module.  This function can be used both as a line and cell magic:

- In line mode you can time a single-line statement (though multiple
  ones can be chained with using semicolons).

- In cell mode, the statement in the first line is used as setup code
  (executed but not timed) and the body of the cell is timed.  The cell
  body has access to any variables created in the setup code.

Если вы хотите напечатать время выполнения ячеек на стене, это хитрость, используйте

%%time
<--code goes here-->

но здесь убедитесь, что %% time - волшебная функция, поэтому поместите ее в первую строку в своем коде .

если вы поместите его после какой-то строки кода, это приведет к ошибке при использовании и не сработает.