ОБНОВЛЕНИЕ : превратили мое решение в автономный скрипт Python.
Это решение меня не раз спасало. Надеюсь, другие сочтут это полезным. Этот скрипт python найдет любое ядро jupyter, использующее не только cpu_threshold
процессор, и предложит пользователю отправить SIGINT
ядру (KeyboardInterrupt). Он будет продолжать отправку, SIGINT
пока использование процессора ядром не станет ниже cpu_threshold
. Если имеется несколько некорректно работающих ядер, пользователю будет предложено прервать каждое из них (упорядоченное по самой низкой загрузке ЦП). Большое спасибо gcbeltramini за написание кода для поиска имени ядра jupyter с помощью jupyter api. Этот скрипт был протестирован на MACOS с python3 и требует jupyter notebook, запросов, json и psutil.
Поместите скрипт в свой домашний каталог, и тогда использование будет выглядеть так:
python ~/interrupt_bad_kernels.py
Interrupt kernel chews cpu.ipynb; PID: 57588; CPU: 2.3%? (y/n) y
Код скрипта ниже:
from os import getpid, kill
from time import sleep
import re
import signal
from notebook.notebookapp import list_running_servers
from requests import get
from requests.compat import urljoin
import ipykernel
import json
import psutil
def get_active_kernels(cpu_threshold):
"""Get a list of active jupyter kernels."""
active_kernels = []
pids = psutil.pids()
my_pid = getpid()
for pid in pids:
if pid == my_pid:
continue
try:
p = psutil.Process(pid)
cmd = p.cmdline()
for arg in cmd:
if arg.count('ipykernel'):
cpu = p.cpu_percent(interval=0.1)
if cpu > cpu_threshold:
active_kernels.append((cpu, pid, cmd))
except psutil.AccessDenied:
continue
return active_kernels
def interrupt_bad_notebooks(cpu_threshold=0.2):
"""Interrupt active jupyter kernels. Prompts the user for each kernel."""
active_kernels = sorted(get_active_kernels(cpu_threshold), reverse=True)
servers = list_running_servers()
for ss in servers:
response = get(urljoin(ss['url'].replace('localhost', '127.0.0.1'), 'api/sessions'),
params={'token': ss.get('token', '')})
for nn in json.loads(response.text):
for kernel in active_kernels:
for arg in kernel[-1]:
if arg.count(nn['kernel']['id']):
pid = kernel[1]
cpu = kernel[0]
interrupt = input(
'Interrupt kernel {}; PID: {}; CPU: {}%? (y/n) '.format(nn['notebook']['path'], pid, cpu))
if interrupt.lower() == 'y':
p = psutil.Process(pid)
while p.cpu_percent(interval=0.1) > cpu_threshold:
kill(pid, signal.SIGINT)
sleep(0.5)
if __name__ == '__main__':
interrupt_bad_notebooks()