/etc/security/limits.conf soft nproc limit, кажется, игнорируется

В моей базе данных MongoDB возникли проблемы под нагрузкой, со следующими ошибками в журналах:

[initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable
[initandlisten] can't create new thread, closing connection

Я пришел к выводу, что мне нужно повысить настройку «ulimit -u» или «Max процессов», которая была на уровне 1024, и использование могло бы быть больше, чем при запущенных веб-интерфейсах (не знаю, как это проверить) ,

Я отредактировал /etc/security/limits.conf, чтобы добавить две последние строки (первые две уже были там):

*                soft    nofile          350000
*                hard    nofile          350000
*                soft    nproc           30000
*                hard    nproc           30000

Затем я перезагрузил систему (кстати, я должен был это сделать или достаточно перезапустить службу mongod?)

После перезагрузки, просматривая ограничения процесса для mongod, кажется, что мягкий предел был проигнорирован:

$ cat /proc/2207/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             1024                 30000                processes
Max open files            350000               350000               files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       273757               273757               signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

$ whoami
mongod


$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 273757
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 350000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Я ожидал, что «Максимальное количество процессов» как в жестких, так и в мягких пределах будет на уровне 30000 в соответствии с файлом /etc/security/limits.conf, но только в жестких.

Что я делаю неправильно?

Я использую Amazon Linux на AWS EC2.

bash-4.1$ cat /etc/*-release
Amazon Linux AMI release 2012.09

— Джон М
источник

Посмотри в /etc/security/conf.d/? Иногда там есть файл, который переопределяет то, что установлено в главном limit.conf.

— dmourati

dmourati, спасибо, вы были правы (так же, как Скотт Макинир).

— Джон М

Ответы:

Проверьте файл /etc/security/limits.d/90-nproc.conf, так как это, вероятно, переопределяет ваши настройки. Я писал об этом точно так же в прошлом году http://scott.cm/max-processes-1024-limits-conf/

— Скотт Макинтайр
источник

Спасибо, похоже, так оно и было. Вы также можете сказать мне, достаточно ли просто перезапуска процесса "mongod", чтобы он прочитал новые настройки?

— Джон М

Да, как только вы измените лимит, все, что вам нужно будет сделать, это перезапустить процесс Mongod, и он прочитает новые лимиты.

— Скотт Макинтайр

Спасибо, это сработало, оба предела теперь на 30000. Большое спасибо за вашу помощь, Скотт!

— Джон М

Вместо того, чтобы редактировать системный файл, я рекомендую создать файл, /etc/security/limits.d/который начинается с 99_local(чтобы показать, что вы его создали) и переопределить все, что вы хотите там.

— Аластер Ирвин

Вы можете попытаться изменить значение ulimit в начале скрипта, который запускает базу данных mongodb.

Дочерний процесс наследует ограничения ресурсов от вызывающего процесса.

— Gooseman
источник

Я хотел бы изменить глобальное значение. Это сработало для nofile и для жесткого ограничения nproc, но не для мягкого ограничения nproc.

— Джон М