Как заполнить 90% свободной памяти?

Я хочу провести небольшое тестирование ресурсов, и для этого мне нужно заполнить 90% свободной памяти.

Как я могу сделать это в *nixсистеме?

стресс-нг - это генератор рабочей нагрузки, который имитирует нагрузку cpu / mem / io / hdd в системах POSIX. Этот вызов должен сделать трюк в Linux <3.14:

stress-ng --vm-bytes $(awk '/MemFree/{printf "%d\n", $2 * 0.9;}' < /proc/meminfo)k --vm-keep -m 1

Для Linux> = 3.14 вы можете MemAvailableвместо этого использовать оценку доступной памяти для новых процессов без замены:

stress-ng --vm-bytes $(awk '/MemAvailable/{printf "%d\n", $2 * 0.9;}' < /proc/meminfo)k --vm-keep -m 1

Адаптируйте /proc/meminfoвызов с помощью free(1)/ vm_stat(1)/ etc. если вам нужно это портативный.

Вы можете записать программу на C malloc()в требуемую память, а затем использовать ее mlock()для предотвращения замены памяти.

Затем просто дайте программе подождать ввода с клавиатуры, разблокируйте память, освободите память и выйдите.

Я бы предложил запустить виртуальную машину с ограниченной памятью и протестировать программное обеспечение, которое было бы более эффективным, чем попытка заполнить память на хост-машине.

Этот метод также имеет то преимущество, что если ситуация с нехваткой памяти вызывает ошибки OOM в другом месте и приводит к зависанию всей ОС, вы вешаете только проверяемую виртуальную машину, а не свою машину, на которой могут выполняться другие полезные процессы.

Кроме того, если ваше тестирование не требует значительных ресурсов процессора или ввода-вывода, вы можете одновременно запускать экземпляры тестов на семействе виртуальных машин с различными объемами памяти.

Из этого комментария HN: https://news.ycombinator.com/item?id=6695581

Просто заполните / dev / shm через dd или аналогичный.

swapoff -a
dd if=/dev/zero of=/dev/shm/fill bs=1k count=1024k

1. запустить Linux;
2. загрузка с mem=nn[KMG]параметром загрузки ядра

(подробности смотрите в linux / Documentation / kernel-parameters.txt).

Если у вас есть основные инструменты GNU ( sh, grep, yesи head) , вы можете сделать это:

yes | tr \\n x | head -c $BYTES | grep n
# Protip: use `head -c $((1024*1024*2))` to calculate 2MB easily

Это работает, потому что grep загружает всю строку данных в ОЗУ (я узнал об этом довольно неудачным образом, когда копировал образ диска). Линии, генерируется yes, замещающие символами новой строки, будут бесконечно долго, но ограничены headв $BYTESбайты, таким образом , Grep будет загружать $ Байт в памяти. Сам Grep использует как 100-200KB для меня, возможно, вам придется вычесть это для более точной суммы.

Если вы также хотите добавить ограничение по времени, это можно сделать довольно легко в bash(не будет работать sh):

cat <(yes | tr \\n x | head -c $BYTES) <(sleep $NumberOfSeconds) | grep n

Эта <(command)вещь, кажется, малоизвестна, но часто чрезвычайно полезна, больше информации об этом здесь: http://tldp.org/LDP/abs/html/process-sub.html

Затем для использования cat: catбудет ждать завершения ввода до выхода, а если оставить один из каналов открытым, он сохранит работу grep.

Если у вас есть pvи вы хотите медленно увеличивать использование оперативной памяти:

yes | tr \\n x | head -c $BYTES | pv -L $BYTESPERSEC | grep n

Например:

yes | tr \\n x | head -c $((1024*1024*1024)) | pv -L $((1024*1024)) | grep n

Будет использовать до гигабайта со скоростью 1 МБ в секунду. В качестве дополнительного бонуса, pvпокажет вам текущий уровень использования и общее использование на данный момент. Конечно, это также может быть сделано с предыдущими вариантами:

yes | tr \\n x | head -c $BYTES | pv | grep n

Просто вставка | pv |части покажет вам текущее состояние (пропускная способность и общее количество, по умолчанию, я думаю - в противном случае смотрите страницу man (ual)).

Почему другой ответ? В принятом ответе рекомендуется установить пакет (держу пари, что для каждого набора микросхем есть релиз, не требующий менеджера пакетов); В ответе, получившем наибольшее количество голосов, рекомендуется компилировать программу на Си (у меня не было компилятора или набора инструментов для компиляции для вашей целевой платформы); во втором ответе с наибольшим количеством голосов рекомендуется запустить приложение на виртуальной машине (да, я просто добавлю внутреннюю SD-карту этого телефона через USB или что-то еще и создаю образ виртуальной коробки); третий предлагает модифицировать что-то в последовательности загрузки, которая не заполняет RAM должным образом; четвертый работает только в том случае, если точка монтирования / dev / shm (1) существует и (2) велика (для перемонтирования требуется root); пятый сочетает в себе многие из вышеперечисленных без примера кода; шестой - отличный ответ, но я не видел его до того, как придумал свой собственный подход, поэтому я решил добавить свою собственную, в том числе и потому, что ее короче запомнить или напечатать, если вы не видите, что линия мембраны - это суть дела; седьмой снова не отвечает на вопрос (вместо него используется ulimit для ограничения процесса); восьмой пытается заставить вас установить python; Девятый думает, что мы все очень не творческие, и, наконец, десятый написал свою собственную программу на C ++, которая вызывает ту же проблему, что и ответ с наибольшим количеством голосов.

У меня есть функция для создания чего-то похожего в моих точечных файлах. https://github.com/sagotsky/.dotfiles/blob/master/.functions#L248

function malloc() {
  if [[ $# -eq 0 || $1 -eq '-h' || $1 -lt 0 ]] ; then
    echo -e "usage: malloc N\n\nAllocate N mb, wait, then release it."
  else 
    N=$(free -m | grep Mem: | awk '{print int($2/10)}')
    if [[ $N -gt $1 ]] ;then 
      N=$1
    fi
    sh -c "MEMBLOB=\$(dd if=/dev/urandom bs=1MB count=$N) ; sleep 1"
  fi
}

Как найти простое решение на Python?

#!/usr/bin/env python

import sys
import time

if len(sys.argv) != 2:
    print "usage: fillmem <number-of-megabytes>"
    sys.exit()

count = int(sys.argv[1])

megabyte = (0,) * (1024 * 1024 / 8)

data = megabyte * count

while True:
    time.sleep(1)

Как насчет ramfs, если он существует? Смонтировать и скопировать большой файл? Если нет /dev/shmи нет ramfs - я думаю, крошечная C-программа, которая делает большой malloc на основе некоторого входного значения? Возможно, придется запускать его несколько раз одновременно на 32-битной системе с большим объемом памяти.

Если вы хотите протестировать определенный процесс с ограниченной памятью, вам лучше использовать ulimitограниченный объем выделяемой памяти.

Я думаю, что это тот случай, когда задают неправильный вопрос, и люди, борющиеся за самый креативный ответ, заглушают здравомыслие. Если вам нужно только имитировать условия ООМ, вам не нужно заполнять память. Просто используйте пользовательский распределитель, и он завершится ошибкой после определенного количества распределений. Этот подход, кажется, работает достаточно хорошо для SQLite .

Я написал эту маленькую C ++ программу для этого: https://github.com/rmetzger/dynamic-ballooner

Преимущество этой реализации заключается в том, что она периодически проверяет, нужно ли освободить или перераспределить память.