Вы можете ограничить использование памяти с помощью /etc/security/limits.conf в этом файле, который вы поместите:
domain type item value
где domainесть @groupname, typeесть hardили softгде hardесть Нт , который не может быть превышен ни при каких обстоятельствах.
itemПоле элемента указывает, какой тип элемента ограничен. Примеры включают в себя core (размер основных файлов), data (размер области данных программы), fsize (размер файлов, создаваемых пользователем), nofile (количество открытых файлов данных), rss (резидентный набор size), stack (размер стека), cpu (время процессора одного процесса в минутах), nproc (количество одновременных процессов), maxlogins (количество одновременных входов в систему) и приоритет (приоритет процесса). Элементы данных, rss и стека относятся к памяти, используемой программой. Эти и другие показатели емкости данных измеряются в килобайтах.
и valueотносится к itemобласти, которую вы выбрали, например, если вы выбрали cpuв itemполе и вставили 2в значение valuethen, если domain(ваша группа VirtualBox) занимает больше 2времени процессора, оно будет прервано.
Вы также можете использовать ulimit, но это ограничено только оболочкой bash.
Надеюсь, что это поможет вам в вашей цели, хотя это не сделано с помощью метода, который вы просили.