Как получить использование памяти во время выполнения с помощью C ++?

90

Мне нужно получить использование памяти VIRT и RES во время выполнения моей программы и отобразить их.

Что я пробовал до сих пор:

getrusage ( http://linux.die.net/man/2/getrusage )

int who = RUSAGE_SELF; 
struct rusage usage; 
int ret; 

ret=getrusage(who,&usage);

cout<<usage.ru_maxrss;

но я всегда получаю 0.

c++  linux  memory-management 
— jww
источник
3
Это зависит от системы - похоже, ваша система не поддерживает сообщение maxrss через getrusage - вы можете сказать нам, какой дистрибутив вы используете?
— tvanfosson

Ответы:

79

В Linux я никогда не находил решения ioctl () . Для наших приложений мы написали общую служебную программу, основанную на чтении файлов в / proc / pid . Есть несколько таких файлов, которые дают разные результаты. Вот тот, на котором мы остановились (вопрос был помечен как C ++, и мы обрабатывали ввод-вывод с помощью конструкций C ++, но он должен быть легко адаптирован к подпрограммам ввода-вывода C, если вам нужно):

#include <unistd.h>
#include <ios>
#include <iostream>
#include <fstream>
#include <string>

//////////////////////////////////////////////////////////////////////////////
//
// process_mem_usage(double &, double &) - takes two doubles by reference,
// attempts to read the system-dependent data for a process' virtual memory
// size and resident set size, and return the results in KB.
//
// On failure, returns 0.0, 0.0

void process_mem_usage(double& vm_usage, double& resident_set)
{
   using std::ios_base;
   using std::ifstream;
   using std::string;

   vm_usage     = 0.0;
   resident_set = 0.0;

   // 'file' stat seems to give the most reliable results
   //
   ifstream stat_stream("/proc/self/stat",ios_base::in);

   // dummy vars for leading entries in stat that we don't care about
   //
   string pid, comm, state, ppid, pgrp, session, tty_nr;
   string tpgid, flags, minflt, cminflt, majflt, cmajflt;
   string utime, stime, cutime, cstime, priority, nice;
   string O, itrealvalue, starttime;

   // the two fields we want
   //
   unsigned long vsize;
   long rss;

   stat_stream >> pid >> comm >> state >> ppid >> pgrp >> session >> tty_nr
               >> tpgid >> flags >> minflt >> cminflt >> majflt >> cmajflt
               >> utime >> stime >> cutime >> cstime >> priority >> nice
               >> O >> itrealvalue >> starttime >> vsize >> rss; // don't care about the rest

   stat_stream.close();

   long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
   vm_usage     = vsize / 1024.0;
   resident_set = rss * page_size_kb;
}

int main()
{
   using std::cout;
   using std::endl;

   double vm, rss;
   process_mem_usage(vm, rss);
   cout << "VM: " << vm << "; RSS: " << rss << endl;
}
— Дон Уэйкфилд
источник
есть ли у вас какие-либо гарантии относительно структуры / proc / self / stat на разных платформах * nix? ... Не уверен, но если да - будет приятно.
— bayda
Что ж, на протяжении многих лет я в основном использовал Solaris, HP-UX и Linux. / proc / self / stat кажется Linux-ism. В исходной версии программы выше были блоки #if для Solaris, поскольку она отличалась.
— Дон Уэйкфилд,
Я предполагаю, что OP заботится только о Linux на основе тегов вопросов. Чтение / proc будет примерно таким же хорошим, как и у вас. В Solaris вы также можете получать информацию о всевозможных вещах через kstat (хотя он часто повторяет то, что вы можете получить другими способами).
— stsquad
Я опоздал на вечеринку всего на 10 лет, но не могли бы вы сказать мне, почему вы делите vsize на 1024.0, а не на 1024?
— a_river_in_canada
1
re: why 1024.0?- Он говорит компилятору преобразовать в double FIRST, а затем выполнить деление, чтобы получить двойной результат. Другой вариант: vm_usage = vsize / 1024;сначала будет делить (теряя точность, как указано в @DonWakefield), а затем преобразовать в double.
— Джесси Чизхолм
52

Дэвид Роберт Надо разместил на своем веб-сайте хорошую автономную многоплатформенную функцию C, чтобы получить размер резидентного набора процесса (использование физической памяти) :

/*
 * Author:  David Robert Nadeau
 * Site:    http://NadeauSoftware.com/
 * License: Creative Commons Attribution 3.0 Unported License
 *          http://creativecommons.org/licenses/by/3.0/deed.en_US
 */

#if defined(_WIN32)
#include <windows.h>
#include <psapi.h>

#elif defined(__unix__) || defined(__unix) || defined(unix) || (defined(__APPLE__) && defined(__MACH__))
#include <unistd.h>
#include <sys/resource.h>

#if defined(__APPLE__) && defined(__MACH__)
#include <mach/mach.h>

#elif (defined(_AIX) || defined(__TOS__AIX__)) || (defined(__sun__) || defined(__sun) || defined(sun) && (defined(__SVR4) || defined(__svr4__)))
#include <fcntl.h>
#include <procfs.h>

#elif defined(__linux__) || defined(__linux) || defined(linux) || defined(__gnu_linux__)
#include <stdio.h>

#endif

#else
#error "Cannot define getPeakRSS( ) or getCurrentRSS( ) for an unknown OS."
#endif





/**
 * Returns the peak (maximum so far) resident set size (physical
 * memory use) measured in bytes, or zero if the value cannot be
 * determined on this OS.
 */
size_t getPeakRSS( )
{
#if defined(_WIN32)
    /* Windows -------------------------------------------------- */
    PROCESS_MEMORY_COUNTERS info;
    GetProcessMemoryInfo( GetCurrentProcess( ), &info, sizeof(info) );
    return (size_t)info.PeakWorkingSetSize;

#elif (defined(_AIX) || defined(__TOS__AIX__)) || (defined(__sun__) || defined(__sun) || defined(sun) && (defined(__SVR4) || defined(__svr4__)))
    /* AIX and Solaris ------------------------------------------ */
    struct psinfo psinfo;
    int fd = -1;
    if ( (fd = open( "/proc/self/psinfo", O_RDONLY )) == -1 )
        return (size_t)0L;      /* Can't open? */
    if ( read( fd, &psinfo, sizeof(psinfo) ) != sizeof(psinfo) )
    {
        close( fd );
        return (size_t)0L;      /* Can't read? */
    }
    close( fd );
    return (size_t)(psinfo.pr_rssize * 1024L);

#elif defined(__unix__) || defined(__unix) || defined(unix) || (defined(__APPLE__) && defined(__MACH__))
    /* BSD, Linux, and OSX -------------------------------------- */
    struct rusage rusage;
    getrusage( RUSAGE_SELF, &rusage );
#if defined(__APPLE__) && defined(__MACH__)
    return (size_t)rusage.ru_maxrss;
#else
    return (size_t)(rusage.ru_maxrss * 1024L);
#endif

#else
    /* Unknown OS ----------------------------------------------- */
    return (size_t)0L;          /* Unsupported. */
#endif
}





/**
 * Returns the current resident set size (physical memory use) measured
 * in bytes, or zero if the value cannot be determined on this OS.
 */
size_t getCurrentRSS( )
{
#if defined(_WIN32)
    /* Windows -------------------------------------------------- */
    PROCESS_MEMORY_COUNTERS info;
    GetProcessMemoryInfo( GetCurrentProcess( ), &info, sizeof(info) );
    return (size_t)info.WorkingSetSize;

#elif defined(__APPLE__) && defined(__MACH__)
    /* OSX ------------------------------------------------------ */
    struct mach_task_basic_info info;
    mach_msg_type_number_t infoCount = MACH_TASK_BASIC_INFO_COUNT;
    if ( task_info( mach_task_self( ), MACH_TASK_BASIC_INFO,
        (task_info_t)&info, &infoCount ) != KERN_SUCCESS )
        return (size_t)0L;      /* Can't access? */
    return (size_t)info.resident_size;

#elif defined(__linux__) || defined(__linux) || defined(linux) || defined(__gnu_linux__)
    /* Linux ---------------------------------------------------- */
    long rss = 0L;
    FILE* fp = NULL;
    if ( (fp = fopen( "/proc/self/statm", "r" )) == NULL )
        return (size_t)0L;      /* Can't open? */
    if ( fscanf( fp, "%*s%ld", &rss ) != 1 )
    {
        fclose( fp );
        return (size_t)0L;      /* Can't read? */
    }
    fclose( fp );
    return (size_t)rss * (size_t)sysconf( _SC_PAGESIZE);

#else
    /* AIX, BSD, Solaris, and Unknown OS ------------------------ */
    return (size_t)0L;          /* Unsupported. */
#endif
}

Применение

size_t currentSize = getCurrentRSS( );
size_t peakSize    = getPeakRSS( );

Для более подробного обсуждения посетите веб-сайт, он также предоставляет функцию для получения размера физической памяти системы .

— перец чико
источник
2
Лучше бы добавить #pragma comment(lib, "psapi.lib")в #if defined(_WIN32)сферу.
— Bloodmoon
1
@Bloodmon, а что, если кто-то использует Windows, но не компилятор Microsoft? Эта прагма приведет к сбою компилятора.
— Адриан
В этом коде используется rusage :: ru_maxrss из getrusage, который OP сообщил, что у нее не работает.
— facetus
22

Старый:

maxrss указывает максимально доступную память для процесса. 0 означает, что процесс не ограничен. Вероятно, вы хотите использовать нераспределенные данные ru_idrss.

Новое: похоже, что вышесказанное на самом деле не работает, поскольку ядро ​​не заполняет большинство значений. Что действительно работает, так это получить информацию от proc. Однако, вместо того, чтобы разбираться самостоятельно, проще использовать libproc (часть procps) следующим образом:

// getrusage.c
#include <stdio.h>
#include <proc/readproc.h>

int main() {
  struct proc_t usage;
  look_up_our_self(&usage);
  printf("usage: %lu\n", usage.vsize);
}

Скомпилировать с " gcc -o getrusage getrusage.c -lproc"

— Поль де Вриз
источник
1
За исключением того, что в Linux нет ни одного поля.
— jmanning2k 03
2
Это неверно. maxrss - это пиковое использование памяти процессом, а не максимально доступный - это будет getrlimit (RLIMIT_DATA, & rl).
— jmanning2k 03
2
#include <proc/readproc.h>Решение работало большое для меня под Ubuntu. Пришлось установить пакет libproc-dev. usage.vm_dataдостаточно близко к тому, что мне нужно. Ваш выбор статистики памяти задокументирован здесь: все /usr/include/proc/readproc.hте, которые я пробовал, кажутся байтами, а не страницами. Я не думаю, что в моем процессе использовалось 46 миллионов страниц. Комментарии о том, что это решение не работает под Linux, кажутся ошибочными.
— Аллан Стоукс,
2
Правильный компоновщик: -lprocps
— Sembiance
1
Отлично работает, это должен быть принятый ответ!
— Пеков
8

Более элегантный способ для метода Дона Уэйкфилда:

#include <iostream>
#include <fstream>

using namespace std;

int main(){

    int tSize = 0, resident = 0, share = 0;
    ifstream buffer("/proc/self/statm");
    buffer >> tSize >> resident >> share;
    buffer.close();

    long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
    double rss = resident * page_size_kb;
    cout << "RSS - " << rss << " kB\n";

    double shared_mem = share * page_size_kb;
    cout << "Shared Memory - " << shared_mem << " kB\n";

    cout << "Private Memory - " << rss - shared_mem << "kB\n";
    return 0;
}
— Qsiris
источник
7

Существующие ответы лучше подходят для получения правильного значения, но я могу по крайней мере объяснить, почему getrusage не работает для вас.

мужчина 2 получает:

Приведенная выше структура [rusage] была взята из BSD 4.3 Reno. Не все поля имеют смысл в Linux. Сейчас (Linux 2.4, 2.6) поддерживаются только поля ru_utime, ru_stime, ru_minflt, ru_majflt и ru_nswap.

— jmanning2k
источник
3

в дополнение к вашему способу
вы можете вызвать команду system ps и получить данные об использовании памяти.
или прочтите информацию из / proc / pid (см. структуру PIOCPSINFO)

— байда
источник
PIOCPSINFO на самом деле недоступен ни в одном Linux, который я использовал. Чтение из / proc / pid довольно распространено. Я отправлю в ответ пример кода для Linux ...
— Дон Уэйкфилд,
Да, структуры / proc / pid могут отличаться на разных платформах * nix, но если у вас есть PIOCPSINFO, это не имеет значения. У меня была ситуация, когда эта структура не была определена в какой-то версии Solaris ... В этом случае я использовал вывод ps.
— bayda
2

В вашей системе есть файл с именем /proc/self/statm. Файловая система proc - это псевдофайловая система, которая предоставляет интерфейс для структур данных ядра. Этот файл содержит необходимую информацию в столбцах, где только целые числа разделены пробелами.

Номер столбца:

  1. = общий размер программы (VmSize в / proc / [pid] / status)

  2. = размер резидентного набора (VmRSS в / proc / [pid] / status)

Для получения дополнительной информации см. ССЫЛКУ .

— Якуб Кравчук
источник
1

Я использую другой способ сделать это, и это звучит реалистично. Я получил PID процесса с помощью функции getpid (), а затем использую файл / proc / pid / stat. Я считаю, что 23-й столбец стат-файла - это размер vmsize (см. Сообщение Дона). Вы можете прочитать vmsize из файла в любом месте кода. Если вам интересно, сколько фрагмента кода может использовать память, вы можете прочитать этот файл один раз перед этим фрагментом и один раз после него, и вы можете вычесть их друг из друга.

1

На основе решения Дона В. с меньшим количеством переменных.

void process_mem_usage(double& vm_usage, double& resident_set)
{
    vm_usage     = 0.0;
    resident_set = 0.0;

    // the two fields we want
    unsigned long vsize;
    long rss;
    {
        std::string ignore;
        std::ifstream ifs("/proc/self/stat", std::ios_base::in);
        ifs >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore
                >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore
                >> ignore >> ignore >> vsize >> rss;
    }

    long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
    vm_usage = vsize / 1024.0;
    resident_set = rss * page_size_kb;
}
— ϹοδεMεδιϲ
источник
0

Я искал приложение для Linux для измерения максимального объема используемой памяти. valgrind - отличный инструмент, но он дал мне больше информации, чем я хотел. tstime казался лучшим инструментом, который я мог найти. Он измеряет использование оперативной памяти (RSS и виртуальной). Смотрите этот ответ .

— jtpereyda
источник
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.