Malloc vs new - разные обивки

Я просматриваю чужой код C ++ для нашего проекта, который использует MPI для высокопроизводительных вычислений (10 ^ 5 - 10 ^ 6 ядер). Код предназначен для обеспечения связи между (потенциально) разными машинами на разных архитектурах. Он написал комментарий, в котором говорится примерно следующее:

Обычно мы использовали бы newи delete, но здесь я использую mallocи free. Это необходимо, потому что некоторые компиляторы по-разному дополняют данные при newиспользовании, что приводит к ошибкам при передаче данных между разными платформами. Этого не происходит с malloc.

Это не вписывается ни с чем я знаю от стандартных newпротив mallocвопросов.

В чем разница между new / delete и malloc / free? намекает на идею, что компилятор может вычислять размер объекта по-другому (но тогда почему это отличается от использования sizeof?).

malloc и размещение new vs. new - довольно популярный вопрос, но он говорит только об newиспользовании конструкторов там, где mallocнет, что не имеет отношения к этому.

как malloc понимает выравнивание? говорит, что память гарантированно будет правильно выровнена с любым newили, mallocкак я раньше думал.

Я предполагаю, что когда-то в прошлом он неправильно диагностировал свою собственную ошибку, вывел ее newи mallocдал разное количество отступов, что, по-моему, вероятно, неверно. Но я не могу найти ответ ни в Google, ни в каком-либо предыдущем вопросе.

Помогите мне, StackOverflow, ты моя единственная надежда!

IIRC есть один придирчивый момент. mallocгарантированно вернет адрес, выровненный для любого стандартного типа. ::operator new(n)гарантированно возвращает только адрес, выровненный для любого стандартного типа не больше n , а если Tне является символьным типом, то new T[n]требуется только вернуть адрес, выровненный для T.

Но это актуально только тогда, когда вы играете уловки, зависящие от реализации, например, используете несколько нижних битов указателя для хранения флагов или иным образом полагаетесь на то, что адрес имеет большее выравнивание, чем это строго необходимо.

Это не влияет на заполнение внутри объекта, который обязательно имеет точно такой же макет, независимо от того, как вы распределили память, которую он занимает. Так что сложно понять, как разница может привести к ошибкам при передаче данных.

Есть ли какие-либо признаки того, что автор этого комментария думает об объектах в стеке или глобальных объектах, независимо от того, являются ли они, по его мнению, «дополненными как malloc» или «дополненными как новые»? Это может дать ключ к разгадке того, откуда пришла идея.

Может быть , он смущен, но , возможно, код он о разговоре больше , чем разница между прямой malloc(sizeof(Foo) * n)против new Foo[n]. Может, это больше похоже на:

malloc((sizeof(int) + sizeof(char)) * n);

vs.

struct Foo { int a; char b; }
new Foo[n];

То есть, возможно, он говорит : «Я использую malloc», но означает: «Я вручную упаковываю данные в невыровненные места вместо использования структуры». На самом деле mallocне требуется для того, чтобы вручную упаковать структуру, но если вы не осознаете это, то это меньшая степень путаницы. Необходимо определить структуру данных, передаваемых по сети. Различные реализации будут подушечка данные по- разному , когда структура используется.

Ваш коллега, возможно, имел new[]/delete[]в виду волшебный файл cookie (это информация, которую реализация использует при удалении массива). Однако это не было бы проблемой, если бы использовалось выделение, начинающееся с адреса, возвращенного new[]функцией (в отличие от распределителя).

Упаковка кажется более вероятной. Вариации в ABI могут (например) привести к другому количеству завершающих байтов, добавленных в конце структуры (на это влияет выравнивание, также учитывайте массивы). С помощью malloc можно указать положение структуры и, таким образом, упростить перенос ее в чужой ABI. Эти отклонения обычно предотвращаются путем задания выравнивания и упаковки структур переноса.

Макет объекта не может зависеть от того, был ли он выделен с помощью mallocили new. Оба они возвращают один и тот же тип указателя, и когда вы передаете этот указатель другим функциям, они не узнают, как был выделен объект. sizeof *ptrпросто зависит от объявления ptr, а не от того , как он был назначен.

Я думаю, вы правы. Заполнение выполняется компилятором, а не newили malloc. Замечания по заполнению будут применяться, даже если вы объявили массив или структуру без использования newили mallocвообще. В любом случае, хотя я вижу, как разные реализации newи mallocмогут вызывать проблемы при переносе кода между платформами, я совершенно не понимаю, как они могут вызывать проблемы при передаче данных между платформами.

Когда я хочу управлять компоновкой моей простой старой структуры данных, я использую компиляторы MS Visual #pragma pack(1). Я полагаю, что такая директива прекомпилятора поддерживается большинством компиляторов, например, gcc .

Следствием этого является выравнивание всех полей структур одно за другим без пустых пространств.

Если платформа на другом конце делает то же самое (т. Е. Скомпилировала свою структуру обмена данными с заполнением 1), то данные, полученные с обеих сторон, подходят. Таким образом, мне никогда не приходилось играть с malloc в C ++.

В худшем случае я бы подумал о перегрузке оператора new, чтобы он выполнял некоторые хитрые вещи, вместо того, чтобы использовать malloc непосредственно в C ++.

Это мое безумное предположение о том, откуда эта штука. Как вы упомянули, проблема связана с передачей данных по MPI.

Лично для моих сложных структур данных, которые я хочу отправлять / получать через MPI, я всегда реализую методы сериализации / десериализации, которые упаковывают / распаковывают все это в / из массива символов. Теперь, благодаря заполнению, мы знаем, что этот размер структуры может быть больше, чем размер ее членов, и, следовательно, также необходимо вычислить незаполненный размер структуры данных, чтобы мы знали, сколько байтов отправлено / получено.

Например, если вы хотите отправлять / получать std::vector<Foo> Aчерез MPI с помощью указанной техники, неверно предполагать, что размер результирующего массива символов A.size()*sizeof(Foo)в целом. Другими словами, каждый класс, реализующий методы сериализации / десериализации, также должен реализовывать метод, который сообщает размер массива (или, еще лучше, сохраняет массив в контейнере). Это могло стать причиной ошибки. Так или иначе, однако, это не имеет ничего общего с newvs, mallocкак указано в этой ветке.

В c ++: new ключевое слово используется для выделения определенных байтов памяти по отношению к некоторой структуре данных. Например, вы определили некоторый класс или структуру и хотите выделить память для этого объекта.

myclass *my = new myclass();

или

int *i = new int(2);

Но во всех случаях вам нужен определенный тип данных (класс, структура, объединение, int, char и т. Д.), И будут выделены только те байты памяти, которые необходимы для его объекта / переменной. (т. е. кратные этому типу данных).

Но в случае метода malloc () вы можете выделить любые байты памяти, и вам не нужно постоянно указывать тип данных. Здесь вы можете увидеть это в нескольких возможностях malloc ():

void *v = malloc(23);

или

void *x = malloc(sizeof(int) * 23);

или

char *c = (char*)malloc(sizeof(char)*35);

malloc - это тип функции, а new - это тип типа данных в c ++ в c ++, если мы используем malloc, чем должны, и должны использовать приведение типов, иначе компилятор выдаст вам ошибку, и если мы используем новый тип данных для выделения памяти, чем нам не нужно приводить к типу