Использование буферизованных данных на этапе сортировки переполнения превышает внутренний лимит

85

Используя код:

all_reviews = db_handle.find().sort('reviewDate', pymongo.ASCENDING)
print all_reviews.count()

print all_reviews[0]
print all_reviews[2000000]

Счетчик печатает 2043484, и он печатает all_reviews[0].

Однако при печати all_reviews[2000000]я получаю сообщение об ошибке:

pymongo.errors.OperationFailure: ошибка базы данных: ошибка выполнения: использование буферизованных данных этапа сортировки переполнения 33554495 байтов превышает внутренний предел 33554432 байтов

Как мне с этим справиться?

mongodb mongodb-query mongodb-indexes

— Sheetal_158
источник

119

Вы используете ограничение в 32 МБ для сортировки в памяти:

https://docs.mongodb.com/manual/reference/limits/#Sort-Operations

Добавьте индекс в поле сортировки. Это позволяет MongoDB передавать вам документы в отсортированном порядке, а не пытаться загрузить их все в память на сервере и отсортировать их в памяти перед отправкой клиенту.

— А. Джесси Джирью Дэвис
источник

7

Лучше объявить индекс, чтобы вам не нужно было сортировать в ОЗУ: быстрее и надежнее, с ограниченным использованием ОЗУ, а не потенциально неограниченным. Если вы настаиваете, превратите свой «find» в агрегацию (которая может использовать 100 МБ ОЗУ для сортировки) и установите allowDiskUse: true, чтобы система агрегации передавала данные на диск, если объем ОЗУ превышает 100 МБ. Ожидайте серьезного снижения производительности по сравнению с простым объявлением соответствующего индекса. docs.mongodb.org/manual/reference/operator/aggregation/sort/…

— А. Джесси Джирью Дэвис

32

Собственно, это можно изменить. Вы должны выполнить эту команду: db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes: <limit in bytes>}). Источник: askubuntu.com/questions/501937/…

— kumarharsh

6

Полезно отметить для пользователей мангуста, что установка index: true в опоре в вашей схеме решит эту проблему ... мангуст пройдет через все ваши схемы и убедитесь, что поля на самом деле являются индексами перед запуском приложения ... вы отключаете это поведение с помощью mySchema.set ('autoIndex', false);

— Бенджамин Конант,

2

Я создал индекс для поля сортировки, но все же он дает мне эту ошибку «Операция сортировки использует больше, чем максимальное количество 33554432 байтов ОЗУ», может быть из-за того, что я применяю операцию сопоставления перед сортировкой и в соответствии с документом mongo, если вы используете сопоставление перед сортировкой Операция игнорируется индексом и выполняет сортировку в памяти по всем совпадающим записям.

— Амол Сурьяванши

11

Если это принятый ответ, он должен включать информацию о том, как добавить индекс.

— Филипп Людвиг

46

Как сказано kumar_harshв разделе комментариев, я хотел бы добавить еще один момент.

Вы можете просмотреть текущее использование буфера, используя следующую команду над adminбазой данных:

> use admin
switched to db admin
> db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )
{ "internalQueryExecMaxBlockingSortBytes" : 33554432, "ok" : 1 }

Он имеет значение по умолчанию 32 МБ (33554432 байта). В этом случае у вас не хватает данных буфера, поэтому вы можете увеличить лимит буфера с вашим собственным определенным оптимальным значением, например 50 МБ, как показано ниже:

>  db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes:50151432})
{ "was" : 33554432, "ok" : 1 }

Мы также можем установить этот предел навсегда с помощью следующего параметра в файле конфигурации mongodb:

setParameter=internalQueryExecMaxBlockingSortBytes=309715200

Надеюсь это поможет !!!

Note: Эти команды поддерживаются только после версии 3.0 +

— ДЖЕРРИ
источник

Каким образом можно установить это ограничение на постоянной основе в файле конфигурации? У меня есть машина с памятью на 1 ТБ, предназначенная для монго, и я хотел бы постоянно проверять ее.

— Саманта Аткинс

@SamanthaAtkins Я обновил ответ, чтобы установить это постоянно в файле конфигурации.

— ДЖЕРРИ

@JERRY, куда ставить постоянно в рельсах. Рельсы 5 / mongoid.yml?

— Prateep Kul

Я нашел это. запустить на моем терминале с помощью: mongod и следовать руководству zocada.com/setting-mongodb-users-beginners-guide

— Kul

24

решено с индексацией

db_handle.ensure_index([("reviewDate", pymongo.ASCENDING)])

— Sheetal_158
источник

не используйте разреженный индекс, они игнорируются, если вы сортируете каждый документ

— Чарли Коза

15

Если вы хотите избежать создания индекса (например, вам просто нужна быстрая проверка для изучения данных), вы можете использовать агрегирование с использованием диска:

all_reviews = db_handle.aggregate([{$sort: {'reviewDate': 1}}], {allowDiskUse: true})

(Хотя не знаю, как это сделать в пимонго).

— порождь
источник

В пимонго было бы db_handle.aggregate(pipe, allowDiskUse=True). См. Этот вопрос для получения дополнительной информации!

— Genarito

3

Синтаксис JavaScript API для индекса:

db_handle.ensureIndex({executedDate: 1})

— Wytten
источник

2

В моем случае нужно было исправить нужные индексы в коде и воссоздать их:

rake db:mongoid:create_indexes RAILS_ENV=production

Поскольку переполнение памяти не происходит при наличии необходимого индекса поля.

PS До этого приходилось отключать ошибки при создании длинных индексов:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> db.getSiblingDB('admin').runCommand( { setParameter: 1, failIndexKeyTooLong: false } )

Также могут понадобиться reIndex:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> use your_db
switched to db your_db
> db.getCollectionNames().forEach( function(collection){ db[collection].reIndex() } )

— шиловка
источник