Ограничение / смещение и счетчик Mongoose

Немного странно в отношении производительности запроса ... Мне нужно запустить запрос, который выполняет общее количество документов, а также может возвращать набор результатов, который может быть ограничен и смещен.

Итак, у меня 57 документов, и пользователь хочет, чтобы 10 документов были компенсированы на 20.

Я могу придумать два способа сделать это: сначала запросить все 57 документов (возвращенных в виде массива), а затем с помощью array.slice вернуть нужные документы. Второй вариант - запустить 2 запроса, первый - с использованием собственного метода «count» mongo, а затем запустить второй запрос с использованием собственных агрегаторов mongo $ limit и $ skip.

Как вы думаете, что лучше масштабируется? Выполнять все это одним запросом или запускать два отдельных запроса?

Редактировать:

// 1 query
var limit = 10;
var offset = 20;

Animals.find({}, function (err, animals) {
    if (err) {
        return next(err);
    }

    res.send({count: animals.length, animals: animals.slice(offset, limit + offset)});
});


// 2 queries
Animals.find({}, {limit:10, skip:20} function (err, animals) {            
    if (err) {
        return next(err);
    }

    Animals.count({}, function (err, count) {
        if (err) {
            return next(err);
        }

        res.send({count: count, animals: animals});
    });
});

Предлагаю вам использовать 2 запроса:

1. db.collection.count()вернет общее количество элементов. Это значение хранится где-то в Mongo и не вычисляется.

2. db.collection.find().skip(20).limit(10)здесь я предполагаю, что вы можете использовать сортировку по какому-либо полю, поэтому не забудьте добавить индекс в это поле. Этот запрос тоже будет быстрым.

Я думаю, что вам не следует запрашивать все элементы, а затем выполнять пропуск и прием, потому что позже, когда у вас будут большие данные, у вас возникнут проблемы с передачей и обработкой данных.

Вместо использования двух отдельных запросов вы можете использовать aggregate()в одном запросе:

Совокупный "$ фасет" можно получить быстрее, общее количество и данные с пропуском и ограничением

    db.collection.aggregate([

      //{$sort: {...}}

      //{$match:{...}}

      {$facet:{

        "stage1" : [ {"$group": {_id:null, count:{$sum:1}}} ],

        "stage2" : [ { "$skip": 0}, {"$limit": 2} ]
  
      }},
     
     {$unwind: "$stage1"},
  
      //output projection
     {$project:{
        count: "$stage1.count",
        data: "$stage2"
     }}

 ]);

вывод следующим образом: -

[{
     count: 50,
     data: [
        {...},
        {...}
      ]
 }]

Также посмотрите https://docs.mongodb.com/manual/reference/operator/aggregation/facet/

После того, как мне пришлось решить эту проблему самостоятельно, я хотел бы опираться на ответ user854301.

Mongoose ^ 4.13.8 Я смог использовать вызываемую функцию, toConstructor()которая позволила мне избежать многократного построения запроса при применении фильтров. Я знаю, что эта функция доступна и в более старых версиях, но вам нужно будет проверить документацию Mongoose, чтобы подтвердить это.

Далее используются обещания Bluebird:

let schema = Query.find({ name: 'bloggs', age: { $gt: 30 } });

// save the query as a 'template'
let query = schema.toConstructor();

return Promise.join(
    schema.count().exec(),
    query().limit(limit).skip(skip).exec(),

    function (total, data) {
        return { data: data, total: total }
    }
);

Теперь запрос на счетчик вернет общее количество сопоставленных записей, а возвращенные данные будут подмножеством общих записей.

Обратите внимание на () вокруг query (), который создает запрос.

Есть библиотека, которая сделает все это за вас, посмотрите mongoose-paginate-v2

db.collection_name.aggregate([
    { '$match'    : { } },
    { '$sort'     : { '_id' : -1 } },
    { '$facet'    : {
        metadata: [ { $count: "total" } ],
        data: [ { $skip: 1 }, { $limit: 10 },{ '$project' : {"_id":0} } ] // add projection here wish you re-shape the docs
    } }
] )

Вместо использования двух запросов для нахождения общего количества и пропуска совпадающей записи.
$ facet - лучший и оптимизированный способ.

1. Совпадение с рекордом
   
2. Найдите total_count
   
3. пропустить запись
   
4. А также может изменять форму данных в соответствии с нашими потребностями в запросе.