Квазиньютоновские методы, которые аппроксимируют гессиан на основе различий градиентов в течение нескольких итераций путем наложения условия «секущий» (квазиньютоновский). Существует много разных квазиньютоновских методов, которые по-разному оценивают гессиан. Одним из самых популярных является BFGS. Гессенское приближение BFGS может быть либо основано на полной истории градиентов, в этом случае оно называется BFGS, либо оно может основываться только на самых последних m градиентах, и в этом случае оно известно как BFGS с ограниченной памятью, сокращенно как L-BFGS. Преимущество L-BFGS состоит в том, что требуется только сохранение самых последних m градиентов, где m обычно составляет от 10 до 20, что является гораздо меньшим требованием к памяти, чем n * (n + 1) / 2 элементов, необходимых для хранения полного (треугольник) гессианской оценки, как требуется для BFGS, где n - размерность проблемы. В отличие от (полной) BFGS, оценка гессиана никогда явно не формируется и не сохраняется в L-BFGS (хотя некоторые реализации BFGS только формируют и обновляют фактор Чоэлски в гессенском приближении, а не в самом гессенском приближении); скорее, вычисления, которые потребовались бы с оценкой гессиана, выполняются без явного ее формирования. L-BFGS используется вместо BFGS для очень больших проблем (когда n очень большое), но может работать не так хорошо, как BFGS. Следовательно, BFGS предпочтительнее, чем L-BFGS, когда требования к памяти BFGS могут быть выполнены. С другой стороны, L-BFGS не может быть намного хуже по производительности, чем BFGS. оценка гессиана никогда не формируется и не сохраняется в явном виде в L-BFGS (хотя некоторые реализации BFGS только формируют и обновляют фактор Чоэлски в приближении Гессиана, а не само приближение гессена); скорее, вычисления, которые потребовались бы с оценкой гессиана, выполняются без явного ее формирования. L-BFGS используется вместо BFGS для очень больших проблем (когда n очень большое), но может работать не так хорошо, как BFGS. Следовательно, BFGS предпочтительнее, чем L-BFGS, когда требования к памяти BFGS могут быть выполнены. С другой стороны, L-BFGS не может быть намного хуже по производительности, чем BFGS. оценка гессиана никогда не формируется и не сохраняется в явном виде в L-BFGS (хотя некоторые реализации BFGS только формируют и обновляют фактор Чоэлски в приближении Гессиана, а не само приближение гессена); скорее, вычисления, которые потребовались бы с оценкой гессиана, выполняются без явного ее формирования. L-BFGS используется вместо BFGS для очень больших проблем (когда n очень большое), но может работать не так хорошо, как BFGS. Следовательно, BFGS предпочтительнее, чем L-BFGS, когда требования к памяти BFGS могут быть выполнены. С другой стороны, L-BFGS не может быть намного хуже по производительности, чем BFGS. расчеты, которые потребовались бы с оценкой гессиана, выполняются без ее явного формирования. L-BFGS используется вместо BFGS для очень больших проблем (когда n очень большое), но может работать не так хорошо, как BFGS. Следовательно, BFGS предпочтительнее, чем L-BFGS, когда требования к памяти BFGS могут быть выполнены. С другой стороны, L-BFGS не может быть намного хуже по производительности, чем BFGS. расчеты, которые потребовались бы с оценкой гессиана, выполняются без ее явного формирования. L-BFGS используется вместо BFGS для очень больших проблем (когда n очень большое), но может работать не так хорошо, как BFGS. Следовательно, BFGS предпочтительнее, чем L-BFGS, когда требования к памяти BFGS могут быть выполнены. С другой стороны, L-BFGS не может быть намного хуже по производительности, чем BFGS.