Вопросы с тегом «optimization»

В книге Nocedal & Wright по числовой оптимизации в разделе 2.2 (стр. 27) содержится утверждение: «Вообще говоря, для алгоритмов линейного поиска легче сохранить масштабную инвариантность, чем для алгоритмов области доверия». В этом же разделе они говорят о наличии новых переменных, которые представляют собой масштабированные версии исходных переменных, что может помочь …

11 linear-algebra  optimization  numerical-analysis 

Я пытаюсь понять, как метод оптимизации на основе сопряжения работает для ограниченной оптимизации PDE. В частности, я пытаюсь понять, почему сопряженный метод более эффективен для задач, в которых число проектных переменных велико, но «число уравнений мало». Что я понимаю: Рассмотрим следующую проблему ограниченной оптимизации PDE: minβ I(β,u(β))s.t.R(u(β))=0minβ I(β,u(β))s.t.R(u(β))=0\min_\beta \text{ } …

11 optimization  pde 

Учитывая неизвестную функцию , мы можем оценить ее значение в любой точке ее области, но у нас нет ее выражения. Другими словами, f для нас как черный ящик.f:Rd→Rf:Rd→Rf:\mathbb R^d \to \mathbb Rfff Как называется проблема поиска минимизатора ? Какие существуют методы?fff Как называется задача поиска решения уравнения ? Какие существуют …

11 optimization 

Я решаю для огромной разреженной положительно определенной матрицы используя метод сопряженного градиента (CG). Можно вычислить детерминант А, используя информацию, полученную в ходе решения?AA x = bAИксзнак равнобAx=bAAAAAA

11 linear-algebra  optimization  krylov-method  conjugate-gradient 

Учитывая систему где A ∈ R n × n , я прочитал, что, если итерация Якоби используется в качестве решателя, метод не будет сходиться, если b имеет ненулевую компоненту в нуль-пространстве A , Итак, как можно формально утверждать, что при условии, что b имеет ненулевой компонент, охватывающий нулевое пространство в …

11 linear-algebra  optimization  matrix  iterative-method  linear-solver 

Существует ли более быстрый способ вычисления стандартных ошибок для задач линейной регрессии, чем путем инвертирования ? Здесь я предполагаю, что у нас есть регрессия:X′XX′XX'X y=Xβ+ε,y=Xβ+ε,y=X\beta+\varepsilon, где - матрица n × k, а y - вектор n × 1 .XXXn×kn×kn\times kyyyn×1n×1n\times 1 Для нахождения решения задачи наименьших квадратов нецелесообразно что-либо делать …

11 linear-algebra  optimization 

Для проекта я должен реализовать эти два метода и сравнить, как они выполняют разные функции. Похоже, метод сопряженных градиентов предназначен для решения систем линейных уравнений Ax=bAx=b A\mathbf{x} = \mathbf{b} Где - матрица размером n на n, которая является симметричной, положительно определенной и действительной.AAA С другой стороны, когда я читаю о …

11 optimization  conjugate-gradient 

У меня есть набор данных, который медленно меняется, и мне нужно отслеживать собственные векторы / собственные значения его ковариационной матрицы. Я использовал scipy.linalg.eigh, но это слишком дорого, и это не использует тот факт, что у меня уже есть разложение, которое только немного неправильно. Кто-нибудь может предложить лучший подход для решения …

10 linear-algebra  optimization  python  eigenvalues 

Я часто сталкиваюсь с общей пословицей, что методы внутренней точки трудно начать с теплого начала. Есть ли интуитивное объяснение этому совету? Существуют ли ситуации, в которых можно ожидать выгоды от теплого старта в методе внутренней точки? Кто-нибудь может порекомендовать несколько полезных ссылок по теме?

10 optimization  constrained-optimization 

Проблема в том, что Макс F( х ) с учетом A х = бmaxf(x) subject to Ax=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} где е( х ) = ∑Nя = 11 + х4я( ∑Nя = 1Икс2я)2----------√f(x)=∑i=1N1+xi4(∑i=1Nxi2)2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}} , х =[ х1, х2, . , , , хN]T∈ …

10 optimization 

У меня есть проблема оптимизации, которая выглядит следующим образом minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} Здесь мои переменные - это матрицы JJJ и BBB , но вся проблема все еще является линейной программой; остальные переменные являются фиксированными. Когда я пытаюсь ввести эту программу …

10 optimization  convex-optimization  linear-programming 

Я заинтересован в максимизации функции , где .θ ∈ R pе( θ )f(θ)f(\mathbf \theta)θ ∈ Rпθ∈Rp\theta \in \mathbb R^p Проблема в том, что я не знаю аналитической формы функции или ее производных. Единственное, что я могу сделать, это оценить функцию по точкам, подключив значение и получить оценку NOISY в этой …

10 optimization  monte-carlo  simulation 

Для оптимизации из Википедии : В информатике метаэвристика обозначает вычислительный метод, который оптимизирует проблему путем итеративной попытки улучшить подходящее решение с учетом заданного показателя качества. Метаэвристика делает мало или вообще не делает предположений об оптимизируемой проблеме и может искать очень большие пространства возможных решений. Однако метаэвристика не гарантирует, что оптимальное …

10 optimization  heuristics 

Я пытаюсь написать полную реализацию SVM на Python, и у меня есть несколько проблем с вычислением коэффициентов Лагранжа. Сначала позвольте мне перефразировать то, что я понимаю из алгоритма, чтобы убедиться, что я на правильном пути. Если x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_n - это набор данных, а yi∈{−1,1}yi∈{−1,1}y_i \in \{-1, 1\} - …

10 optimization  machine-learning  support-vector-machines  quadratic-programming 

Какие рекомендуемые способы выполнения нелинейных наименьших квадратов, мин , с коробкой ограничений л O J < = р J < = ч я J ? Мне кажется (вбегают дураки), что можно сделать квадратные ограничения квадратичными и минимизировать ∑ i e r r i ( p ) 2 + C ∗ …

10 optimization  constraints