Сортировка функций по асимптотическому росту

Предположим, у меня есть список функций, например

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

Как мне отсортировать их асимптотически, т.е. после отношения, определенного

$\qquad f \leq_O g \iff f \in O(g)$ ,

при условии, что они действительно попарно сопоставимы (см. также здесь )? Использование определения кажется неудобным, и зачастую трудно доказать существование подходящих констант и .$O$$c$$n_0$

Это касается мер сложности, поэтому нас интересует асимптотическое поведение при , и мы предполагаем, что все функции принимают только неотрицательные значения ( ).$n \to +\infty$$\forall n, f(n) \ge 0$

Если вы хотите строгое доказательство, следующая лемма часто полезна, соответственно. более удобный, чем определения.

Если $c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$ существует, тогда

• $c=0 \qquad \ \,\iff f \in o(g)$ ,
• $c \in (0,\infty) \iff f \in \Theta(g)$ и
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$ .

Благодаря этому вы сможете упорядочить большинство функций, возникающих при анализе алгоритмов¹. В качестве упражнения докажи это!

Конечно, вы должны быть в состоянии рассчитать пределы соответственно. Вот некоторые полезные приемы, чтобы разбить сложные функции на базовые:

• Выразите обе функции как $e^{\dots}$ и сравните показатели; если их отношение стремится к $0$ или $\infty$ , то же самое происходит и с исходным отношением.

• В более общем смысле: если у вас есть выпуклая, непрерывно дифференцируемая и строго возрастающая функция $h$ так что вы можете переписать свой коэффициент как

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$ ,

  с $g^* \in \Omega(1)$ и

  ,$\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$

  тогда

  .$\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$

  ^{Смотрите здесь для строгого доказательства этого правила (на немецком языке).}

• Рассмотрим продолжение ваших функций над реалами. Теперь вы можете использовать правило L'Hôpital ; будьте внимательны к его условиям²!

• Взгляните на дискретный эквивалент Штольца-Чезаро .

• Когда появляются факториалы, используйте формулу Стирлинга :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

Также полезно сохранить пул базовых отношений, которые вы доказываете один раз и используете часто, например:

• логарифмы растут медленнее, чем полиномы, т.е.

  для всех α , β > 0 .$\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$$\alpha, \beta > 0$

• порядок полиномов:

  для всехα<β.$\qquad\displaystyle n^\alpha \in o(n^\beta)$$\alpha < \beta$

• полиномы растут медленнее, чем экспоненты:

  для всехαиc>1.$\qquad\displaystyle n^\alpha \in o(c^n)$$\alpha$$c > 1$

---

Может случиться так, что приведенная выше лемма неприменима, потому что предел не существует (например, когда функции колеблются). В этом случае рассмотрим следующую характеристику классов Ландау с использованием Limes улучшенный / низший :

При у нас есть$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• и$0 \leq c_s < \infty \iff f \in O(g)$
• .$c_s = 0 \iff f \in o(g)$

При у нас есть$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• и$0 < c_i \leq \infty \iff f \in \Omega(g)$
• .$c_i = \infty \iff f \in \omega(g)$

Более того,

• и$0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$
• .$c_i = c_s = 1 \iff f \sim g$

---

Проверьте здесь и здесь, если вас смущают мои записи.

---

¹ Примечание: мой коллега написал функцию Mathematica, которая успешно выполняет это для многих функций, поэтому лемма действительно сводит задачу к механическим вычислениям.

² Смотрите также здесь .

Другой совет: иногда применение монотонной функции (например, log или exp) к функциям делает вещи более понятными.

Скиена приводит отсортированный список отношений доминирования между наиболее распространенными функциями в своей книге «Руководство по разработке алгоритмов»:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

Here $\alpha(n)$ denotes the inverse Ackermann function.

Совет: нарисуйте графики этих функций, используя что-то вроде Wolfram Alpha, чтобы понять, как они растут. Обратите внимание, что это не очень точно, но если вы попробуете это для достаточно больших чисел, вы должны увидеть сравнительные закономерности роста. Это, конечно, не заменит доказательства.

Например, попробуйте: построить график (log (n)) от 1 до 10000, чтобы увидеть отдельный график или график (log (n)), и построить график (n) от 1 до 10000, чтобы увидеть сравнение.

I suggest proceeding according to the definitions of various notations. Start with some arbitrary pair of expressions, and determine the order of those, as outlined below. Then, for each additional element, find its position in the sorted list using binary search and comparing as below. So, for example, let's sort $n^{\log\log n}$ and $2^n$, the first two functions of n, to get the list started.

We use the property that $n = 2^{\log n}$ to rewrite the first expression as $n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$. We could then proceed to use the definition to show that $n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$, since for any constant $c > 0$, there is an $n_0$ such that for $n \geq n_0$, $c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$.

Next, we try $3^n$. We compare it to $2^n$, the largest element we have placed so far. Since $3^n = (2^{\log 3})^n = 2^{n\log3}$, we similarly show that $2^n \in o(3^n) = o(2^{n \log 3})$.

Etc.

Вот список из Википедии : чем ниже в таблице, тем больше класс сложности;

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

note : $poly(x) = x^{\mathcal{O}(1)}$