В информатике нам часто приходится решать рекуррентные соотношения , то есть находить замкнутую форму для рекурсивно определенной последовательности чисел. При рассмотрении времени выполнения нас часто интересует в основном асимптотический рост последовательности .

Примеры

1. Время выполнения хвостовой рекурсивной функции, понижающейся до от чье тело занимает время :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. Последовательность Фибоначчи :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Количество слов Дика с парами скобок:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. Периодичность выполнения слияния в списках длины :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Каковы методы решения рецидивирующих отношений? Мы ищем

• общие методы и
• методы для значительного подкласса

также как и

• методы, которые дают точные решения и
• методы, которые обеспечивают (ограничивают) асимптотический рост.

^{Это должно стать справочным вопросом. Пожалуйста, оставьте один ответ для каждого метода и предоставьте общее описание, а также иллюстративный пример.}

Преобразование полной истории в ограниченную историю

Это первый шаг в решении повторений, когда значение любого целого числа зависит от значений всех меньших целых чисел. Рассмотрим, например, рекуррентность которая возникает в анализе рандомизированной быстрой сортировки . (Здесь - ранг случайно выбранного стержня.) Для любого целого числа значение зависит от всех с . Повторения этой формы называются повторениями полной истории .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Чтобы решить это повторение, мы можем преобразовать его в ограниченное повторение истории , где зависит только от постоянного числа предыдущих значений. Но сначала это помогает немного упростить повторение, собрать общие термины и устранить неприятные дроби. Теперь для преобразования в рекурсию с ограниченной историей мы записываем рекуррентность для , вычитаем и повторяем термины: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Теперь, если мы определим и заменим дробь более простой асимптотикой мы получаем гораздо более простую рекуррентность Разложение этого повторения в сумму немедленно дает нам , где - номер й гармоники . Мы заключаем, что .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Генерация функций$\newcommand{\nats}{\mathbb{N}}$

Каждая серия чисел соответствует производящей функции . Часто из рекуррентности может быть удобно получено вытащить свои коэффициенты - элементы ряда.

Этот ответ включает общий анзац с полным примером, ярлык для особого случая и некоторые примечания об использовании этого метода для получения асимптотики (даже если точный результат не может быть получен).

Метод

Пусть серия чисел. Тогда формальные степенные ряды$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

является обычной производящей функцией ¹ of . Коэффициенты в разложении в ряд равны последовательности, т.е. . Например, обычная производящая функция известных каталонских чисел имеет вид$(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

Определение также является нашим анзацем для решения рекуррентности. Это лучше всего работает для линейных повторений, поэтому для простоты предположим повторение вида$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

для некоторых фиксированных и - функция, независимая от всех . Теперь мы просто вставляем в анзац и якоря, и рекурсивную часть, то есть$b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Используя механику манипулирования суммой, свойства формальных степенных рядов и известные тождества ², последняя правая часть должна быть приведена в замкнутые формы, обычно в терминах . Полученное уравнение (часто) может быть решено для . Последовательное расширение результата (который может быть легко получен, известен или иным образом доступен) по существу является решением.$A(z)$$A(z)$

Хорошие введения можно найти в книге Уилфа [3] и в GKP [4]. Усовершенствованный материал был собран Фальоулетом и Седжвиком [5].

пример

Рассмотреть возможность

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Мы рассчитываем:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Это решает

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Теперь мы можем наконец прочитать

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Как только вы привыкнете к этому , вы заметите, что все это довольно механично. Фактически, компьютерная алгебра может сделать все это за вас во многих случаях. Хорошо, что механика остается (более или менее) такой, даже если повторение более сложное. Смотрите здесь для более сложного, менее механического примера.

Также обратите внимание, что общие методы также работают, если искомые объекты являются комплексными числами или даже полиномами.

Ярлык

Для линейных и однородных повторений, т. Е. Такого вида

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

все вышесказанное проходит точно так же, каждый раз. Выполнив приведенный выше расчет символически, мы находим следующую лемму . Позволять

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

быть характеристическим полиномом (рецидива). Кроме того, пусть (попарно различающиеся) нули указанного многочлена с кратностью соответственно. Тогда желаемый коэффициент дается$\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

с неизвестным . Поскольку характеристический многочлен имеет степень , существует ровно (комплексные) нули, то есть сумма к . Следовательно, недостающие коэффициенты могут быть определены путем решения системы линейных уравнений с уравнениями, полученными путем приравнивания приведенной выше формулы к любому из (например, якорям).$b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

асимптотике

Добраться до замкнутой формы для обычно легко. Выражая это в порождающих функциях, мы знаем, что коэффициенты (как мы это делали в примере) быстро становятся сложными. Примерами являются сверху и один для числа слов Дика, упомянутых в вопросе.$A(z)$$C(z)$

Можно использовать сложный механизм анализа, в частности, анализ сингулярностей, чтобы получить асимптотику для коэффициентов; Ключевые слова включают метод Дарбу и метод седловой точки. Они основаны на теореме вычетов и интегральной формуле Коши . Смотрите [6] для деталей.

---

1. Вы можете делать подобные вещи с экспонентой , Дирихле и некоторыми другими производящими функциями. Что работает лучше всего, зависит от последовательности и, в частности, от того, найдете ли вы необходимые закрытые формы.
2. Например, из Шпаргалки TCS или [3].
3. Генерирующая функциональность Х. Уилфа (1994, 2-е изд.) - доступна для бесплатного скачивания
4. Конкретная математика Р. Л. Грэма, Д. Е. Кнута и О. Паташника (1994, 2-е изд.)
5. Введение в анализ алгоритмов Р. Седжвика и П. Флажолета (2-е издание, 2013) - доступно для бесплатной загрузки
6. Аналитическая комбинаторика P. Flajolet и R. Sedgewick (2009) - доступна для бесплатного скачивания

Основная теорема

Основная теорема дает асимптотику для решений так называемых повторений « разделяй и властвуй» , то есть таких, которые делят их параметр на пропорциональные порции (вместо того, чтобы обрезать константы). Они обычно возникают при анализе (рекурсивных) алгоритмов «разделяй и властвуй», отсюда и название. Теорема популярна, потому что ее часто невероятно легко применять. С другой стороны, его можно применять только к повторениям следующей формы:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

с . Есть три случая$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   для некоторого ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   для некоторого ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   для некоторого и$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   для некоторых и .$c < 1$$n \to \infty$

что подразумевает асимптотику

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ и
3. $T \in \Theta \left(f \right)$ ,

соответственно. Обратите внимание, что базовые случаи здесь не указаны или не используются; это имеет смысл, учитывая, что мы исследуем только асимптотическое поведение. Мы молча предполагаем, что они являются некоторыми константами (что еще они могут быть. Какие константы, которые мы не видим, не имеют значения, все они исчезают в .$\Theta$

Примеры

1. Рассмотрим повторение

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   С и - обратите внимание, что мы видим, что первый случай применяется с . Следовательно, .$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Рассмотрим повторение

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   При и - обратите внимание, что мы видим, что второй случай применяется с . Следовательно, .$f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Рассмотрим повторение

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   При и - обратите внимание, что мы видим, что третий случай применим при и . Следовательно, .$f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Рассмотрим повторение

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Здесь мы имеем , и- во многих стандартных примерах будет многочлен , но это не правило. У нас есть , и третий случай применяется снова. В этом случае, тем не менее, мы можем выбрать любой и качестве для всех . Следовательно, .$a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

дальнейшее чтение

• Вполне возможно, что ни один из случаев основной теоремы не применим. Например, подзадачи могут не иметь одинаковый размер или иметь более сложную форму. Существуют некоторые расширения теоремы Мастера, например, Akra-Bazzi [1] или Roura [2]. Существует даже версия, которая работает для дискретных повторений (т. Е. Полы и потолки используются для рекурсивных параметров) и обеспечивает более четкие результаты [3].

• Как правило, прежде чем вы сможете применить теорему Мастера, вы должны втиснуть реальное рекуррентное отношение, которое у вас есть, в форму. Общие преобразования, которые сохраняют асимптотику, включают в себя падение этажей и потолков, а также допущение . Будьте осторожны, чтобы не сломать вещи здесь; обратитесь к [4] раздел 4.6 и этот вопрос для деталей.$n=b^k$

---

1. О решении линейных рекуррентных уравнений М. Акра и Л. Бацци (1998)
2. Улучшенная основная теорема о рекуррентах типа «разделяй и властвуй » С. Руры (1997).
   ^{Относится к другим улучшенным основным теоремам.}
3. Основная теорема о дискретных рекуррентах «разделяй и властвуй » М. Дрмоты и В. Шпанковского (2011)
4. Введение в алгоритмы по Cormen и др. (2009, 3-е издание)

Угадай и докажи

Или, как мне нравится это называть, « техника ». Это может быть применено ко всем видам идентичностей. Идея проста:$\dots$

Угадай решение и докажи его правильность.

Это популярный метод, возможно, потому что он обычно требует некоторого творчества и / или опыта (хорошо для демонстрации), но немного механики (выглядит элегантно). Искусство здесь состоит в том, чтобы делать хорошие, образованные догадки; доказательство (в нашем случае) обычно более или менее простая индукция.

При применении к рецидивам «угадывание» обычно выполняется

• увеличивая повторяемость пару раз,
• выяснить якорь и
• угадать шаблон для промежуточного ( ).$\dots$

Простой пример

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

Давайте расширим определение несколько раз:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Здесь, образец легко обнаружить, и это приводит нас к заявлению:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Теперь мы докажем тождество по индукции. Для мы можем установить правильность, вставив соответствующее значение. Предполагая, что тождество выполняется для всех для произвольного, но фиксированного , мы вычисляем$n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

который доказывает идентичность силой индукции.

Если вы попытаетесь использовать это для более сложных повторений, вы быстро столкнетесь с основным недостатком этого метода: может быть сложно увидеть шаблон или сжать его до красивой замкнутой формы.

асимптотике

Этот метод можно использовать и для асимптотики. Имейте в виду , однако, что вы должны угадать константы для символов Ландау, так как должна быть одна константа, которая устанавливает границу для всех , т.е. постоянный коэффициент не может изменяться во время индукции.$n$

Рассмотрим, например, повторение во время выполнения Mergesort, упрощенное для случая ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Мы предполагаем, что с константой , то есть . Докажем это индукцией по ; индуктивный шаг выглядит так:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Для неубывающих последовательностей натуральных чисел каждая бесконечная подпоследовательность имеет такой же асимптотический рост, что и исходная последовательность.

Метод Акра-Бацци

Метод Акра-Бацци дает асимптотику для повторений вида: Это охватывает обычные повторения «разделяй и властвуй», но также и случаи, когда деление неравномерно. «Термины выдумки» могут обслуживать деления, которые не являются точными, например. Условиями применения являются:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Есть достаточно базовых случаев, чтобы начать рецидив
• и все константы$a_i$$b_i$
• Для всех ,$i$$a_i > 0$
• Для всех ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ для некоторой константы виде$c$$x \rightarrow \infty$
• Для всех ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ является константой

Обратите внимание, что и в качестве пилообразной функции всегда между 0 и 1, заменяя (или качестве подходящего) удовлетворяет условиям .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Найдите такой, что: Тогда асимптотическое поведение при определяется как: с "достаточно большим", т.е. так что для всех .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Пример А

В качестве примера возьмем рекурсию для , где : Условия выполнены, нам нужно : Как повезет, . Таким образом, мы имеем: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

поскольку с помощью мы выполняем для всех . Обратите внимание, что поскольку интеграл сходится, даже если мы используем другие константы, такие как , в качестве нижней границы, их также допустимо использовать; Разница исчезает в .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Пример Б

Другим примером является следующее для : Мы имеем , проверьте. У нас есть, что есть один , , который проверяет. Предполагая, что действительно и / или , подразумеваемое также проверяется. Итак, нам нужно: Таким образом, , и: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Применим трюк, описанный выше, к нижняя граница интеграла, только то, что мы используем потому что интеграл не сходится для .$2$$1$

(Помощь максимумов с алгеброй с благодарностью признана)

суммирование

Часто встречается повторение вида где является монотонным. В этом случае мы можем разложить и, таким образом, получить начальное значение , чтобы оценить нам нужно оценить сумму .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

Неубывающий$f(n)$

Когда монотонно неубывающая, мы имеем очевидные границы Эти оценки наилучшим образом возможны в том смысле, что они ограничены для некоторых функций: верхняя граница для постоянных функций и нижняя граница для ступенчатых функций ( для и для ). Однако во многих случаях эти оценки не очень полезны. Например, когда , нижняя граница равна а верхняя граница равна , поэтому они довольно далеко друг от друга.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

интеграция

оценку дает интеграция: Для это дает правильное значение суммы до членов более низкого порядка: Когда мы можем вычислить сумму явно, но во многих случаях явное вычисление затруднительно. Например, когда антипроизводное равно , и поэтому

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

Формула Эйлера – Маклаурина дает лучшие оценки. Эту формулу можно использовать, например, для доказательства сильных форм формулы Стирлинга путем оценки суммы .$\log n! = \sum_{m=1}^n \log m$

Не возрастающий$f(n)$

В некоторых случаях монотонно не возрастает. Тривиальные оценки становятся а интегральные оценки Например, для , используя получаем $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Седжвик и Флажоле проделали большую работу в аналитической комбинаторике , которая позволяет асимптотически решать рецидивы с помощью комбинации генерирующих функций и сложного анализа. Их работа позволяет автоматически решать многие рецидивы и реализована в некоторых системах компьютерной алгебры.

Этот учебник по этому предмету был написан Фладжоле и Седжвиком и является отличным справочным материалом. Несколько более простое изложение, ориентированное на приложения к анализу алгоритмов, - это текст Седжвика и Флайолета.

Надеюсь это поможет!

Могут быть случаи, когда вы сталкиваетесь с странным повторением, подобным этому: Если вы похожи на меня, вы поймете, что не можете использовать основную теорему, и тогда вы можете подумать: " хммм ... может быть, анализ дерева повторений может сработать ". Тогда вы поймете, что дерево начинает расти очень быстро. После некоторых поисков в интернете вы увидите, что метод Акра-Бацци сработает! Тогда вы на самом деле начинаете изучать это и понимаете, что на самом деле не хотите заниматься всей математикой. Если вы были похожи на меня до этого момента, вы будете рады узнать, что есть более простой способ.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

Теорема о неравномерности расщепления, часть 1

Пусть и положительные постоянные.$c$$k$

Тогда пусть будут такими положительными постоянными, что .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

У нас также должно быть повторение формы (как наш пример выше):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Запрос

Тогда я утверждаю где - постоянная (например, асимптотически линейная) и:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Доказательство по индукции

Основа :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Индукция : предположим, что истина для любого , тогда мы имеем$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Тогда .$T(n) \leq bn \implies T(n) = O(n)$

пример

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Сначала мы проверяем коэффициенты внутри суммы рекурсивных вызовов на единицу: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Далее мы проверяем, что базовый случай меньше, чем максимум из обратных коэффициентов:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

При соблюдении этих условий мы знаем где - постоянная, равная: Поэтому имеем: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

Теорема о неравномерности расщепления, часть 2

Точно так же мы можем доказать оценку, когда . Доказательство будет следовать большей части того же формата:$\sum_1^k = 1$

Пусть и положительные постоянные такие, что .$c$$k$$k > 1$

Тогда пусть будут такими положительными постоянными, что .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

У нас также должно быть повторение формы (как наш пример выше):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Запрос

Затем я утверждаю, что (мы выбираем base потому что будет фактором ветвления дерева рекурсии), где и - константы (например, асимптотически линейные ) такой что:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ и $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Доказательство по индукции

Основа :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Индукция : предположим, что истина для любого , тогда мы имеем$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Тогда .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

пример

Давайте изменим предыдущий пример, который мы использовали чуть-чуть:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Сначала мы проверяем коэффициенты внутри суммы рекурсивных вызовов на единицу:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Далее мы проверяем, что базовый случай меньше, чем максимум из обратных коэффициентов:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

При соблюдении этих условий мы знаем где и - постоянная, равная: Поэтому имеем: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

После повторной проверки этого поста, я удивлен, что это еще не здесь.

Преобразование домена / изменение переменных

При работе с рекурсиями иногда полезно иметь возможность сменить домен, если неясно, насколько глубоким будет стек рекурсии.

Например, возьмем следующее повторение:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Как мы можем когда-нибудь решить это? Мы могли бы расширить серию, но я обещаю, что это получится очень быстро. Вместо этого давайте рассмотрим, как меняется наш ввод при каждом вызове.

Сначала мы имеем:

1. $n$ , то
2. $2^{2^{\sqrt{\log \log n}}}$ , затем
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ и т. Д.

Цель преобразования области теперь будет состоять в том, чтобы изменить нашу рекуррентность на эквивалентный , так что вместо вышеупомянутых переходов у нас просто есть .$S(k)$$k, k-1, k-2, \ldots$

Например, если мы допустим , то это то, что мы получаем для нашего повторения выше: Тогда мы можем просто переписать его как: Тогда все, что вам нужно сделать, это преобразовать обратно в чтобы получить: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

На этом примере мы можем теперь увидеть нашу цель.

Предположим, что Для некоторой константы и функции и .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Сейчас мы пытаемся найти некоторую функцию и такую, что $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

В более общем смысле, мы хотим, чтобы где - повторное применение к , разам. (например, ). Это позволит действовать как «итеративная» функция. Где на глубине рекурсии проделанная работа - это просто .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Тогда мы можем легко преобразовать это в так что Тогда нам остается только беспокоиться о суммируя для всех до заданного базового случая. То есть $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Если мы можем определить для некоторой замкнутой формы функции, то мы можем определить как $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Затем мы используем это, чтобы получить оценку помощью одного из других методов выше. Очевидно, вы могли бы немного изменить этот метод в соответствии со своей спецификацией, но в целом вы пытаетесь найти итерационную функцию чтобы превратить в простую рекурсию.$T(n)$$g(k)$$T(n)$

Я не знаю точного способа определения на данный момент, но я буду продолжать думать об этом и буду обновлять, если он станет более понятным (или если у любого комментатора есть некоторые советы!). В прошлом я в основном обнаруживал свои функции методом проб и ошибок (см. Здесь , здесь , здесь и здесь для примеров).$g(k)$$g(k)$

Есть еще один подход, который работает для простых рекуррентных отношений: попросите Wolfram Alpha решить эту рецидив за вас.

Например, попробуйте ввести f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha. Вы получите решение со ссылкой на числа Фибоначчи. Или попробуйте f(1)=1, f(n)=f(n-1)+nили f(1)=1, f(n)=2*f(n-1)+3*nили f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3для других примеров. Тем не менее, будьте осторожны: Wolfram Alpha может решить некоторые очень простые повторения, но она разваливается на более сложные.

Такой подход избавляет от необходимости думать, что можно рассматривать как ошибку или функцию.

Случай 2 основной теоремы, как обычно указывается, обрабатывает только повторения вида в которых для . Следующая теорема, взятая из раздаточного материала Джеффри Леона, дает ответ для отрицательного :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Рассмотрим рекуррентность с соответствующим базовым случаем.$T(n) = a T(n/b) + f(n)$

1. Если для то .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Если для то .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Если для то ).$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

В доказательстве используется метод многократной подстановки, который мы сейчас набросаем. Предположим, что и . Тогда для степень , Теперь давайте рассмотрим случаи один за другим. Когда , ряд сходится, и поэтому . Когда , сумма представляет собой гармоническую сумму и т. Д.$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Когда , мы можем приблизить сумму с помощью интеграла: и поэтому .$c > 0$ $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$