Пожалуйста, объясните утверждение, что функция an + b принадлежит O (n ^ 2) и Θ (n)?

Допустим, у меня есть линейная функция. Как f(n)= an+bлучше всего доказать, что эта функция принадлежит O (n ² ) и Θ(n)?

Мне здесь не нужна математическая строгость. Мне нужен ответ программистов. Какой-то логичный способ объяснения.

^{Именно поэтому я не опубликовал вопрос в Q & A по математике, а вместо этого в Q & A для программистов.}

Обозначение Большого О (O, Theta, Omega) о темпах роста функций.

Когда вы реализуете алгоритм, он имеет определенную характеристику того, как изменяется среда выполнения при увеличении набора данных. Теперь вы можете оптимизировать алгоритм так, чтобы он работал быстрее в 100 раз. Конечно, это замечательно, но, по сути, это все тот же алгоритм. Аналогичным образом, через несколько лет компьютеры могут быть в два раза быстрее, чем сегодня.

Нотация Ландау абстрагирует эти постоянные факторы. Не fимеет значения, всегда ли алгоритм работает в два раза быстрее, чем другой алгоритм g: возможно, gего можно оптимизировать, чтобы он работал в 4 раза быстрее, или вместо этого вы могли бы купить более быстрое оборудование. Если вы посмотрите на это с этой точки зрения, вы можете сказать, что они «одинаковы». (Это не значит, что вы можете (всегда) игнорировать постоянные факторы на практике.)

Большой ой указывает верхнюю границу, это похоже на <=отношение.

Вы согласитесь, что 1 < 2это правда. Означает ли это, что 1не может быть меньше, чем любое другое число? Конечно, нет. Существует бесконечное количество чисел, которые больше, чем 1.

С темпами роста это похоже. O(n)обозначает множество всех функций, которые растут линейно (или медленнее). O(n^2)с другой стороны, обозначает все те функции, которые растут с квадратичной смежностью (или медленнее). Я уверен, что вы согласитесь, что линейная функция растет медленнее, чем квадратичная функция.

Вот почему функция может быть в более чем одном классе "Big-oh".

Вот сравнение различных функций с : (из "Конкретной математики Кнута")

Слева направо, функции растут быстрее.

Кроме того, значение n ^ 2 растет быстрее, чем n ^ 1, потому что 2> 1.

Определения

"F растет быстрее или одинаково быстро, как G"

"F растет медленнее или одинаково быстро, как г"

Сочетание двух вышеупомянутых. Это говорит о том, что функция fрастет так же быстро, как g. Это отношение эквивалентности.

интерпретация

Допустим, у вас есть два алгоритма, fи g.

Омега

Предполагается , что это означает, что независимо от вашего бюджета, нет постоянной вычислительной мощности, которую вы можете добавить в свою систему, так что fона всегда будет работать так же быстро, как и g.

Большой ой

Предполагается , что означает, что если у вас достаточно данных, fони всегда будут работать быстрее g, независимо от того, сколько вычислительной мощности вы добавите в свою систему.

доказательство

Если вы действительно пытаетесь доказать это, вам нужно показать, используя определения обозначений Ландау, что ваша функция удовлетворяет необходимым условиям.

Так что вам нужно найти значение c, d, n_0таким образом, что условие выполнено.

Вот как вы можете сделать это для нижней границы c:

Важно понимать, что меня произвольно определяют cкак меньшего, чем a-1совершенно нормально. Определение тета (g) говорит, что «существует c». Это может быть любое значение, если оно больше 0. (Если aположительное действительное число, вам, однако, нужно немного изменить доказательство, поскольку оно a - 1может быть отрицательным)

(Я предполагаю aбыть положительным, иначе функция всегда будет отрицательной для больших значений n, что не имеет смысла для функции, обозначающей время выполнения.)

Вы можете попробовать сделать это для верхней границы, это очень похоже. Если вы не знаете, как, я могу предоставить доказательство для вас.

Подсказка: начните с d > a + 1

Внимание

Важно, чтобы вы не доказали это неправильно. Если вы предполагаете, что (an + b) находится в O (n) и идете оттуда, вы не доказали, чего хотели. Вам нужно будет убедиться, что все ваши шаги идут в обе стороны, то есть вместо =>вас <=>.

Когда вы имеете дело с полиномами, вам важна только степень полинома. То есть an + bтебя волнует только n. Если бы это было an^3 + bn^2 + cn + d, вы бы заботились только о n^3.

Таким образом, полином со степенью d всегда будет в Θ(n^d). Просто.

Теперь нам нужно поговорить о разнице между Θ и О. По сути, это та же разница, что и между ==и <=соответственно. Так Θ(n)означает , что она является всегда в постоянном факторе n. O(n)означает, что оно всегда либо в пределах постоянного фактора, nлибо меньше n.

Это означает, что любая функция в Θ(s), для любого s, также будет в O(s). Кроме того, если функция включена Θ(s)и sвсегда меньше, чем какая-либо другая функция t, эта функция включена, O(t)но нет Θ(t).

Для полноты, есть также Ω(n). Если Θпредставляет ==и Oпредставляет <=, Ωпредставляет >=. Так и an + bесть Ω(1), Θ(n)а O(n^2).

Как я уже говорил ранее, действительно легко понять, в каких классах находятся полиномы - вы просто посмотрите на степень. Есть и другие функции, с которыми легко работать.

Любые функции в форме a^bnдля произвольных aи bнаходятся в Θ(a^n). Для любого значения c >= aони находятся в O(c^n). Каждый многочлен находится в O(2^n). По сути, это просто говорит о том, что экспоненциальные функции всегда выбивают многочлены и что база экспоненциальной функции имеет значение.

Логарифмы противоположны. С одной стороны , log_b nв Θ(log n)течение любого b. Это означает, что база не имеет значения для логарифмов. Это имеет смысл, потому что переключение между различными основаниями в логарифмах просто умножается на константу. Логарифмические функции также находятся в O(n)- то есть логарифмическая функция меньше любого полинома (по крайней мере, степени 1).

Учитывая сумму этих функций, самая большая из них "выигрывает". Так и n + log nесть, Θ(n)потому что nтермин доминирует над log nтермином. Умножение сложнее. Для CS единственное, что вам нужно знать, это что nlog nмежду nи n^2.

Не прибегая к большому количеству математики, вы берете функцию f (n) = an + b и отбрасываете все константы, поэтому она выглядит так: f (n) = n, а затем вы берете «n» с наивысшей степенью в качестве ответа QED Θ (п)