Алгоритмы высшего порядка

Большинство известных алгоритмов первого порядка в том смысле, что их ввод и вывод являются «простыми» данными. Некоторые из них являются вторым порядком тривиальным способом, например, сортировка, хеш-таблицы или функции map и fold: они параметризуются функцией, но на самом деле они не делают с ней ничего интересного, кроме как вызывают ее для фрагментов других входных данных.

Некоторые из них также второго порядка, но несколько интереснее:

• Пальцы, параметризованные моноидами
• Расщепление дерева пальцев на однообразный предикат
• Алгоритмы суммирования префиксов, опять же обычно параметризованные моноидом или предикатом и т. Д.

Наконец, некоторые из них «действительно» более высокого порядка в том смысле, который мне наиболее интересен:

• Y комбинатор
• Списки различий

Существуют ли другие нетривиальные алгоритмы высшего порядка?

В попытке прояснить мой вопрос, под «нетривиальным высшим порядком» я подразумеваю «использование средств вычислительного формализма более высокого порядка критически в интерфейсе и / или реализации алгоритма»

На http://math.andrej.com/ есть много функций высшего порядка , например, в посте о двойных экспонентах появляется следующий тип языка Haskell (с расширенными синонимами типа):

shift :: Bool -> ((Int -> Bool) -> Bool) -> ((Int -> Bool) -> Bool)

Вы также можете получить массу удовольствия от поста «Монада Хаскелла для бесконечного поиска за конечное время», например:

newtype S a = S ((a -> Bool) -> a)
bigUnion :: S (S a) -> S a

Я думаю, что тип bigUnion 4-го или 5-го порядка!

Есть множество алгоритмов, которые «действительно 2-го порядка», хотя обычно не описаны явно в этих терминах. Всякий раз, когда у нас есть сублинейные алгоритмы времени, неявный - это своего рода доступ к входу оракула, то есть действительно обработка входа как функции.

Примеры:

(1) Алгоритмы эллипсоидов при работе с «оракулом разделения» (например, http://math.mit.edu/~vempala/18.433/L18.pdf )

(2) Минимизация субмодулярных функций (например, http://people.commerce.ubc.ca/faculty/mccormick/sfmchap8a.pdf )

(3) Вся область тестирования свойств действительно имеет такую ​​форму ( http://www.wisdom.weizmann.ac.il/~oded/test.html )

(4) Комбинаторные аукционы в модели запросов (например, http://pluto.huji.ac.il/~blumrosen/papers/iter.pdf )

На этот вопрос есть другой ответ: их нет. Более конкретно, любой такой (реализуемый!) Алгоритм более высокого порядка механически эквивалентен алгоритму первого порядка с использованием дефункционализации .

Позвольте мне быть более точным: хотя действительно существуют алгоритмы высшего порядка, на практике всегда можно переписать каждый экземпляр как программу первого порядка. Другими словами, не существует насыщенных программ высшего порядка - в основном потому, что ввод / вывод программ - это битовые строки. [Да, эти битовые строки могут представлять функции, но в том-то и дело: они представляют функции, они не являются функциями].

Ответы, которые уже даны, превосходны, и мой ответ не должен рассматриваться как противоречащий им. Это следует рассматривать как ответ на вопрос из более широкого контекста (полные программы вместо автономных алгоритмов). И это изменение контекста меняет ответ довольно радикально. Суть моего ответа - напомнить людям об этом, что слишком легко забыть.

В библиотеках комбинатора синтаксического анализа порядок функции обычно довольно высок. Проверьте даже функции высшего порядка для разбора или почему кто-то когда-либо хотел использовать функцию шестого порядка? Крис Окасаки. Журнал функционального программирования , 8 (2): 195-199, март 1998.

Вычислительный анализ программно характеризует действительные числа, так как действительные числа содержат неограниченный объем информации, и поэтому операции с действительными числами имеют более высокий порядок в смысле вопросов. Как правило, действительные числа представляются с использованием топологического представления о бесконечном потоке битов, пространстве Кантора, что представляет интерес для более широкого поля вычислимой топологии.

Клаус Вейрах говорил об этом как о иерархии второго типа эффективности вычислимой топологии. Подробнее об этом см. В Weihrach & Grubba, 2009, Elementary Computable Topology , и на исследовательской странице Джона Такера « Вычисления с топологическими данными» . Я упоминаю страницу Такера в моем вопросе, Применения Пространства Кантора .

Модуль непрерывности функционала представляет собой карту , mкоторая принимает (непрерывный) функциональна F : (nat -> nat) -> natи выводит число kтаких , что F f = F gвсякий раз , когда f i = g iдля всех i < k. Существуют алгоритмы для вычисления модуля непрерывности (не очень эффективные), что делает его экземпляром алгоритма 3-го порядка.

Чтобы дополнить ответ Ноама , есть также несколько ситуаций, когда важно, чтобы выходные данные были (явным представлением) функции.

$C: \\{0,1\\}^n \rightarrow \\{0,1\\}^m$$A$ $(\alpha,L,\epsilon)$$C$$n$$A$$M_1,\dots,M_L$

$\begin{align}\forall w \in \\{0,1\\}^m, Pr_A [&\forall m,~(Ag(C(m),w) \geq \alpha \Rightarrow \\\ &\exists i \in [L],~\forall j \in [n],~Pr_{M_i}[M_i(j) = m_j] \geq 1-\epsilon)] \geq 2/3\end{align}$

$Ag$ denotes the fraction of coordinates that the two strings agree on. In other words, for every received word, the output of $A$ must contain, with probability at least $2/3$, a machine that $\epsilon$-approximates $m$ for every message $m$ whose encoding agrees with at least $\alpha$ fraction of the coordinates of the received word.

In graph algorithms, vertices and edges are usually thought of as being plain data but they can actually be productively generalized so that they are programmatically generated on-demand.

During my PhD (in computational chemistry) I implemented many graph algorithms in higher-order form in order to apply them to the analysis of implicit graphs, mainly because my actual graphs were infinite so I could not afford to store them explicitly! Specifically, I was studying the topology of amorphous materials represented as 3D tilings of unit cells (supercells).

For example, you can write a function to compute the nth-nearest neighbor shell of an origin vertex i like this:

nth i 0 = {i}
nth i 1 = neighbors i
nth i n = diff (diff (fold union empty (map neighbors (nth i (n-1)))) (nth i (n-1))) (nth i (n-2))

where neighbors is a function that returns the set of neighboring vertices to the given vertex.

For example, the 2D square lattice:

neighbors (x, y) = {(x-1, y), (x+1, y), (x, y-1), (x, y+1)}

Other interesting algorithms in this context include Franzblau's shortest path ring statistics.