Можно ли использовать анализ основных компонентов по ценам на акции / нестационарным данным?

Я читаю пример, приведенный в книге « Машинное обучение для хакеров» . Сначала я подробно остановлюсь на примере, а затем расскажу о своем вопросе.

Пример :

Принимает набор данных за 10 лет по 25 ценам на акции. Работает PCA на 25 акций. Сравнивает основной компонент с индексом Доу-Джонса. Наблюдает очень сильное сходство между ПК и DJI!

Из того, что я понимаю, этот пример больше похож на игрушку, чтобы помочь таким новичкам, как я, понять, насколько эффективен инструмент PCA!

Однако, читая из другого источника , я вижу, что цены на акции не являются стационарными, и использование PCA по ценам на акции абсурдно. Источники, из которых я читал, полностью высмеивают идею вычисления ковариации и PCA для цен акций.

Вопросы :

Как пример работал так хорошо? PCA цен на акции и DJI были очень близки друг к другу. И данные являются реальными данными за 2002-2011 гг.
Может ли кто-нибудь указать мне хороший ресурс для чтения стационарных / нестационарных данных? Я программист. У меня хороший математический фон. Но я не занимался серьезной математикой в течение 3 лет. Я снова начал читать о таких вещах, как случайные прогулки и т. Д.

— Клавдий
источник

Ответы:

Эта часть служит для частичного ответа на первоначальный вопрос и некоторые вопросы, поднятые в комментариях к ответу @ JonEgil.

Финансовая (логарифмическая) доходность * приблизительно (хотя часто наблюдается некоторая условная гетероскедастичность), в то время как цены представляют собой приблизительно случайные колебания. В предположении наблюдений анализ главных компонентов будет напрямую обобщаться от выборки к совокупности (т.е. главные компоненты выборки будут оценивать главные компоненты совокупности), но это может не выполняться при наблюдениях - см. Эту ветку . Вот почему имеет смысл использовать PCA на (логарифмической) доходности, а не на ценах. $i.i.d.$ $i.i.d.$ $i.i.d.$

Ruey S. Tsay приводил доводы в пользу использования PCA для остатков из эконометрических моделей финансовых временных рядов, поскольку обычно предполагается, что остатки находятся в Я думаю, что эта идея может быть включена в его «Анализ многомерных временных рядов с использованием R и финансовых приложений». учебник (он объяснил мне идею лично, поэтому я не уверен, где она написана). $i.i.d.$

* Логарифмическая доходность цены определяется как . Логарифмические возвраты используются для удобства вместо процентных возвратов . Удобная особенность логарифмических возвратов состоит в том, что вы можете суммировать отдельных логарифмических возвратов, чтобы получить общий логарифмический возврат за периодов, в то время как это не относится к процентным доходам. Для сравнительно небольших процентных возвратов (что часто встречается в финансах) логарифмическая доходность примерно равна процентной доходности, поскольку логарифм имеет приблизительно единичный наклон около единицы. $P_t$ $r:=\text{log}(P_t)-\text{log}(P_{t-1})=\text{log}\frac{P_t}{P_{t-1}}$ $r':=\frac{P_t-P_{t-1}}{P_{t-1}}$ $h$ $h$

— Ричард Харди
источник

+1, это интересно. Можете ли вы немного рассказать о том, что на самом деле является «возвращением»? Мои знания по экономике равны нулю; Я гуглил и обнаружил, что если цена определяется временными рядами , то возврат определяется как . Это верно? Если так, то почему логарифм? Я бы понял ваш аргумент о связи между возвратами iid и ценами случайного блуждания, если бы доходы определялись как различия. Кроме того, DJ - это средняя цена, поэтому я до сих пор не понимаю, почему доходность PC1 должна быть лучше, чем цена PC1, даже учитывая ваши соображения по поводу iid.

f (t_{i})

$f(t_i)$

\log \frac{f (t_{i + 1})}{f (t_{i})}

$\log\frac{f(t_{i+1})}{f(t_i)}$

— амеба

@amoeba, я добавил быстрое объяснение и должен уйти. Я надеюсь, что я не сделал слишком много ошибок там. Я вернусь завтра, если будут какие-то дальнейшие проблемы.

— Ричард Харди

Спасибо. Теперь я вижу, что доходность (логарифмическая доходность) по сути является производной (первое отличие) от логарифма цен. Так что, если утверждение состоит в том, что возвраты являются iid, а логарифмические записи - случайными шагами, то это имеет смысл. Однако я все еще удивлен примером Доу-Джонса и буду признателен за любые дополнительные разъяснения.

— амеба

Я профессионально провожу эти виды анализа и могу подтвердить, что они действительно полезны. Но, пожалуйста, убедитесь, что вы анализируете доходы, а не цены. Это также подчеркивается критикой в Slender Means:

To perform PCA, your data have to have a meaningful covariance matrix 
(or correlation matrix, but the conditions are equivalent). They analyze 
stock prices, which are non-stationary time series variables.

Типичный пример использования в нашем анализе - количественная оценка системного риска на рынке. Чем больше совместного движения на рынке, тем меньше диверсификации в вашем портфеле. Это может быть, например, оценено количественно по величине дисперсии, описанной первым основным компонентом. Который идентичен значению первого собственного значения.

Для финансовых данных обычно проверяют движущееся окно во времени. Некоторая форма фактора затухания, которая снижает старые наблюдения, полезна. Для ежедневных данных, от 20 до 60 дней, для еженедельных данных может быть 1-2 года, все в зависимости от ваших потребностей.

Обратите внимание, что для глобальных финансовых рынков, где цены на активы изменяются десятки или сотни тысяч, один типичный пример не может использовать ковариационную матрицу 100К против 100К. Вместо этого типичным вариантом использования является проведение анализа по стране, по сектору или другим более значимым группам. В качестве альтернативы разбейте доходность с помощью набора основных факторов (стоимость, размер, качество, кредит ....) и проведите анализ PCA / Covariance по ним.

Некоторые хорошие статьи включают в себя обсуждение Аттилио Меуччи эффективного количества ставок: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1358533

а также Ledoit и Wolf's Honey I сократили образец ковариационной матрицы http://www.math.umn.edu/~bemis/MFM/2014/spring/References/lw_shrinkage.pdf

Для финансово ориентированного введения в стационарность, почему бы не начать с Investopedia. Это не строгое, но передает основные идеи.

Удачи!

РЕДАКТИРОВАТЬ: Вот пример с 3 акциями, показывающий Apple, Google и Dow Jones с ежедневной доходностью до 2015 года. Верхний треугольник показывает корреляцию прибыли, нижний треугольник показывает корреляцию цен.

Как видно, Apple имеет более высокую ценовую корреляцию с Dow (слева внизу 0,76), чем с обратной корреляцией (вверху справа 0,66). Что мы можем извлечь из этого? Немного. У Google отрицательная ценовая корреляция как с Apple (-0,28), так и с Dow (-0,27). Опять же, не многому научиться из этого. Однако обратная корреляция говорит нам о том, что Apple и Google имеют довольно высокую корреляцию с Dow (0,66 и 0,53 соответственно). Это говорит нам кое-что о совместном движении (изменении цены) активов в портфеле. Это полезная информация.

Суть в том, что, хотя соотношение цены может быть легко вычислено, это не интересно. Почему? Потому что цена акции сама по себе не интересна. Цена изменения , однако, очень интересно.

— Джон Эгиль
источник

Не могли бы вы подробнее остановиться на основной части вопроса, которая касается разницы между использованием цены и прибыли? Я понимаю, что при использовании цен на матрицу корреляции будут влиять нестационарности; например, если все цены линейно растут, то все корреляции будут сильно положительными. Во-первых, почему это плохо? В частности, учитывая, что Dow Jones - это, по сути, средняя цена, и она тоже будет расти (как и PC1). Во-вторых, как может помочь использование возвратов? AFAIK "возвраты" - это зарегистрированные коэффициенты соседних точек; почему это имеет значение и как это связано с Доу Джонсом?

— амеба

спасибо за ваш информативный ответ. Но это не отвечает на мой вопрос. Я хочу понять, почему анализ цен работает очень хорошо для набора данных в книге? И амеба подняла много актуальных вопросов.

— Клавдий

@claudius: тот факт, что PCA по ценам дает нечто похожее на Dow Jones, который является средней ценой, вовсе не удивителен. Мне довольно интересно, почему PCA на возвратах дает лучшее соответствие. Возможно, Джон сможет уточнить.

— амеба

Я не смотрел на фактический код, запущенный в ML для хакеров, но всякий раз, когда кто-то говорит, что он анализирует цены, 99 из 100 фактов, которые они на самом деле анализируют, являются лог-возвратами. Например, сегодня Dow упал на 162 пункта, а Apple - на 0,88 доллара. Мало того, что цифры сильно различаются, они даже находятся в другом масштабе, индексные очки против денег. Но в процентном соотношении 0,91% и 0,75% сопоставимы и числа, с которыми вы хотите работать. Для некоторого анализа можно отклонить данные, вычтя среднее значение. В краткосрочных финансовых временных сериях это часто игнорируется, при условии отсутствия тенденции.

— Джон Эгил

@amoeba, чтобы (частично) ответить на вопросы, поднятые в комментариях, доходность примерно равна, а цены примерно случайные. Главные компоненты имеют свои приятные свойства при условии, что Iid наблюдений. Вот почему имеет смысл запускать PCA по доходам, а не по ценам. Ruey S. Tsay высказался за использование PCA для остатков из эконометрических моделей финансовых временных рядов, поскольку обычно предполагается, что остатки были бы найдены, я думаю, это могло бы быть включено в его учебник «Анализ многомерных временных рядов с использованием R и финансовых приложений».

— Ричард Харди