Талеб и Черный лебедь

Книга Талеба «Черный лебедь» была бестселлером New York Times, когда вышла несколько лет назад. Книга вышла во втором издании. После встречи со статистиками в JSM (ежегодная статистическая конференция) Талеб несколько смягчил свою критику статистики. Но смысл книги в том, что статистика не очень полезна, потому что она опирается на нормальное распределение и очень редкие события: «Черные лебеди» не имеют нормального распределения.

Как вы думаете, это обоснованная критика? Талеб упускает некоторые важные аспекты статистического моделирования? Можно ли прогнозировать редкие события, по крайней мере, в том смысле, что можно оценить вероятности возникновения?

Я читаю Черного лебедя пару лет назад. Идея Черного лебедя хороша, и атака на нелепую ошибку (видя вещи, как будто они являются играми в кости, с известными вероятностями) хороша, но статистика возмутительно искажена, с центральной проблемой является неправильное утверждение, что вся статистика разваливается, если переменные обычно не распространяются. Я был достаточно раздражен этим аспектом, чтобы написать Талебу письмо ниже:

Уважаемый доктор Талеб

Я недавно прочитал «Черный лебедь». Как и вы, я фанат Карла Поппера, и я согласился со многим, что есть в нем. Я думаю, что ваше изложение ложной ошибки в основном обоснованно и привлекает внимание к реальной и распространенной проблеме. Тем не менее, я думаю, что значительная часть третьей части плохо подводит ваш общий аргумент, вплоть до возможной дискредитации остальной части книги. Это позор, так как я думаю, что аргументы в отношении Черных лебедей и «неизвестных неизвестных» основаны на их достоинствах, не полагаясь на некоторые ошибки в части III.

Основной вопрос, на который я хотел бы обратить внимание - и требовать вашего ответа, особенно если у меня возникли проблемы, - это искажение вами области прикладной статистики. По моему мнению, главы 14, 15 и 16 в значительной степени зависят от аргумента соломенного человека, искажающего представления статистики и эконометрики. Область эконометрики, которую вы описываете, - не та, которой меня учили, когда я изучал прикладную статистику, эконометрику и теорию актуарного риска (в Австралийском национальном университете, но с использованием текстов, которые казались довольно стандартными). Вопросы, которые вы поднимаете (такие как ограничения гауссовых распределений), хорошо и верно поняты и изучены даже на уровне бакалавриата.

Например, вы пойдете на несколько шагов, чтобы показать, как распределение доходов не соответствует нормальному распределению, и представить это как аргумент против статистической практики в целом. Ни один компетентный статистик никогда не станет утверждать, что это так, и способы решения этой проблемы хорошо известны. Например, простое использование методов самого базового уровня «эконометрики первого года», преобразование переменной с помощью ее логарифма сделает ваши численные примеры гораздо менее убедительными. Такое преобразование фактически лишит законной силы многое из того, что вы говорите, потому что тогда дисперсия исходной переменной действительно увеличивается с увеличением ее среднего значения.

Я уверен, что есть некоторые некомпетентные эконометрики, которые проводят регрессию OLS и т. Д. С нетрансформированной переменной отклика, как вы говорите, но это просто делает их некомпетентными и использует методы, которые, как известно, неуместны. Они, безусловно, были бы неудачными даже на курсах бакалавриата, которые проводят много времени в поисках более подходящих способов моделирования переменных, таких как доход, отражающих фактическое наблюдаемое (негауссовское) распределение.

Семейство обобщенных линейных моделей - это один набор методов, разработанный частично для решения проблем, которые вы поднимаете. Многие экспоненциальные семейства распределений (например, гамма-распределения, экспоненциальные распределения и распределения Пуассона) являются асимметричными и имеют дисперсию, которая увеличивается с увеличением центра распределения, что позволяет обойти проблему, на которую вы указали, используя распределение Гаусса. Если это все еще слишком ограничивает, можно вообще отбросить ранее существовавшую «форму» и просто указать связь между средним значением распределения и его дисперсией (например, позволяя дисперсии увеличиваться пропорционально квадрату среднего значения), с использованием метода оценки «квази-правдоподобия».

Конечно, вы можете утверждать, что эта форма моделирования все еще слишком упрощена и интеллектуальная ловушка, которая заставляет нас думать, что будущее будет таким же, как прошлое. Вы можете быть правы, и я думаю, что сила вашей книги в том, чтобы заставить таких людей, как я, задуматься над этим. Но вам нужны аргументы, отличные от тех, которые вы используете в главах 14-16. Большой вес, который вы придаете тому факту, что дисперсия гауссовского распределения постоянна независимо от ее среднего значения (что вызывает проблемы с масштабируемостью), например, недопустима. Так что вы акцентируете внимание на том факте, что реальные распределения имеют тенденцию быть ассиметричными, а не изогнутыми.

По сути, вы взяли одно упрощение самого основного подхода к статистике (наивное моделирование необработанных переменных как гауссовых распределений) и в большой степени продемонстрировали (правильно) недостатки такого упрощенного подхода. Затем вы используете это, чтобы сделать разрыв, чтобы дискредитировать всю область. Это либо серьезная ошибка в логике, либо метод пропаганды. Это прискорбно, потому что это умаляет ваш общий аргумент, большая часть которого (как я уже сказал) я нашел обоснованным и убедительным.

Мне было бы интересно услышать, что вы говорите в ответ. Я сомневаюсь, что я первый поднял этот вопрос.

Искренне Ваш

PE

Я не читал книгу, но, как было сказано, критика кажется мне совершенно необоснованной. Если экстремальные события важны, тогда у статистики есть соответствующие инструменты в наборе инструментов, такие как теория экстремальных значений, и хороший статистик будет знать, как их использовать (или, по крайней мере, узнает, как их использовать, и будет достаточно вовлечен с целью анализ посмотреть). Критика кажется «статистика плохая, потому что есть плохие статистики, которые знают только о нормальных распределениях».

Сказать, что «суть книги в том, что статистика не очень полезна», я думаю, неточно. Прочитав книгу, он, похоже, говорит о том, что такие вещи, как количественные финансы или любой вид торговли ценными бумагами, предполагающий нормальное распределение, в корне ошибочны (фактически, в книге он призывает людей, которые утверждают, что используют эти модели для предсказаний "шарлатаны"). Согласно Талебу, в то время как нормальное распределение делает большую работу по моделированию ценностей материальных / физических вещей (например, рост, вес, продолжительность жизни и т. Д.), Системы, подобные рынкам, часто движимы человеческими эмоциями и, следовательно, склонны к большие колебания, которые нормальные распределения не могут точно предсказать.

Я плохо разбираюсь в статистике, и пока не прочел ответы здесь, я никогда не слышал о таких вещах, как теория экстремальных ценностей. Несмотря на это, у «Черного лебедя» и « Заблуждения по случайности», похоже, есть сходные предпосылки, что является «нормальным распределением, не всегда подходящим». Я не помню, чтобы он порочил всю область статистики.

Я читал «Черный лебедь», мне это нравилось, и я статистик. Я не нашел ее «критику статистики» вообще невыносимой. Точка за точкой:

1. Талеб не придумал концепцию черного лебедя. Это было любимым примером в философской мысли довольно долгое время!
2. Талеб критикует не столько статистику, сколько ее (плохие) приложения.
3. Книга была бестселлером. Он был направлен не на статистиков, а на широкую публику. Он очень хорошо учил публику вещам, которые статистики знали очень хорошо, но многие другие читатели (большинство!) Этого не знали. Таким образом, мы могли бы многому научиться из этой книги о том, как «продавать» статистику.
4. Самое главное (для меня), Талеб включил много ссылок на древнегреческую скептическую философию. Никто другой здесь не упомянул об этом, но я думаю, что включение было реальным преимуществом книги!
5. Книга является литературным произведением, а не техническим произведением. Если вы хотите критиковать Талеба за его техническую работу, зайдите на его домашнюю страницу и загрузите некоторые из его технических статей.

Те, кому не нравится этот ответ или не нравится книга, могут взглянуть на технические аргументы Талеба в новом https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. PDF «Silent риска», который является техническим.

Я не читал Черного лебедя, но если его критика статистики действительно так проста, как вы говорите, то это смешно. Очевидно, что некоторые статистические данные опираются на нормальное распределение, но многое не делает.

Можно ли моделировать редкие события? Конечно могут. Реальный вопрос в том, насколько хорошо они могут быть смоделированы. И этот вопрос будет иметь разные ответы в разных областях, в зависимости от того, сколько мы знаем о редких событиях и их предшественниках.

В сегодняшнем журнале NY Times есть интересная статья Нейта Сильвера о том, как улучшилось прогнозирование погоды за последнее десятилетие или около того. Это включает в себя лучшее моделирование редких событий, таких как ураганы.

Стоит ли читать книгу?

Я также не читал эту книгу, но ни в коем случае его мысль не может быть настолько упрощенной, как утверждение о том, что существуют распределения с более толстыми хвостами, чем нормальное распределение. Это был бы комментарий к другим ответам, но я не накопил достаточно почестей на этом сайте.

Из Википедии:

«Он заявляет, что статистика в целом является неполной, поскольку она не может предсказать риск редких событий ...»

Этот вопрос также очень похож на вопрос: каково мнение сообщества о Четвертом квадранте?

Я настоятельно рекомендую рецензию Денниса Линдли на эту книгу. Он содержит ряд разрушительных аргументов против плохого и высокомерного изложения идей в книге:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

Черный лебедь - еще один пример, когда «бестселлер» не гарантирует высокое качество контента.

Я не думаю, что Талеб фактически сказал бы, что статистические методы, основанные на распределении Гаусса, бесполезны. Его пункт в книге состоял в том, что они очень полезны для многих (но не всех) физических или биологических процессов и моделирования. Он делает некоторые хорошие и плохие замечания («Черный лебедь» и «Связанный» были началом чумы «все - закон силы!», Которая все еще преследует нас сегодня), но важно помнить, что книга представляет собой собрание литературных и философских идей. очерки для мирян.

Тем не менее, я думаю, что Талеб любит раздражать людей. Вы можете увидеть это в его битве с Мироном Скоулзом. В этом случае это могло бы быть полезным в качестве статистического образования на уровне старшекурсников, а иногда и на уровне выпускников, что-то вроде того, что не соответствует предположению о гауссовских распределениях. Я полагаю, что за годы работы в сфере финансов он столкнулся с большим количеством квантов с большим знанием Блэка-Шоулза и других техник, но не принимавших во внимание базовые предположения, такие как распределение. Я подозреваю, что Талеб ткнул в учебное заведение из-за неспособности должным образом обучать.

Те из вас, кто еще не читал книгу, находятся далеко от основания. Он делает БОЛЬШОЕ различие между масштабируемым и масштабируемым. Для не масштабируемых дел традиционные статистические данные будут достаточно хороши. Он не критикует это вообще. Черные лебеди берут начало в масштабируемых и трудно предсказать, исходя из прошлых эмпирических данных. Книга о том, как эти события могут иметь огромное влияние и, как правило, объясняются только после факта. Эпистемология отличная.

Не читая книгу, я чувствую, что колокола Гаусса терпят неудачу, потому что они никогда не давали четкого определения «плотности вероятности»; кроме того, они никогда не дают полный набор точек кривых Лоренца, которые включают в себя одновременно общую распределенную переменную и общую совокупность, которая воспринимает первую. Если используется «плотность», необходимо объяснить, относительно какой переменной; например, если вы говорите о килограммах на литр, это относится к плотности веса, связанной с объемом. Этот шаг не описан теорией Гаусса в учебниках. Неудивительно, что молодые люди не понимают должным образом статистику.