Пример больших данных или пример использования

Я читал много блогов \ статей о том, как разные типы отраслей используют Big Data Analytic. Но в большинстве этих статей не упоминается

1. Какие данные эти компании использовали. Каков был размер данных
2. Какие инструменты технологий они использовали для обработки данных
3. В чем заключалась проблема, с которой они столкнулись, и как понимание, которое они получили, помогло им решить проблему.
4. Как они выбрали инструмент \ технологию, чтобы удовлетворить их потребности.
5. Какую модель они определили по данным и какие шаблоны они искали по данным.

Интересно, может ли кто-нибудь дать мне ответ на все эти вопросы или ссылку, которая хотя бы ответит на некоторые из вопросов. Я ищу пример из реального мира.

Было бы здорово, если бы кто-то рассказал, как финансовая индустрия использует Big Data Analytic.

Новостные агентства, как правило, используют «большие данные» довольно свободно. Продавцы обычно предоставляют тематические исследования, касающиеся их конкретных продуктов. Существует не так уж много для реализации с открытым исходным кодом, но они упоминаются. Например, Apache не собирается тратить много времени на создание тематического исследования для hadoop, но, вероятно, такие производители, как Cloudera и Hortonworks, будут.

Вот пример конкретного случая от Cloudera в финансовом секторе.

Цитирую исследование:

Один крупный глобальный конгломерат финансовых услуг использует Cloudera и Datameer, чтобы помочь идентифицировать мошенническую торговую деятельность. Команды в группе управления активами фирмы проводят специальный анализ ежедневных потоков информации о цене, положении и заказе. Наличие специального анализа всех подробных данных позволяет группе обнаруживать аномалии в определенных классах активов и выявлять подозрительное поведение. Ранее пользователи полагались исключительно на инструменты для работы с электронными таблицами. Теперь, благодаря Datameer и Cloudera, пользователи имеют мощную платформу, которая позволяет им быстрее просеивать больше данных и предотвращать потенциальные потери до их начала.

,

Ведущий розничный банк использует Cloudera и Datameer для проверки точности и качества данных в соответствии с требованиями закона Додда-Франка и других нормативных актов. Интегрируя данные по кредитам и филиалам, а также данные по управлению активами, инициатива банка по обеспечению качества данных отвечает за обеспечение точности каждой записи. Процесс включает в себя более 50 проверок данных и проверку качества данных. Результаты этих проверок изменяются с течением времени, чтобы гарантировать, что допуски для повреждения данных и областей данных не меняются отрицательно и что профили рисков, сообщаемые инвесторам и регулирующим органам, являются разумными и соответствуют нормативным требованиям. Результаты сообщаются через информационную панель по качеству данных директору по рискам и финансовому директору,

Я не видел никаких других связанных с финансами исследований в Cloudera, но я не очень старался. Вы можете посмотреть их библиотеку здесь.

Кроме того, у Hortonworks есть тематическое исследование по торговым стратегиям, где они увидели, что время на разработку стратегии с использованием K-средних, Hadoop и R. сократилось на 20%.

Они не отвечают на все ваши вопросы. Я почти уверен, что оба эти исследования охватили большинство из них. Я не вижу ничего о выборе инструмента конкретно. Я полагаю, что торговые представители имели непосредственное отношение к получению всего продукта в продаже, но сами ученые, работающие с данными, использовали инструменты, которые им наиболее удобны. Я не очень разбираюсь в этой области большого пространства данных.

Financial Services - большой пользователь Big Data и новатор. Одним из примеров является торговля ипотечными облигациями. Чтобы ответить на ваши вопросы для этого:

Какие данные эти компании использовали. Каков был размер данных?

• Длинные истории каждой ипотеки выдаются за последние много лет, а выплаты по месяцам против них. (Миллиарды строк)
• Длинные истории кредитных историй. (Миллиарды строк)
• Индексы цен на жилье. (Не такой большой)

Какие инструменты технологий они использовали для обработки данных?

Различается. Некоторые используют собственные решения, основанные на базах данных, таких как Netezza или Teradata. Другие получают доступ к данным через системы, предоставляемые поставщиками данных. (Corelogic, Experian и т. Д.) Некоторые банки используют технологии колоночных баз данных, такие как KDB или 1010data.

В чем заключалась проблема, с которой они столкнулись, и как понимание, которое они получили, помогло им решить проблему.

Ключевой вопрос заключается в определении того, когда ипотечные облигации (ипотечные ценные бумаги) будут досрочно погашаться или не будут выполняться Это особенно важно для облигаций, в которых отсутствует государственная гарантия. Копаясь в истории платежей, кредитных файлах и понимая текущую стоимость дома, можно предсказать вероятность дефолта. Добавление модели процентной ставки и модели предоплаты также помогает прогнозировать вероятность предоплаты.

Как они выбрали инструмент \ технологию, чтобы удовлетворить их потребности.

Если проект управляется внутренними ИТ-отделами, обычно он базируется на крупных поставщиках баз данных, таких как Oracle, Teradata или Netezza. Если это обусловлено квантами, то они с большей вероятностью напрямую обращаются к поставщику данных или к сторонней системе «Все в».

Какую модель они определили по данным и какие шаблоны они искали по данным.

$100,000,000 being worth that amount, or as little as$

Kaggle имеет краткое изложение приложений:

• http://www.kaggle.com/wiki/DataScienceUseCases

Revolution Analytics опубликовала множество общих тематических исследований, таблиц данных и технических документов:

• http://www.revolutionanalytics.com/resources/case-studies?type[0]=case_study&keys=

Для приложений в науке и технике, вы можете обратиться к тематическим исследованиям Nutonian :

• http://www.nutonian.com/industries/

Analyx рассказал потенциальным клиентам о приложениях в коммерции:

• http://www.analyx.com/en/company/references/cases.aspx

Financial Times опубликовала сборник рассказов о бизнес - приложениях больших данных:

• http://im.ft-static.com/content/images/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf .

McKinsey изложил заявки еще в 2011 году:

• http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation

Другие консалтинговые фирмы сделали аналогичные отчеты.

Gartner создал Hype Cycle для больших данных:

Не говоря уже о тематических исследованиях и официальных документах других компаний, которые хотят продвигать свою продукцию.

Взгляните на бесплатные отчеты о данных O'Reilly . Вы можете найти отчеты по банковскому делу и Fintech, спорт, мода, музыка, здоровье, нефть и газ и так далее.

Имейте в виду, что упомянутый ранее отчет McKinsey является классическим и обязательным к прочтению.