Наука о данных

Я ищу информацию о том, как организовать проект машинного обучения Python. Для обычных проектов Python есть Cookiecutter, а для R ProjectTemplate . Это моя текущая структура папок, но я смешиваю ноутбуки Jupyter с реальным кодом Python, и это не очень понятно. . ├── cache ├── data ├── my_module ├── logs …

10 python 

У меня есть большая таблица SQL, которая по сути является журналом. Данные довольно сложные, и я пытаюсь найти способ идентифицировать аномалии без понимания всех данных. Я нашел много инструментов для обнаружения аномалий, но большинство из них требует своего рода «среднего человека», то есть Elastic Search, Splunk и т. Д. Кто-нибудь …

10 sql  anomaly-detection  outlier 

Сегодня на лекции было заявлено, что направление ребер в байесовской сети не имеет большого значения. Они не должны представлять причинность. Очевидно, что вы не можете переключить ни одного ребра в байесовской сети. Например, пусть с и . Если вы переключите на , то больше не будет ациклическим и, следовательно, не …

10 bayesian-networks 

Я пытался понять различные алгоритмы кластеризации k-средних, которые в основном реализованы в statsпакете Rязыка. Я понимаю алгоритм Ллойда и онлайн-алгоритм МакКуина. Я понимаю их следующим образом: Алгоритм Ллойда: Первоначально выбираются случайные наблюдения «k», которые будут служить центроидами кластеров «k». Затем выполняются следующие шаги в итерации, пока центроиды не сходятся. Евклидово …

10 r  clustering  k-means 

В CrossValidated есть похожий вопрос, и я прочитал ответы. Мой вопрос немного другой. Я не хочу просто визуализировать свои данные, и на самом деле то, что я хочу визуализировать, нелегко визуализировать с помощью любого пакета. У меня есть два набора точек ( координаты ) на моем графике. Я хочу добавить …

10 r  visualization  ggplot2 

Я часто использую Nose, Tox или Unittest при тестировании моего кода на Python, особенно когда он должен быть интегрирован с другими модулями или другими частями кода. Однако теперь, когда я обнаружил, что использую R больше, чем python, для моделирования и разработки ML. Я понял, что на самом деле не тестирую …

10 r  software-development 

Мне было поручено проанализировать журналы сервера нашего приложения, которые содержат журналы исключений, журналы событий журналов базы данных и т. Д. Я новичок в машинном обучении, мы используем Spark с упругим поиском и Sparks MLlib (или PredictionIO). Пример желаемого В результате можно было бы прогнозировать на основе собранных журналов исключений, чтобы …

10 machine-learning  predictive-modeling  apache-spark 

Я рассчитываю разработать систему, которая с учетом абзаца текста сможет классифицировать его и определить контекст: Обучается с пользовательскими текстовыми параграфами (например, комментарии / вопросы / ответы) Каждый элемент в обучающем наборе будет помечен. Так, например, («категория 1», «текстовый абзац») Там будут сотни категорий Каков наилучший подход к созданию такой системы? …

10 neural-network  text-mining  multiclass-classification  word-embeddings 

Я учусь лучше всего через эксперименты и пример. Я изучаю нейронные сети, и у меня есть (что я думаю) довольно хорошее понимание классификации и регрессии, а также обучения под наблюдением и без него, но я наткнулся на то, чего не могу понять; Если бы я хотел обучить ИИ играть в …

10 machine-learning  neural-network 

Я только что прочитал статью Джеффа Хинтона о преобразовании автоэнкодеров Хинтон, Крижевский и Ван: Преобразование авто-кодировщиков . В искусственных нейронных сетях и машинном обучении, 2011. и очень хотел бы поиграть с чем-то вроде этого. Но, прочитав его, я не смог получить достаточно подробностей из статьи о том, как я мог …

10 neural-network  deep-learning  autoencoder 

У меня есть фрейм данных панд (X11), как это: На самом деле у меня есть 99 столбцов до dx99 dx1 dx2 dx3 dx4 0 25041 40391 5856 0 1 25041 40391 25081 5856 2 25041 40391 42822 0 3 25061 40391 0 0 4 25041 40391 0 5856 5 40391 …

10 python  data-cleaning  pandas  anaconda 

У меня уже есть работающая реализация для одного агента, работающего над проблемой динамического ценообразования с целью максимизации дохода. Однако проблема, с которой я работаю, связана с несколькими различными продуктами, которые заменяют друг друга, поэтому динамическое ценообразование их всех с независимыми учениками кажется неправильным, потому что цена одного влияет на вознаграждение …

10 machine-learning  reinforcement-learning 

Я видел впечатляющий результат от моделей LSTM, производящих тексты, подобные Шекспиру. Мне было интересно, существует ли пакет LSTM для R. Я гуглил его, но нашел только пакеты для Python и Julia. (возможно, есть некоторая проблема с производительностью, которая объясняет, почему эти программы более предпочтительны, чем R). Знаете ли вы о …

10 r  neural-network  rnn 

Я ищу сайт или книгу, где приводятся несколько практических примеров, объясняющих, как они выбирают соответствующие функции, процедуру выбора модели и т. Д ...

10 machine-learning  feature-selection 

У меня есть большой набор данных с 9-метровыми объектами JSON по ~ 300 байт каждый. Это сообщения из агрегатора ссылок: в основном ссылки (URL, заголовок и идентификатор автора) и комментарии (текст и идентификатор автора) + метаданные. Они вполне могут быть реляционными записями в таблице, за исключением того факта, что у …

10 data-mining  bigdata  databases  sql  mongodb