У меня есть небольшой список компаний, которые предоставляют платформу для запуска R, Python или октавных сценариев на кластерах, построенных на основе Amazon EC2. Есть ли другие имена, которые я должен добавить?
У меня есть небольшой список компаний, которые предоставляют платформу для запуска R, Python или октавных сценариев на кластерах, построенных на основе Amazon EC2. Есть ли другие имена, которые я должен добавить?
Ответы:
Я не использовал эти фирмы, но это только некоторые из вариантов. Однако настроить на EC2 очень просто. По крайней мере, после того, как вы оцепенели, достаточно сильно и часто ударяя головой о стену. Это также увеличивает ваш болевой порог. Детям в наши дни намного проще. Когда я только начинал, мы занимались туманными вычислениями: у нас не было самого туманного того, что мы вычисляли.
Помимо воспоминаний ... Инструменты и ресурсы существуют, чтобы обойти этих поставщиков и начать самостоятельно. С помощью JD Long сталоsegue
проще начать использовать R на EMR.
Что касается Python, boto - это пакет, который позволяет легко запускать и запускать Python на EC2. Также довольно легко настроить Python и запустить его на Google AppEngine , если вы готовы рассмотреть альтернативу EC2. Если вы знакомы с Python, то на самом деле нет необходимости нанимать компанию, которая сделает за вас подъем, если вы не знакомы с масштабированием, разделением, балансировкой нагрузки и т. Д. Даже на концептуальном уровне. С другой стороны, если вы планируете тратить много денег на такие сервисы, неплохо бы узнать, как сделать ваш код эффективным.
Что касается Octave в облаке, я понятия не имею, что существует, кроме этих трех компаний. Аналитики Monkey предлагали это, но, кажется, они ушли. Я бы порекомендовал избегать Octave и сосредоточиться на Python или R.
Одним из ресурсов, облегчающих настройку, является StarCluster . Опять же, нет опыта с ними, но это может быть полезным маршрутом.
Честно говоря, Ubuntu (или Windows) и EC2 не так сложны в освоении. Я бы не стал рекомендовать Windows для R, так как среди разработчиков R и Windows не так много любви. (NB. Насколько я могу судить , серьезных облачных сервисов Mac OS X не существует.) Если у вас есть удаленный рабочий стол, вы в бизнесе. Обучение масштабированию - это следующий шаг.
Обновление 1. Другие, более общие, облачные сервисы управления включают RighstScale и Scalr.
Обновление 2: я хочу подчеркнуть, что важно научиться настраивать свои экземпляры и кластеры в облаке для себя. Среди преимуществ практической работы:
gputools
)Существуют преимущества использования управляемого поставщика, такие как более короткая кривая обучения, возможно, лучшая поддержка для совместного использования ресурсов между группами, и, возможно, некоторые приятные вещицы, но я не могу говорить о преимуществах, так как я начал использовать EC2 до того, как любой из этих пришел на рынок.
Также есть PiCloud для параллельного запуска кода Python на EC2.
С их страницы продукта :
PiCloud - это платформа облачных вычислений, которая интегрируется в язык программирования Python. Это позволяет вам использовать вычислительную мощь Amazon Web Services без необходимости управлять, обслуживать или настраивать виртуальные серверы.
PiCloud легко интегрируется в существующую кодовую базу через пользовательскую библиотеку Python, облачную. Чтобы переложить выполнение функции на наши серверы, все, что вам нужно сделать, это передать желаемую функцию в облачную библиотеку. PiCloud запустит функцию на своем высокопроизводительном кластере. Когда вы запускаете больше функций, наш кластер автоматически масштабируется для удовлетворения ваших вычислительных потребностей. Попасть в облако еще никогда не было так просто!
Вы пробовали CloudStat раньше? В отличие от других облаков, CloudStat предназначен только для пользователей языка R. Там нет больше настроек. Вы можете просто войти и использовать до 7,5 ГБ оперативной памяти бесплатно.
Однако, при бесплатной учетной записи, ваш анализ будет просмотрен и использован публикой. Опция - платить 5 долларов в месяц, чтобы сделать свой анализ приватным.
Одна из платформ облачных вычислений, которую я могу порекомендовать, - это Backbone, которая предоставляет безопасную платформу для облачных вычислений, повышающую производительность .