Несколько серверов, действующих как один со всем оборудованием? [закрыто]

К настоящему времени у меня есть 10 серверов для HP, ориентированных на мощные вычисления. Моим пользователям нужно запустить несколько процессов, используя qmake. Пользователи привыкли работать с Ubuntu 9.10, и программное обеспечение из репозиториев для них доступно.

Я развернул Ubuntu 9.10 на всех 10 серверах.

К настоящему времени мы работаем с параллельными-ssh и cluster-ssh, что позволяет так же запускать один и тот же процесс на всех серверах. С помощью этих инструментов эти инструменты серверы остаются независимыми, но с тем же программным обеспечением и той же запущенной командой.

Теперь мы хотели бы перейти к следующему шагу и увидеть все серверы как единый со всеми ресурсами остальных 9, как если бы это были его ресурсы.

Разница будет существенной во времени для обработки, а также во времени для разработки команды для запуска.

Любой совет, какое программное обеспечение использовать будет очень полезно?

Спасибо

То, о чем вы говорите, называется Single System Image (SSI) . Наиболее распространенный вариант этой схемы для Linux реализован MOSIX . Хотя это обеспечивает некоторые преимущества с точки зрения управления системой, в целом процессы не могут охватывать несколько узлов без использования какой-либо формы MPI . В основном, независимо от того, используете ли вы «стандартный» кластер, работающий на gridengine, или вы формируете свои системы в один образ, вам все равно придется изменить все программное обеспечение, чтобы оно могло охватывать несколько узлов.

Кластер - это не одна машина с точки зрения производительности, локальность fs / memory важна для производительности.

Работа на уровне приложений, хотя и менее общая, является более ресурсоэффективной. Ваш пример qmake может быть значительно ускорен путем установки distcc.

в конце я использовал Sun Grid Engine.

Я задокументировал в частной вики, и вырезал и вставил в свой блог. Я думаю, что это может быть полезно даже без перевода. ;)

Запись в блоге: http://suportrecerca.barcelonamedia.org/blog/?p=240

Если кому-то нужен вики-код, просто спросите его здесь.

Благодарю.

Я никогда не реализовывал это раньше, но похоже, что кластер Беовульф будет работать для того, что вы пытаетесь сделать. Я много читал об этом в прошлом, и для некоторых более простых процессов может потребоваться мало перекодирования в зависимости от того, чего вы пытаетесь достичь.