Как я могу уменьшить потребность в ручном вмешательстве с удаленно развернутым Raspberry Pis?

Я работаю над проектом, который использует Raspberry Pis, который будет развернут в нескольких местах. У них есть специальное оборудование, подключенное к нему для целей автоматизации, и они запускают веб-сервис (который я написал) для доступа к оборудованию. Время от времени мы будем развертывать новое программное обеспечение для Pis - метод еще не определен, и это вызывает серьезную озабоченность.

Мой вопрос: Можете ли вы назвать некоторые идеи или лучшие практики, чтобы уменьшить необходимость ручного вмешательства в случае возникновения проблем? Мне интересно, есть ли какой-либо тип сторожевого устройства, при котором Pi выполняет обычную перезагрузку в случае зависания (может быть, невозможность позвонить домой?), И если он все еще не работает, перезагружается в отказоустойчивый раздел, который может «телефон домой» для решения (либо перезаписать, либо сделать обычную перезагрузку снова, если произошел просто сбой сети).

Я действительно не уверен, что именно я ищу, просто способы, которые не позволят нам звонить или посылать людей для ручной перезагрузки или перезаписи. Схема двойного разбиения казалась полезной, но, возможно, есть и лучшие идеи.

Этот ответ не относится к raspberry pi, но является общим советом для удаленных администрируемых серверов.

1. SSH. Использование защищенной оболочки почти так же хорошо, как и там.

2. последовательная консоль и внешнее администрирование: если вы испортите свой сетевой интерфейс, второй способ входа в систему - это спасение жизни. простым способом было бы использовать идентичный резервный компьютер, работающий в режиме горячего резервирования, с парой последовательных соединений между ними, чтобы каждый мог перезагрузить другой.

3. дистанционное управление питанием: многие центры обработки данных могут отключать питание нефункционирующих серверов удаленно. дорого, но очень приятно.

4. электронная почта: если вы устанавливаете nullmailer и logwatch, вы получаете ежедневные отчеты о состоянии, которые могут помочь в раннем обнаружении сбоев.

5. Примечание по rpi: не храните / var или / tmp на SD-карте, это сократит срок службы SD-карты.