Насколько я могу судить, ViewSwitcher используется, если вы хотите переключаться между двумя представлениями, как вы сказали. Полезно, если у вас есть 2 просмотра, которые вам нужно довольно регулярно просматривать. И класс реализует ViewFactory, если вы хотите его использовать.
Однако ViewFlipper можно использовать, если вы хотите периодически менять представления. Скажем, как будто автоматическое листание какой-то книги. Хотя галерея нестандартных адаптеров в этом намного лучше.
И да, вот и все. Они действительно не намного полезнее, чем ViewAnimator. Почему разработка под Android что-то делает, для меня действительно загадка.
Обычно я бы предпочел использовать ViewAnimator, потому что он дает вам больше свободы и, следовательно, гибкость в дизайне. Но если вам нужны такие функции, как ViewFactory, и у вас есть только 2 представления, используйте ViewSwitcher. Если вы хотите иметь возможность периодически менять представления, используйте ViewFlipper. Если вам ничего не нужно, используйте ViewAnimator.