IMHO, если вы планируете разрабатывать только для 4.0, я бы порекомендовал использовать собственные библиотеки, поскольку исполняемый файл станет меньше. Это правда, что вы можете столкнуться с проблемами ошибок в ранних версиях, но я думаю, что большинство из них должно быть довольно тривиально, чтобы их можно было обойти. Также предполагается, что библиотека совместимости сопоставляется с собственными фрагментами, если вы все равно используете 4.0 и выше. Так что вам все равно придется бороться с подобными проблемами. Проблема с библиотеками поддержки заключается в том, что многие классы появляются дважды (один раз в структуре пакета поддержки и один раз в «собственной» структуре пакета), что делает разработку немного более громоздкой.
Однако, если вы хотите также выпустить свое приложение до версии 4.0, тогда нет возможности обойтись без библиотеки поддержки. Кроме того, поскольку около 38% всех пользователей используют 2.3, может иметь смысл включить эту версию ОС. В таком случае вы можете использовать библиотеку поддержки в сочетании с Jake Wartons ActionBarSherlock (или с библиотекой ActionBar, поддерживающей Google, после ее окончательного выпуска).