В сущности, ядро, предоставляемое вашим дистрибутивом, вероятно, является лучшим для почти всех. Практически каждый дистрибутив выполняет компиляцию всех опций в виде модулей и динамическую загрузку модулей по мере необходимости.
Это хорошее упражнение, особенно если вы заинтересованы в изучении ядра, но с точки зрения повседневной работы выигрыш в производительности на настольном компьютере или рабочей станции будет незначительным или даже не будет существовать, даже с лучшими оптимизациями времени компиляции для ваш конкретный процессор.
Если вы делаете это для образования больше, чем для производительности, то я предлагаю вам попытаться собрать как можно больше разных способов. Скомпилируйте все как модули, затем скомпилируйте все статически (и посмотрите, насколько огромным становится ваше ядро), затем попробуйте скомпилировать минимальное ядро, сохраняя при этом все ваше оборудование работающим. Попробуйте некоторые экспериментальные функции (возможно, на ВМ, хотя ;-)). Веселитесь с этим.