Библиотеки - это просто файлы на вашем диске, они ничего не делают, пока вы не запустите программу, которая их использует. Они не будут автоматически загружены в все программы (это было бы очень бесполезно). Поэтому просто их установка не должна влиять ни на что другое.
Тем не менее, некоторые менеджеры пакетов может стать медленнее, если у вас установлено слишком много пакетов. Я думаю, что Debian apt-get
раньше становился медленнее со временем.
Кроме того, иногда программы перетаскивают другие зависимости - в том числе сервисы, а не только библиотеки. (Например, медиаплееры могут использовать avahi-daemon или что-то в этом роде.) В некоторых дистрибутивах, таких как Debian, службы устанавливаются по умолчанию при установке (даже если они не нужны), что также может замедлять работу.
(Хотя даже тот не должен делать общее использование медленнее. Даже если бесполезный мусор занимает время Начните обычно это не использовать любой процессор при простое.)