Apt может устанавливать только те материалы, которые есть в репозиториях. Замененные пакеты удаляются из хранилищ. Debian делает более старые версии своих репозиториев доступными в форме, совместимой с apt-get, на snapshot.debian.org, но я не знаю ни одного прямого эквивалента для Ubuntu.
Старые версии пакетов Ubuntu доступны для скачивания на панели запуска. К сожалению, процедура их поиска не особенно очевидна. Насколько я могу судить, вам придется вручную загружать такие пакеты и устанавливать их с помощью dpkg -i.
Если вы переходите к исходному пакету на панели запуска (например, https://launchpad.net/ubuntu/+source/openssl ), вы можете нажать «просмотреть полную историю публикации». Это приведет вас на страницу с длинным списком версий. Найдите тот, который вы хотите, и он перейдет на страницу с этой версией (например, https://launchpad.net/ubuntu/+source/openssl/1.0.1-4ubuntu5.31 ), на этой странице вы найдете ссылки на сборки для разных архитектур, и на этих страницах будут ссылки для загрузки пакетов, созданных из исходного кода. Вы можете загрузить их.
Примечание: в этом случае ссылки на сборки идут на страницы, ссылающиеся на «команду безопасности PPA». Это объясняется тем, что обновления безопасности сначала создаются в PPA, а затем только позже переносятся в основной архив Ubuntu.
PS Обратите внимание, что бинарный пакет "openssl" содержит инструменты. Библиотеки openssl (которые, я думаю, вас действительно волнуют) находятся в пакете "libssl1.0.0".
PPS Если вы не хотите, чтобы ваш следующий запуск обновления apt-get или аналогичного для обновления пакета снова, вам нужно будет установить некоторую форму удержания или закрепления, чтобы остановить это.