Я мог бы быть неосновным, но, на мой взгляд, некоторые из лучших тем, на которых следует сосредоточиться, если вы хотите заниматься любительскими задачами, - это дискретная математика: комбинаторика, теория графов и даже комбинаторная геометрия. Это связано с тем, что проблемы в этих сферах вполне доступны, их легко излагать и обдумывать без особого фона.
Это не значит, что вы можете решить их без предыстории: это займет намного больше времени. Но это хорошее место для начала. Кроме того, что может ограничить вас - это доступ к литературе: бумаги, книги и т. Д., Если у вас нет доступа к университетской библиотеке - в этом случае работа над проблемами, которые более «актуальны», означает, что вы с большей вероятностью найдете документы от исследовательских сайтов.
Возможно, что времена математиков-любителей в стиле Ферма прошли, но я действительно в этом сомневаюсь. Я знал людей, которые начали заниматься исследованиями в качестве побочного хобби, и им это так понравилось, что они теперь работают полный рабочий день. И даже если вы этого не сделаете, вы, по крайней мере, получите удовольствие. Как отмечает Алессандро в комментариях, этот сайт - отличный ресурс для вас.