Это действительно имеет значение, что вход в алгоритм: как вы определяете группу?
Если вам нужны группы, заданные генераторами и связями, я бы предложил Комбинаторную теорию групп Магнуса, Каррасса и Солитара (но алгоритмы там редки, потому что слишком много важных проблем неразрешимы).
Если вам нужны автоматические группы (группы, элементы которых являются строками символов, а групповые операции выполняются конечными автоматами с приложениями в топологии низкой размерности), я бы предложил обработку текста в группах Эпштейном (не мной!), Cannon, Holt Леви, Патерсон и Терстон.
Если вам нужны группы перестановок (вид теоретико-группового алгоритма, который наиболее актуален, например, для изоморфизма графов), тогда у Сереса есть книга « Алгоритмы групп перестановок», но у меня нет копии, поэтому я не могу сказать вам, хорош ли это.
Здесь должен быть четвертый параграф об алгоритмах матричной группы, но я не знаю книги на эту тему. Есть небольшое освещение в книге Сереса.