Нет никаких технических причин, по которым это невозможно. Однако не так много причин, почему это не практично. С ограниченным количеством экранного пространства, которое символы представляют на экране, вам будет трудно найти более 256 одновременных цветов на экране.
Насколько я знаю, терминальные клиенты используют индексированное цветовое пространство. Одна из причин этого заключается в том, что в простейшей форме 256 индексированных цветов можно описать одним байтом. В то время как цветовое пространство RGB требует двух или трех байтов. Учитывая, как цвета кодируются в терминальном потоке, каждый цвет будет по крайней мере два байта + любая интеллектуальная разметка. Это может не быть большой проблемой памяти, однако, когда в сетевом потоке в реальном времени это может привести к задержке, особенно (поправьте меня, если я ошибаюсь), каждый символ отправляется в своем собственном пакете.