Да вы правы. Проблема в X11, XQuartz и их отсутствии поддержки Retina Display. Это давно известная проблема .
В связанной теме, jeremyhu заявляет:
X11 просто плохо работает для разрешений вне диапазона 72-90 точек на дюйм. Это восходящая проблема X11, которую нужно решить, прежде чем мы действительно сможем что-то с этим сделать в XQuartz.
Не уверен, что это поможет вам, но, по крайней мере, с августа прошлого года RealVNC поддерживает дисплеи Retina.
Кроме того, вы можете попробовать запустить X11 с дисплеем Retinia с полным разрешением, чтобы проверить, не уменьшает ли это проблему. Вы можете сделать это с помощью SwitchResX, среди прочего программного обеспечения, доступного для доступа к другим разрешениям.
SwitchResX - это коммерческое стороннее приложение, но его можно попробовать бесплатно и загрузить . Возможно, из-за того, что это технически хакерство - использовать полное разрешение дисплеев Retina, он недоступен в Mac App Store.
Другой вариант - использовать технологию NoMachine nxclient / nxserver. Я не могу найти ничего, что говорит о том, что у него есть поддержка Retina Display, но сообщение на их форумах наводит меня на мысль, что в текущей версии есть хоть какая-то поддержка разрешений Retina Display.