Предполагая, что проблема возникает в ваших остатках (поскольку распределение самой исходной переменной обычно не является проблемой), я бы хотел изучить причину проблемы, а не пытаться «исправить» ее путем преобразования или применения непараметрическая модель.
Если это тот случай, когда кажется, что есть тенденция (например, постепенно становится более или менее нормальным) или четкий разрыв между переходом от нормального к ненормальному, то это предполагает «смену режима» в некотором роде. ваши данные (т. е. механизм генерирования данных меняется со временем) или проблема с отсутствующими переменными.
Если это так, что нет очевидного паттерна (например, периоды времени 1 и 3 выглядят нормально, а периоды времени 2 и 4 - нет), я бы очень внимательно искал проблему целостности данных.
Простой способ проверить, есть ли у вас изменение режима, состоит в том, чтобы оценить модель, используя только «нормальные» периоды времени, а затем пересмотреть, используя другие периоды времени, и посмотреть, какая разница возникает. Более сложный подход заключается в использовании модели скрытого класса, возможно, со временем в качестве сопутствующей переменной.
Что касается вашего вопроса о непараметрических моделях смешанных эффектов, то это зависит от того, что вы подразумеваете под непараметрическими. Если вы имеете в виду модели, которые не предполагают числовую зависимую переменную, то таких моделей много (например, LIMDEP имеет довольно много). Кроме того, имейте в виду, что нарушение предположения о нормальности, вероятно, будет проблематичным только с точки зрения логического вывода, если размер вашей выборки невелик. Один из способов исследовать это - попробовать различные преобразования, которые обсуждались в других комментариях и ответах, и посмотреть, сильно ли это повлияет на ваши выводы.