Линейная и нелинейная регрессия

У меня есть набор значений и которые теоретически связаны экспоненциально:$x$$y$

$y = ax^b$

Одним из способов получения коэффициентов является применение натуральных логарифмов с обеих сторон и подгонка линейной модели:

> fit <- lm(log(y)~log(x))
> a <- exp(fit$coefficients[1])
> b <- fit$coefficients[2]

Другой способ получить это - использовать нелинейную регрессию, учитывая теоретический набор начальных значений:

> fit <- nls(y~a*x^b, start=c(a=50, b=1.3))

Мои тесты показывают лучшие и более связанные с теорией результаты, если я применяю второй алгоритм. Тем не менее, я хотел бы знать статистическое значение и значение каждого метода.

Какой из них лучше?

«Лучше» - это функция вашей модели.

Частично причина вашего замешательства в том, что вы написали только половину своей модели.

$y=ax^b$$y$$ax^b$

Например, две упомянутые вами модели (не единственно возможные модели) делают совершенно разные предположения об ошибке.

$E(Y|X=x) = ax^b\,$,

$Y$$x$

• Когда вы подходите к нелинейной модели наименьших квадратов, вы говорите, что ошибки аддитивны, а стандартное отклонение ошибок постоянно для данных:

  $\: y_i \sim N(ax_i^b,\sigma^2)$

  или эквивалентно

  $\: y_i = ax_i^b + e_i$$\text{var}(e_i) = \sigma^2$

• напротив, когда вы берете журналы и подгоняете линейную модель, вы говорите, что ошибка является аддитивной в масштабе журнала и (в масштабе журнала) постоянной для данных. Это означает, что в масштабе наблюдений термин ошибки является мультипликативным , и поэтому ошибки больше, когда ожидаемые значения больше:

  $\: y_i \sim \text{logN}(\log a+b\log x_i,\sigma^2)$

  или эквивалентно

  $\: y_i = ax_i^b \cdot \eta_i$$\eta_i \sim \text{logN}(0,\sigma^2)$

  $\text{E}(\eta)$$\sigma^2$

(Вы можете делать наименьшие квадраты, не предполагая нормального / логнормального распределения, но обсуждаемая центральная проблема по-прежнему применима ... и если вы не приблизились к нормальности, вам, вероятно, все равно следует рассмотреть другую модель ошибок)

То, что лучше, зависит от того, какая модель ошибок описывает ваши обстоятельства.

$y$$x$$x$

Когда вы подходите к любой модели, вы предполагаете, что набор невязок (расхождений между наблюдаемыми и прогнозируемыми значениями Y) соответствует распределению Гаусса. Если это предположение верно для ваших необработанных данных (нелинейная регрессия), то оно не будет верным для лог-преобразованных значений (линейная регрессия), и наоборот.

Какая модель "лучше"? Тот, где предположения модели наиболее точно соответствуют данным.