Как сделать кусочно-линейную регрессию с несколькими неизвестными узлами?

Есть ли пакеты для кусочно-линейной регрессии, которые могут автоматически определять несколько узлов? Благодарю. Когда я использую пакет Strucchange. Я не мог обнаружить точки изменения. Я понятия не имею, как он обнаруживает точки изменения. Из графиков я мог видеть, что есть несколько моментов, которые могут помочь мне выбрать их. Может ли кто-нибудь привести пример здесь?

Подойдет ли MARS ? R имеет пакет, earthкоторый реализует его.

В общем, немного странно хотеть подгонять что-то как кусочно-линейное. Однако, если вы действительно хотите это сделать, то алгоритм MARS является наиболее прямым. Он будет создавать функцию по одному узлу за раз; и затем обычно сокращает количество узлов для борьбы с чрезмерно подходящими деревьями решений. Вы можете получить доступ к алгоритму MARS в R с помощью earthили mda. В целом, это подходит для GCV, который не так далек от другого информационного критерия (AIC, BIC и т. Д.)

MARS не даст вам «оптимальной» подгонки, так как сучки выращиваются по одному. Действительно, было бы довольно сложно подобрать по-настоящему «оптимальное» количество узлов, так как возможные варианты размещения узлов быстро взорвались бы.

Как правило, именно поэтому люди поворачиваются к сглаживанию сплайнов. Большинство сглаживающих сплайнов имеют кубическую форму, так что вы можете обмануть человеческий глаз, пропуская разрывы. Однако было бы вполне возможно сделать линейный сглаживающий сплайн. Большим преимуществом сглаживания сплайнов является их единственный параметр для оптимизации. Это позволяет вам быстро найти действительно «оптимальное» решение без необходимости искать множество перестановок. Однако, если вы действительно хотите искать точки перегиба, и у вас достаточно данных для этого, то, вероятно, лучше подойдет что-то вроде MARS.

Вот пример кода для штрафованных линейных сглаживающих сплайнов в R:

require(mgcv);data(iris);
gam.test <- gam(Sepal.Length ~ s(Petal.Width,k=6,bs='ps',m=0),data=iris)
summary(gam.test);plot(gam.test);

Однако фактические выбранные узлы не обязательно будут коррелировать с какими-либо точными точками перегиба.

Я программировал это с нуля один раз несколько лет назад, и у меня есть файл Matlab для выполнения кусочной линейной регрессии на моем компьютере. Приблизительно от 1 до 4 контрольных точек в вычислительном отношении возможно для примерно 20 точек измерения или около того. 5 или 7 контрольных точек начинают становиться слишком много.

Чисто математический подход, как я понимаю, состоит в том, чтобы попробовать все возможные комбинации, предложенные пользователем mbq в вопросе, связанном с комментарием ниже вашего вопроса.

Поскольку все выровненные линии являются последовательными и смежными (без перекрытий), комбинаторика будет следовать треугольнику Паскаля. Если бы между использованными точками данных были отрезки отрезков линий, я полагаю, что комбинаторика будет следовать вместо чисел Стирлинга второго рода.

Лучшее решение на мой взгляд, это выбрать комбинацию подогнанных линий, которая имеет самое низкое стандартное отклонение значений корреляции R ^ 2 подогнанных линий. Я постараюсь объяснить на примере. Имейте в виду, однако, что вопрос о том, сколько точек разрыва следует найти в данных, аналогичен вопросу о том, «как долго длится побережье Британии?». как в одной из работ Бенуа Мандельброта (математика) о фракталах. И есть компромисс между количеством точек разрыва и глубиной регрессии.

Теперь к примеру.

$y$$x$$x$$y$

$$\begin{array}{|c|c|c|c|c|c|} \hline &x &y &R^2 line 1 &R^2 line 2 &sum of R^2 values &standard deviation of R^2 \\ \hline &1 &1 &1,000 &0,0400 &1,0400 &0,6788 \\ \hline &2 &2 &1,000 &0,0118 &1,0118 &0,6987 \\ \hline &3 &3 &1,000 &0,0004 &1,0004 &0,7067 \\ \hline &4 &4 &1,000 &0,0031 &1,0031 &0,7048 \\ \hline &5 &5 &1,000 &0,0135 &1,0135 &0,6974 \\ \hline &6 &6 &1,000 &0,0238 &1,0238 &0,6902 \\ \hline &7 &7 &1,000 &0,0277 &1,0277 &0,6874 \\ \hline &8 &8 &1,000 &0,0222 &1,0222 &0,6913 \\ \hline &9 &9 &1,000 &0,0093 &1,0093 &0,7004 \\ \hline &10 &10 &1,000 &-1,978 &1,000 &0,7071 \\ \hline &11 &9 &0,9709 &0,0271 &0,9980 &0,6673 \\ \hline &12 &8 &0,8951 &0,1139 &1,0090 &0,5523 \\ \hline &13 &7 &0,7734 &0,2558 &1,0292 &0,3659 \\ \hline &14 &6 &0,6134 &0,4321 &1,0455 &0,1281 \\ \hline &15 &5 &0,4321 &0,6134 &1,0455 &0,1282 \\ \hline &16 &4 &0,2558 &0,7733 &1,0291 &0,3659 \\ \hline &17 &3 &0,1139 &0,8951 &1,0090 &0,5523 \\ \hline &18 &2 &0,0272 &0,9708 &0,9980 &0,6672 \\ \hline &19 &1 &0 &1,000 &1,000 &0,7071 \\ \hline &20 &2 &0,0094 &1,000 &1,0094 &0,7004 \\ \hline &21 &3 &0,0222 &1,000 &1,0222 &0,6914 \\ \hline &22 &4 &0,0278 &1,000 &1,0278 &0,6874 \\ \hline &23 &5 &0,0239 &1,000 &1,0239 &0,6902 \\ \hline &24 &6 &0,0136 &1,000 &1,0136 &0,6974 \\ \hline &25 &7 &0,0032 &1,000 &1,0032 &0,7048 \\ \hline &26 &8 &0,0004 &1,000 &1,0004 &0,7068 \\ \hline &27 &9 &0,0118 &1,000 &1,0118 &0,6987 \\ \hline &28 &10 &0,04 &1,000 &1,04 &0,6788 \\ \hline \end{array}$$

These y values have the graph:

Which clearly has two break points. For the sake of argument we will calculate the R^2 correlation values (with the Excel cell formulas (European dot-comma style)):

=INDEX(LINEST(B1:$B$1;A1:$A$1;TRUE;TRUE);3;1)
=INDEX(LINEST(B1:$B$28;A1:$A$28;TRUE;TRUE);3;1)

for all possible non-overlapping combinations of two fitted lines. All the possible pairs of R^2 values have the graph:

The question is which pair of R^2 values should we choose, and how do we generalize to multiple break points as asked in the title? One choice is to pick the combination for which the sum of the R-square correlation is the highest. Plotting this we get the upper blue curve below:

The blue curve, the sum of the R-squared values, is the highest in the middle. This is more clearly visible from the table with the value $1,0455$ as the highest value. However it is my opinion that the minimum of the red curve is more accurate. That is, the minimum of the standard deviation of the R^2 values of the fitted regression lines should be the best choice.

Piece wise linear regression - Matlab - multiple break points

Существует довольно хороший алгоритм, описанный в Tomé and Miranda (1984) .

Предложенная методология использует метод наименьших квадратов для вычисления наилучшего непрерывного набора прямых линий, соответствующих данному временному ряду, с учетом ряда ограничений на минимальное расстояние между точками останова и на минимальное изменение тренда в каждой точке останова.

Код и графический интерфейс доступны как на Фортране, так и на IDL на их веб-сайте: http://www.dfisica.ubi.pt/~artome/linearstep.html.

... прежде всего вы должны делать это итерациями и по некоторому информативному критерию, например, AIC AICc BIC Cp; потому что вы можете получить «идеальную» подгонку, если число узлов K = количество точек данных N, хорошо. ... сначала поставить K = 0; оцените регрессии L = K + 1, рассчитайте, например, AICc; затем предположим минимальное количество точек данных в отдельном сегменте, скажем, L = 3 или L = 4, хорошо ... положить K = 1; начать с L-тых данных в качестве первого узла, вычислить SS или MLE, ... и шаг за шагом перейти к следующей точке данных в виде узла, SS или MLE, до последнего узла в данных N - L; выбрать расположение с наилучшим соответствием (SS или MLE), рассчитать AICc ... ... положить K = 2; ... использовать все предыдущие регрессии (то есть их SS или MLE), но шаг за шагом разделить один сегмент на все возможные части ... выбрать схему с наилучшим соответствием (SS или MLE) для вычисления AICc ... если последний AICc оказывается больше предыдущего: остановите итерации! Это оптимальное решение по критерию AICc, хорошо

Однажды я наткнулся на программу под названием Joinpoint. On their website they say it fits a joinpoint model where "several different lines are connected together at the 'joinpoints'". And further: "The user supplies the minimum and maximum number of joinpoints. The program starts with the minimum number of joinpoint (e.g. 0 joinpoints, which is a straight line) and tests whether more joinpoints are statistically significant and must be added to the model (up to that maximum number)."

NCI использует его для моделирования тенденций заболеваемости раком, возможно, он также соответствует вашим потребностям.

Для того, чтобы подогнать к данным кусочную функцию:

где $a_1 , a_2 , p_1 , q_1, p_2 , q_2 , p_3 , q_3$неизвестные параметры, которые должны быть приблизительно вычислены, есть очень простой метод (не итеративный, без начального предположения, легко кодируемый на любом математическом компьютерном языке). Теория приведена на странице 29 в статье: https://fr.scribed.com/document/380941024/Regression-par-morceaux-Piecewise-Regression-pdf и со страницы 30:

Например, с точными данными, предоставленными Матсом Гранвиком, результат:

Без разбросанных данных этот пример не очень важен. Другие примеры с разбросанными данными показаны в ссылочной статье.

Вы можете использовать mcpпакет, если вы знаете количество точек изменения, которые можно сделать. Это дает вам большую гибкость моделирования и много информации о точках изменения и параметрах регрессии, но за счет скорости.

Веб-сайт McP содержит много прикладных примеров, например,

library(mcp)

# Define the model
model = list(
  response ~ 1,  # plateau (int_1)
  ~ 0 + time,    # joined slope (time_2) at cp_1
  ~ 1 + time     # disjoined slope (int_3, time_3) at cp_2
)

# Fit it. The `ex_demo` dataset is included in mcp
fit = mcp(model, data = ex_demo)

Затем вы можете визуализировать:

plot(fit)

Или подытожим:

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: response ~ 1
  2: response ~ 1 ~ 0 + time
  3: response ~ 1 ~ 1 + time

Population-level parameters:
    name match  sim  mean lower  upper Rhat n.eff
    cp_1    OK 30.0 30.27 23.19 38.760    1   384
    cp_2    OK 70.0 69.78 69.27 70.238    1  5792
   int_1    OK 10.0 10.26  8.82 11.768    1  1480
   int_3    OK  0.0  0.44 -2.49  3.428    1   810
 sigma_1    OK  4.0  4.01  3.43  4.591    1  3852
  time_2    OK  0.5  0.53  0.40  0.662    1   437
  time_3    OK -0.2 -0.22 -0.38 -0.035    1   834

Отказ от ответственности: я разработчик mcp.