Вопросы с тегом «least-squares»

Относится к общей методике оценки, которая выбирает значение параметра для минимизации квадрата разности между двумя величинами, такими как наблюдаемое значение переменной и ожидаемое значение этого наблюдения, обусловленного значением параметра. Гауссовские линейные модели подгоняются по методу наименьших квадратов, а метод наименьших квадратов - это идея, лежащая в основе использования среднеквадратичной ошибки (MSE) в качестве способа оценки оценки.

2
Есть ли теоретическая проблема с усреднением коэффициентов регрессии для построения модели?
Я хочу построить регрессионную модель, которая представляет собой среднее из нескольких моделей OLS, каждая из которых основана на подмножестве полных данных. Идея, лежащая в основе этого, основана на этой статье . Я создаю k сгибов и строю k моделей OLS, каждая на основе данных без одного сгиба. Затем я усредняю …
3
Простая линейная регрессия, p-значения и AIC
Я понимаю, что эта тема поднималась несколько раз, например, здесь , но я все еще не уверен, как лучше интерпретировать мой результат регрессии. У меня есть очень простой набор данных, состоящий из столбца значений x и столбца значений y , разделенных на две группы в зависимости от местоположения (loc). Точки …
2
Какова интерпретация ковариации коэффициентов регрессии?
Функция lm в R может выводить оценочную ковариацию коэффициентов регрессии. Что эта информация дает нам? Можем ли мы теперь лучше интерпретировать модель или диагностировать проблемы, которые могут присутствовать в модели?
4
Как выбрать начальные значения для подгонки нелинейных наименьших квадратов
Вопрос выше говорит обо всем. По сути, мой вопрос касается общей функции подбора (может быть произвольно сложной), которая будет нелинейной по параметрам, которые я пытаюсь оценить. Как выбрать начальные значения для инициализации подбора? Я пытаюсь сделать нелинейные наименьшие квадраты. Есть ли стратегия или метод? Это изучалось? Любые ссылки? Что-нибудь кроме …
1
Как читать добро подходят по NLS R?
Я пытаюсь интерпретировать вывод nls (). Я прочитал этот пост, но я все еще не понимаю, как выбрать наиболее подходящий. Из моих припадок у меня есть два выхода: > summary(m) Formula: y ~ I(a * x^b) Parameters: Estimate Std. Error t value Pr(>|t|) a 479.92903 62.96371 7.622 0.000618 *** b …
2
Градиентный спуск не находит решения для обычных наименьших квадратов в этом наборе данных?
Я изучал линейную регрессию и попробовал ее на приведенном ниже множестве {(x, y)}, где x указал площадь дома в квадратных футах, а y - цену в долларах. Это первый пример в Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Я разработал пример кода, но когда я его запускаю, стоимость …
1
Рассчитать логарифмическое правдоподобие «вручную» для обобщенной нелинейной регрессии наименьших квадратов (nlme)
Я пытаюсь вычислить логарифмическую вероятность для обобщенной нелинейной регрессии наименьших квадратов для функции оптимизированной с помощью функция в пакете R , используя ковариационную матрицу дисперсии, генерируемую расстояниями на филогенетическом дереве, предполагающем броуновское движение ( из пакета). Следующий воспроизводимый код R подходит для модели gnls с использованием данных x, y и …
5
Рекурсивный (онлайн) регуляризованный алгоритм наименьших квадратов
Может ли кто-нибудь указать мне направление онлайнового (рекурсивного) алгоритма регуляризации Тихонова (регуляризованных наименьших квадратов)? В автономном режиме я вычисляю β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY используя мой исходный набор данных, где λλλ находится с помощью n-кратной перекрестной проверки. Новое значение yyy можно предсказать для данного xxx используя y=xTβ^y=xTβ^y=x^T\hat\beta . В режиме онлайн я постоянно рисую …
1
подбор экспоненциальной функции с использованием метода наименьших квадратов в сравнении с обобщенной линейной моделью в сравнении с нелинейным методом наименьших квадратов
У меня есть набор данных, который представляет экспоненциальный спад. Я хотел бы приспособить экспоненциальную функцию к этим данным. Я попытался лог преобразовать переменную ответа и затем использовать наименьшие квадраты, чтобы соответствовать линии; использование обобщенной линейной модели с функцией логарифмической связи и гамма-распределением вокруг переменной отклика; и используя нелинейные наименьшие квадраты. …
4
Насколько большой должна быть выборка для данной методики и параметров оценки?
Существует ли эмпирическое правило или вообще какой-либо способ сказать, насколько большой должна быть выборка, чтобы оценить модель с заданным количеством параметров? Так, например, если я хочу оценить регрессию наименьших квадратов с 5 параметрами, насколько большой должна быть выборка? Имеет ли значение метод оценки, который вы используете (например, максимальное правдоподобие, метод …
4
Почему методы регрессии методом наименьших квадратов и максимального правдоподобия не эквивалентны, когда ошибки обычно не распределяются?
Название говорит обо всем. Я понимаю, что наименьшие квадраты и максимальное правдоподобие дадут одинаковый результат для коэффициентов регрессии, если ошибки модели будут нормально распределены. Но что произойдет, если ошибки не распределяются нормально? Почему два метода больше не эквивалентны?
5
Показывает, что оценщик OLS является масштабно-эквивалентным?
У меня нет формального определения масштабной эквивалентности, но вот что говорит об этом « Введение в статистическое обучение» на стр. 217: Стандартные коэффициенты наименьших квадратов ... являются масштабно-эквивалентными : умножение XjXjX_j на константу ccc просто приводит к масштабированию оценок коэффициента наименьших квадратов с коэффициентом 1/c1/c1/c . Для простоты предположим, что …
3
Каковы преимущества различных подходов к обнаружению коллинеарности?
Я хочу определить, является ли коллинеарность проблемой в моей регрессии МНК. Я понимаю, что факторы инфляции дисперсии и индекс состояния являются двумя часто используемыми показателями, но мне трудно найти что-то определенное с точки зрения достоинств каждого подхода или какими должны быть оценки. Известный источник, который указывает, какой подход и / …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.