«Узнать» означает, что вы изучаете данные. Формальные тесты были бы лишними и подозрительными. Вместо этого примените стандартные методы анализа поисковых данных (EDA), чтобы выявить, что может быть в данных.
Эти стандартные методы включают повторное выражение , остаточный анализ , надежные методы («три R» в EDA) и сглаживание данных, как описано Джоном Тьюки в его классической книге EDA (1977). Как провести некоторые из них, изложенные в моем посте в Box-Cox как преобразование для независимых переменных? и в линейной регрессии, когда целесообразно использовать лог независимой переменной вместо фактических значений? в том числе .
В результате многое можно увидеть, если перейти к осям log-log (эффективно переразмеряя обе переменные), сгладить данные не слишком агрессивно и изучить остатки сглаживания, чтобы проверить, что они могли пропустить, как я проиллюстрирую.
Вот данные, показанные со сглаживанием, которое - после изучения нескольких сглаживаний с различной степенью точности данных - кажется хорошим компромиссом между слишком большим и слишком небольшим сглаживанием. Он использует Loess, хорошо известный надежный метод (он не подвержен сильному влиянию вертикально расположенных точек).
Вертикальная сетка с шагом 10000. Гладкое делает предложить некоторые вариации Grad_medianс образцом размером: кажется, падение , как размер выборки приближается 1000. (концов гладкий, не заслуживающее доверия - особенно для малых выборок, где ожидаются ошибка выборки , чтобы быть относительно большим - так дон не читайте слишком много в них.) Это впечатление реального падения поддерживается (очень грубыми) доверительными полосами, нарисованными программным обеспечением вокруг сглаживания: его "колебания" больше, чем ширина полос.
Чтобы увидеть, что этот анализ мог пропустить, на следующем рисунке рассматриваются остатки. (Это различия натуральных логарифмов, непосредственно измеряющих вертикальные расхождения между данными предыдущего сглаживания. Поскольку они представляют собой небольшие числа, их можно интерпретировать как пропорциональные различия; например, отражает значение данных, которое примерно на ниже, чем соответствующее сглаженное значение.)20 %- 0,220 %
Нас интересует (а), существуют ли дополнительные схемы изменения при изменении размера выборки, и (б) являются ли условные распределения отклика - вертикальные распределения точек - правдоподобно похожими по всем значениям размера выборки, или может ли какой-то их аспект (например, их распространение или симметрия) измениться.
Этот гладкий пытается следовать точкам данных еще более близко, чем прежде. Тем не менее он по существу горизонтальный (в пределах диапазона доверительных интервалов, которые всегда охватывают значение y ), что свидетельствует о том, что дальнейшие изменения не могут быть обнаружены. Небольшое увеличение вертикального разброса вблизи середины (размеры выборки от 2000 до 3000) не было бы значительным, если бы оно было формально проверено, и поэтому оно, безусловно, ничем не примечательно на этом этапе исследования. Нет четкого, систематического отклонения от этого общего поведения, явного в любой из отдельных категорий (отличающихся, не слишком хорошо, по цвету - я проанализировал их отдельно на рисунках, не показанных здесь).0.0
Следовательно, это простое резюме:
средняя зарплата примерно на 10000 ниже для выборки около 1000
адекватно фиксирует отношения, появляющиеся в данных, и, похоже, одинаково распространяется на все основные категории. Является ли это значительным, то есть будет ли оно выдержано при получении дополнительных данных, можно оценить только путем сбора этих дополнительных данных.
Для тех, кто хотел бы проверить эту работу или продолжить ее, вот Rкод.
library(data.table)
library(ggplot2)
#
# Read the data.
#
infile <- "https://raw.githubusercontent.com/fivethirtyeight/\
data/master/college-majors/grad-students.csv"
X <- as.data.table(read.csv(infile))
#
# Compute the residuals.
#
span <- 0.6 # Larger values will smooth more aggressively
X[, Log.residual :=
residuals(loess(log(Grad_median) ~ I(log(Grad_sample_size)), X, span=span))]
#
# Plot the data on top of a smooth.
#
g <- ggplot(X, aes(Grad_sample_size, Grad_median)) +
geom_smooth(span=span) +
geom_point(aes(fill=Major_category), alpha=1/2, shape=21) +
scale_x_log10() + scale_y_log10(minor_breaks=seq(1e4, 5e5, by=1e4)) +
ggtitle("EDA of Median Salary vs. Sample Size",
paste("Span of smooth is", signif(span, 2)))
print(g)
span <- span * 2/3 # Look for a little more detail in the residuals
g.r <- ggplot(X, aes(Grad_sample_size, Log.residual)) +
geom_smooth(span=span) +
geom_point(aes(fill=Major_category), alpha=1/2, shape=21) +
scale_x_log10() +
ggtitle("EDA of Median Salary vs. Sample Size: Residuals",
paste("Span of smooth is", signif(span, 2)))
print(g.r)
