Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так
train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3),
RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5),
CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8),
Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50),
Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")),
Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23))
train
CountryID RegionID CityID Age Gender Income
1 1 1 1 23 M 31
2 1 1 1 48 F 42
3 1 1 2 62 M 71
4 1 2 3 63 F 65
5 2 3 4 25 M 50
6 2 3 5 41 F 51
7 2 4 6 45 M 101
8 2 4 6 19 F 38
9 3 5 7 37 F 47
10 3 5 7 41 F 50
11 3 5 7 31 F 55
12 3 5 8 50 M 23
Теперь предположим, что я хочу предсказать доход нового человека, который живет в Городе 7. В моем тренировочном наборе есть колоссальные 3 выборки с людьми в Городе 7 (предположим, что это много), поэтому я, вероятно, могу использовать средний доход в Городе 7 для предсказать доход этого нового человека.
Теперь предположим, что я хочу предсказать доход нового человека, который живет в Городе 2. В моем тренировочном наборе есть только 1 выборка с Городом 2, поэтому средний доход в Городе 2, вероятно, не является надежным предиктором. Но я, вероятно, могу использовать средний доход в Районе 1.
Немного экстраполируя эту идею, я могу преобразовать свой тренировочный набор данных в
Age Gender CountrySamples CountryIncome RegionSamples RegionIncome CitySamples CityIncome
1: 23 M 4 52.25 3 48.00 2 36.5000
2: 48 F 4 52.25 3 48.00 2 36.5000
3: 62 M 4 52.25 3 48.00 1 71.0000
4: 63 F 4 52.25 1 65.00 1 65.0000
5: 25 M 4 60.00 2 50.50 1 50.0000
6: 41 F 4 60.00 2 50.50 1 51.0000
7: 45 M 4 60.00 2 69.50 2 69.5000
8: 19 F 4 60.00 2 69.50 2 69.5000
9: 37 F 4 43.75 4 43.75 3 50.6667
10: 41 F 4 43.75 4 43.75 3 50.6667
11: 31 F 4 43.75 4 43.75 3 50.6667
12: 50 M 4 43.75 4 43.75 1 23.0000
Таким образом, цель состоит в том, чтобы как-то объединить средние значения CityIncome, RegionIncome и CountryIncome, используя количество обучающих выборок для каждой, чтобы придать вес / достоверность каждому значению. (В идеале, включая информацию о возрасте и поле.)
Какие советы по решению этого типа проблемы? Я предпочитаю использовать древовидные модели, такие как случайный лес или усиление градиента, но у меня возникают проблемы с их работой.
ОБНОВИТЬ
Для тех, кто хочет попробовать эту проблему, я сгенерировал примеры данных, чтобы протестировать предлагаемое вами решение здесь .