Интересный вопрос. Это не совсем ответ, но это слишком долго, чтобы быть комментарием.
Я думаю, что ваш экспериментальный дизайн оспаривается по следующим причинам:
1) Это не отражает то, как на самом деле оценивается отбор акций в «реальном мире». В качестве крайнего примера, предположим, что сборщик акций A выбрал 1 акцию, которая выросла на 1000%, и 9 - на 1%, а сборщик акций B - 10 акций, которые выросли на 1%. Если бы эти акции действительно использовались для построения индекса, то, очевидно, А был бы лучше, но В в вашем эксперименте был бы намного лучше. Более интересной с финансовой точки зрения задачей было бы создать портфель и сравнить его эффективность с показателями S & P 500. В свою очередь, существует широко используемый механизм для оценки таких показателей: просто принять линейную регрессию ежедневных доходов портфеля против тех из S & P. Термин «перехват» (часто называемый «альфа») измеряет среднюю производительность «сверх рынка». Так как это коэффициент линейной регрессии, это тривиальный вопрос - построить 95% доверительный интервал, если вы того пожелаете. Затем сравните это с комиссией, которую ее банк будет взимать за эту услугу.
2) Не обращая внимания на 1, так как кажется, что вы оба уже договорились о форме эксперимента, подумайте, как это можно было бы разыграть. Предположим, у меня был волшебный оракул, который говорил мне о вероятности того, что каждая акция будет выше ее текущей цены через месяц (скажем). Тогда я мог бы просто выбрать n акций с самыми высокими такими вероятностями, и, скорее всего, более 50% из них действительно выросли бы. Теперь такие вероятности закодированы (несовершенно) в различных ценах опционов. Например, я могу купить так называемый «бинарный опцион», который, по сути, является всего лишь азартной игрой на событие «Акция X будет выше цены Y на дату Z». Ценообразование такого подразумевает вероятность этого события (хотя чем ближе дата Z к настоящему моменту, тем менее надежной она будет). Поскольку слепое следование «мудрости толпы» не требует особого опыта, Я бы сказал, что выполнение такой стратегии следует рассматривать как «случайные уровни» для вашего конкретного эксперимента. В качестве альтернативы вы предоставляете ей список акций по вашему выбору, и пусть она указывает, думает ли она, что каждый из них будет расти или падать, вместе с ее уверенностью в каждом прогнозе. Затем сгруппируйте все ответы по уровню достоверности и посмотрите, насколько они совпадают (т. Е. Из тех акций, в которых она была уверена на 90%, правильно ли она предсказала 90% из них?). Есть стандартный способ определить это; Я не помню, как это называется, но вы можете прочитать об этом в «Superforecasters» Фила Тетлока. и пусть она покажет, думает ли она, что каждый из них будет расти или падать, вместе с ее уверенностью в каждом прогнозе. Затем сгруппируйте все ответы по уровню достоверности и посмотрите, насколько они совпадают (т. Е. Из тех акций, в которых она была уверена на 90%, правильно ли она предсказала 90% из них?). Есть стандартный способ определить это; Я не помню, как это называется, но вы можете прочитать об этом в «Superforecasters» Фила Тетлока. и пусть она покажет, думает ли она, что каждый из них будет расти или падать, вместе с ее уверенностью в каждом прогнозе. Затем сгруппируйте все ответы по уровню достоверности и посмотрите, насколько они совпадают (т. Е. Из тех акций, в которых она была уверена на 90%, правильно ли она предсказала 90% из них?). Есть стандартный способ определить это; Я не помню, как это называется, но вы можете прочитать об этом в «Superforecasters» Фила Тетлока.