Ваша интуиция о том, что «ненадежность» происходит из-за «слишком полезного» программного обеспечения, в некотором смысле верна. Существует большая и растущая теоретическая литература по «дифференциальной конфиденциальности», которая формализует вашу интуицию. Смотрите, например, здесь: research.microsoft.com/en-us/projects/databaseprivacy/dwork.pdf
Здесь мы считаем входные данные для алгоритма «базой данных», а алгоритм «небезопасен», если он раскрывает слишком много информации о данных какого-либо человека в базе данных. Алгоритм -differentially частный если выход алгоритма не зависит сильно от любого одного входа: в частности, изменение одной записи в базе данных ввода следует изменять только вероятность любого выхода алгоритма самое большее на е ε фактор.εеε
Конечно, создание частного алгоритма делает его менее полезным: дифференциальный приватный алгоритм создает выходные данные, которые даже не являются функцией входных данных! Но оказывается, что вы можете попытаться тщательно сбалансировать компромисс между конфиденциальностью и полезностью, и можете получить очень частные алгоритмы, которые, тем не менее, очень нетривиально полезны.0