Победа над покер-ботом

Появился новый покерный бот с открытым исходным кодом под названием PokerPirate . Меня интересуют любые творческие способы, с помощью которых веб-приложение могло бы обнаружить / предотвратить / победить покерного бота. (Это чисто академическое обсуждение в том же духе, в котором был написан PokerPirate.)

Победа над ботом со стороны сервера

1. Многие покерные сайты используют всплывающие окна ввода Captcha , которые запускаются при подозрительной активности.

2. Некоторые покерные сайты отслеживают время и схемы игры (например, в худшем случае - игрок, который играет 24x7 и 16 столов непрерывно, есть крошечный шанс, что это настоящий человек (однако некоторые игроки) есть возможность разыграть очень большую руку). тома, которые неопытному глазу показались бы ботом)

3. Скинь глюки. Если вы подозреваете, что игрок - бот, измените положение всех его игральных карт на несколько пикселей на экране, сделайте их разными цветами / рисунками / узорами для 1/100 рук и посмотрите, бросит ли он их. Если он не может захватить экран, он будет принимать все свои решения по тайм-ауту, и это убедительное доказательство бота.

4. Время говорит о том, что если компьютерный игрок реагирует на варианты в миллисекундах за раз, не останавливаясь для размышлений над важными решениями, это может быть подозрительно.

5. Самоконтроль. Покерный сайт pokertableratings.com добывает данные на множестве крупных сайтов. Он был встречен неоднозначно: некоторым нравится прозрачность, другим - не нравится . Однако преимущество в том, что были случаи, когда подозрительная статистика игроков (проценты VPIP, проценты PFR - лишь некоторые из большого количества поддающейся количественному измерению статистики, которая может быть записана) приводила к заключению о мошенничестве.

6. Классификационные сети с искусственным интеллектом могут отслеживать поддающуюся количественной оценке статистику для классификации мошенников или игроков-роботов.

7. Когда онлайн-покер был относительно новым явлением, ходили слухи и разговоры. с ограниченными доказательствами, что некоторые программы для покера делают снимки экрана настольных компьютеров подозрительных игроков, чтобы узнать, запускают ли они программы, которые им помогают. Однако (даже если бы это было правдой) запуск двух компьютеров для независимого выполнения двух задач позволил бы обойти это.

8. Обмен информацией между повторными правонарушителями между несколькими сайтами был бы выгоден для отрасли, если бы они были благородными и управлялись компетентными ответственными людьми.

9. Некоторые боты, вероятно, были бы довольно простыми по дизайну, если бы вы могли изучить их стиль игры и посмотреть, как они действуют в идентичных ситуациях (обратите внимание, это возможно только с простыми ботами, играющими очень простую стратегию), вы могли бы обнаружить их достаточно быстро.

10. Непоследовательное использование функций программы может привести к тому, что игрок будет искренним. Возьмем, к примеру, многие покерные сайты, в которых есть кнопка «Сдать карты, когда моя очередь». Если у вас плохая рука и вы ждете, пока другой игрок решит, что делать, многие игроки проверят эту кнопку. Бот может использовать эти кнопки. Разница в том, что бот будет на пределе частоты использования, они, вероятно, будут использовать их все время или не будут использовать вообще. Когда игрок обычно нажимает кнопку «автоскладывание», но иногда он все равно щелкает «фолд» даже в самых благоприятных условиях. Например, настоящий игрок обычно нажимает автофолд, но на этот раз он этого не делает. Для них все сложено, и никто из других игроков не действует, теперь им предоставлены самые выгодные условия. Теперь, если бы они нажимали складку, они были бы сильно склонны нажимать автоматическое складывание с самого начала. Это непоследовательное / неоптимизированное / случайное поведение, соответствующее тому, что он человек. Время говорит о том, когда нажимаются эти функции, и другие индикаторы. Важно понимать, что все это индикаторы, а не окончательные доказательства. Все эти поведенческие индикаторы можно легко смоделировать.

Победа над ботом с точки зрения игроков

10. Постарайтесь зарегистрировать и собрать как можно больше данных с помощью программного обеспечения, такого как PokerTracker.

11. Попытка определить закономерности в своем стиле игры

12. Попытка найти взаимосвязь между размером ставки пропорционально поту / количеству игроков и силой руки

13. Попробуйте рассчитать диапазон его рук . Бот с низкими ставками, вероятно, не будет блефовать достаточно часто, чтобы представлять серьезную стратегическую проблему, поэтому построение высокоточных диапазонов рук для него не должно быть слишком сложным.

14. Попытка найти утечки в своей игре с помощью анализа данных и проб и ошибок. Как только утечки / шаблоны были обнаружены, попытайтесь повторно использовать их и избегать любых других ситуаций.

Где человек способен адаптироваться , боты, вероятно, в меньшей степени, а там, где люди отягощены цепями наклона , ориентированного на результат мышления и разочарований , боты - нет. Вы можете использовать это в своих интересах.

Так что, по сути, вы ничего не можете сделать, чтобы остановить это, если робот достаточно умен, чтобы моделировать реальные задержки во время принятия решений, а также создавать разумные и реалистичные игровые шаблоны. Добавьте несколько случайных условий и простой обратный чат (словарный запас игроков в покер обычно довольно ограничен ), и вы получите ИИ-игрока, которого будет довольно сложно обнаружить.

Что могут делать боты, чтобы избежать обнаружения

Ключом к тому, чтобы избежать обнаружения, было бы подумать о проблеме с максимально возможных точек зрения. Вы пытаетесь смоделировать разумное человеческое поведение в очень маленьком и ограниченном мире. Большинство поведенческих симуляций, которые вы можете запустить, довольно очевидны, но чем более непоследователен и непредсказуем ваш бот, тем меньше вероятность его обнаружения.

1. Создавайте реалистичные игровые графики (т. Е. 3–5 раз в неделю, по 4 часа на сессию, с перерывами в нечетные недели в течение года).

2. Запускайте программы для принятия решений на отдельном компьютере, управляя компьютером-зомби в случае захвата экрана любого сайта.

3. Выбор времени действия в случайном порядке (не действуйте немедленно, подождите 0,5–2 секунды на действие)

4. Экономьте время на важных решениях. Если решение является пограничным, вычислите решение, а затем подождите некоторое время, чтобы смоделировать мысль.

5. Случайное использование функций клиентского программного обеспечения. Смоделируйте перерывы в туалет, нажимая кнопку «Раздать меня» на всех столах и время от времени делайте перерыв на 5 минут.

6. Смоделированный чат, покерный чат часто бывает очень простым и никогда не обсуждается и не обсуждается. Говорите что-нибудь вроде «неудачник» или «stfu» в подходящие заметные моменты. Или даже попросите кодера следить за своим ботом и общаться в чате во время выполнения.

7. Убедитесь, что движения мыши реалистичны. Если таблицы выложены плиткой , не принимайте решение в верхнем левом углу таблицы, а сразу же принимайте решение в правом нижнем углу. Программное обеспечение большинства сайтов теперь предлагает сочетания клавиш, которые могут быть предпочтительнее использовать для движения мыши.

8. Делайте то, чего совершенно не ожидают классификаторы AI. Например, раз в год звонить им по телефону с простым несложным запросом («Помогите, я не могу войти в систему сегодня!» Или «Интернет не работает!») Вряд ли будет иметь большое значение, но если человек, работающий на покерная компания достаточно умна, что они могли бы признать это надежным индикатором.

9. Спорадические проигрыши. Тильт можно смоделировать, а бот может играть плохо и то и дело терять деньги. В какой-то момент все наклоняются.

Беспокойство также вызывает то, что покерные сайты не особо заботятся о том, работают ли боты в их сетях, каждый игрок приносит большую сумму в виде рейка и теоретически с чисто циничной точки зрения бизнеса единственным недостатком будет плохая пресса, если это будет обнаружено. .

Даже когда были обнаружены вопиющие эксплойты (поиск в Google сетевых скандалов с Cereus или Absolute Poker Scandal , это довольно шокирующий), бизнес, похоже, выживает и остается здоровым, только теряя хорошо образованных и успешных игроков (которых не так много). Это увеличивает долю менее опытных игроков в сети, что, в свою очередь, снова привлекает хороших игроков. Это старый добрый улов 22. Отличный аргумент в пользу надлежащего регулирования рынка.

Важно отметить, что для каждой игры существует равновесие по Нэшу . У онлайн-покера есть временная шкала, как он работает сейчас, ему нужно будет перейти во что-то более социальное (веб-камера / голосовая связь), чтобы кто-нибудь мог доверять ему в будущем (если люди доверяют ему), поскольку боты в конечном итоге возьмут верх так же математически высший и психологически неуязвимый. Покерное AI-сообщество очень активно , питаемое академическими кругами и / или капиталом.

Более простые версии покера, такие как покер с лимитом, почти нашли свое решение в небольших поисковых системах. Появление более сложных версий игры (безлимитные вариации / Pot Limit Omaha) - лишь вопрос времени. т. Д.) Станут доступными для искусственных игроков.

Вывод

Сложных ботов невозможно обнаружить до тех пор, пока индустрия не перейдет к более социальным сетевым играм. Это не решит проблему, но, безусловно, затруднит победу ботам на более низких уровнях. Мы уже заметили небольшой сдвиг с выпуском PKR , 3D и более интерактивного версии с меньшим количеством рук в час на других сайтах, где игроку довольно сложно выполнить мультитейблинг.

Проблема также связана с характером отрасли, что является еще одной причиной придерживаться более крупных и уважаемых веб-сайтов, репутация которых становится все более интегрированной в их бизнес-модель. Отсутствие прозрачности и притворная прозрачность не помогают.

Настоящая проблема в настоящее время для разработчиков ботов - написать выигрышный алгоритм, это не так тривиально, как кажется. Каждый, кто играет в покер, считает себя хорошим, успешным или безубыточным игроком, что попросту неверно. Вот почему люди продолжают играть, даже когда они теряют деньги из-за иллюзии, что им просто не везет или их стиль игры неправильно понимается. Это высокомерие и слабость в человеческой психологии стоили игрокам больших денег и являются основной причиной того, что покер все еще может быть прибыльным.

Покер - чрезвычайно сложная игра, в которой нужно много лет, чтобы овладеть ею (старая пословица остается верной: «Десять минут на обучение, целая жизнь, чтобы стать мастером»). В долгосрочной перспективе элемент удачи крайне ограничен.

Как и в любой другой профессии, чтобы стать хорошим, вам нужно учиться сотни и сотни часов и играть многие тысячи. Вы поймете вещи, которые не поймут менее опытные игроки, заметите то, чего не заметят менее опытные. Обучение продолжается очень-очень долго, возможно, дольше, чем мы когда-либо сможем прожить. Это сложная игра.

Как часто вы видели по телевизору кэш-игру с высокими ставками и слышали, как кто-то кричит: "Это легкий вызов!" Таким образом, доказать, что любители на самом деле не понимают и не признают сложности в игре, и по-настоящему поверить в игру на этом уровне, все еще очень просто. Это не так. Этих игроков с высокими ставками (много времени) показывают по телевидению, потому что они действительно действительно оченьхорошо. Также, вероятно, ведется сложная мета-игра, о существовании которой наш любитель не может распознать. Любитель не станет стоять над шахматным мастером и кричать на него, чтобы он пошевелил конем, но из-за того, что покер является несовершенной информацией, его психология заставляет их по-настоящему верить в то, что они говорят. Как и в шахматах, решения могут быть запутанными, деликатными и чрезвычайно важными для всей игры. По мере того, как игра усложняется, тривиальные решения перестают быть такими тривиальными, потому что ваш оппонент их ожидает.

Как только вы переместите своего бота или свою игру на более высокий уровень, вы неизбежно столкнетесь с большим количеством более опытных игроков. Затем сложность вашей стратегии должна будет подняться на следующий уровень, принимая во внимание изображения таблиц , балансировку диапазона. , сложный и интеллектуальный блеф (т.е. не только блеф на слабостях, блеф на диапазонах и блеф на имидже и т. Д.). с более подробным анализом диапазона рук. По мере продвижения вверх это действительно другая игра.

После того, как победивший бот будет написан, без сомнения, у кодировщика будет достаточно навыков, знаний и здравого смысла, чтобы применить бота незаметным образом. Для них это тривиально.

Так что тут действительно ничего не поделаешь. Если вы хотите играть онлайн, осознайте риски. Никогда не рискуйте большими деньгами, чем вы можете себе позволить, и старайтесь вести точный учет расходов, чтобы у вас не было ошибочной, нереалистичной и, в конечном итоге, разрушительной оценки собственных способностей. Установите стоп-лосс и покиньте стол, если у вас нет преимущества, или если вы не уверены, есть ли у вас преимущество! Конечно, если бы все поступали так, что никто бы не выиграл, это хищнический и эксплуататорский характер игры, отсюда и конкуренция, и это делает ее интересной.

Следует рассмотреть три отдельные области. Бот должен выяснить состояние таблицы, принять решение и отправить решение обратно хосту.

Выяснить состояние таблицы намного проще, если она отправляется по сети в некоторой узнаваемой форме или отображается пользователю в виде стандартного текста. Сначала сделайте распознавание изображений единственным вариантом, а затем сделайте его как можно сложнее. Отобразите карточки в 3D и медленно меняйте ориентацию и положение карточек. Анимируйте небольшие мерцания или фейерверки перед карточками, чтобы любой снимок экрана мог быть неразборчивым, но даже на то, чтобы это определить, требуется время.

С принятием решения ничего не поделаешь. Попытка решить, было ли решение принято человеком или нет, похожа на тест Тьюринга, в котором почти нет информации.

Отправка решения обратно может быть затруднена, если снова использовать 3D. Сделайте сложным отправку пакетов напрямую или иным образом отправку решения любым способом, кроме щелчка мышью. Слегка перемещайте кнопки при каждом действии или пусть они медленно плавают по игровой зоне в ожидании решения. Отключите любые функции типа доступности, которые позволяют находить кнопки или управлять ими.

PokerPirate, как и почти все когда-либо написанные покерные боты, работает, очищая экран и имитируя щелчки мыши в покер-приложении Windows. Таким образом, краеугольным камнем системы является ее способность распознавать объекты в игре и выполнять действия в окне. Каким бы умным он ни был в покере, у него, вероятно, все еще есть проблемы с этими основными операциями.

Таким образом, очевидные способы помешать этому боту включают:

1. Внедрите CAPTCHA либо перед игрой, либо когда другие факторы предполагают, что игрок может быть ботом.
2. Сделайте графику стола более сложной или меняйте тему на протяжении всей игры.
3. Обнаружение необычно быстрых и / или роботизированных движений и щелчков мыши (человек никогда не переместит мышь по математически точной линии).

В идеале единственное допустимое решение - создать логику приманки, которая заманивает заинтересованного бота, создавая соблазн более благоприятного логического условия, которое способствует наиболее идеальным поведенческим реакциям бота. После того, как бот задействован в приманке, вы должны постоянно поддерживать условия бота, которые он предпочитает, предполагая, что у бота нет установленного тайм-аута. Затем бота можно измерить, зарегистрировать и изучить. В дополнение к боту вы также можете изолировать данные сети и сеанса для изучения, если бот не подключается через TOR.

В этой ситуации детерминистические соображения, подходящие для дифференциации бота от человека, менее строгие, однако детерминистические соображения при идентификации поведения бота становятся более строгими. К сожалению, владелец бота может внести в него изменения, чтобы предотвратить такую ​​идентификацию, если этот владелец осведомлен о состоянии приманки или его логическом рассмотрении.

Победа над покер-ботами может принимать две формы: вы можете попытаться идентифицировать их и запретить им доступ в систему, или вы можете просто победить их в покере. Победить их в покере - более интересный академический вопрос. :-)

См. Некоторые статьи о победе над покер-ботами: http://www.cs.cmu.edu/~sganzfri/

Посмотри на этот пост

В этом посте также есть несколько полезных советов о том, как им помешать.

Еще одна мысль о том, чтобы возиться с экраном, чтобы затруднить сканирование:

Сделайте карту из целого ряда разных цветов - близких с точки зрения человеческого глаза, но не одинаковых. Это затруднит выбор материала для чтения. С другой стороны, нанесите на карточку фальшивую надпись такого цвета, который человеческий глаз не отделит от фона.

Проблема с ботами в том, что они играют лучше, чем приличные игроки, или в том, что они могут ждать около 24/7 появления плохих игроков, а затем пытаться их доить?

Кроме того, будет ли «законным» или «мошенничеством», если рядом с кем-то сидит компьютер, когда он играет в покер и обращается за советом к другому компьютеру?

Я не уверен, как можно утверждать, что пространство решений для лимитного покера «решено», когда на оптимальную стратегию игрока будет влиять то, что известно об оппонентах. Как может любая попытка анализа игроков претендовать на то, чтобы быть настолько совершенной, что ее нельзя было улучшить?

Если у вас есть доступ к большому количеству совпадений, вы можете использовать подход интеллектуального анализа данных. Сила игры ИИ должна быть довольно постоянной, в то время как для людей, вероятно, существуют простые закономерности - слабее в первых нескольких раундах разминки, а сила ухудшается после долгой игры. Кроме того, время принятия решений людьми, вероятно, возрастает, когда на карту поставлено больше денег.

Если у вас есть доступ к движениям мыши (или, по крайней мере, к местоположениям щелчков, что справедливо даже для веб-приложений), распознать ботов должно быть довольно просто, за исключением самых сложных. Люди не перемещают мышь по точной прямой линии, у них есть периоды ускорения и замедления, статистически описываемые распределения местоположения щелчка и т. Д.

Взгляните на Ajax Control Toolkit NoBot :

NoBot использует несколько различных методов защиты от ботов:

* Forcing the client's browser to perform a configurable JavaScript calculation and verifying the result as part of the postback. (Ex: the calculation may be a simple numeric one, or may also involve the DOM for added assurance that a browser is involved)

* Enforcing a configurable delay between when a form is requested and when it can be posted back. (Ex: a human is unlikely to complete a form in less than two seconds)

* Enforcing a configurable limit to the number of acceptable requests per IP address per unit of time. (Ex: a human is unlikely to submit the same form more than five times in one minute)

Стопроцентное решение невозможно, я стремлюсь к решению, которое сэкономит деньги за счет использования ИИ против самого себя. Имейте экземпляр ИИ PokerPirate, работающий на стороне сервера и играющий как невидимый игрок в каждой игре. Если какой-либо игрок выполняет слишком много идентичных действий, вероятно, он запускает экземпляр PokerPirate. Это своего рода приманка или ловушка, в которую может попасться злоумышленник. Злоумышленник может защититься от этой приманки, сделав своего бота менее успешным. Таким образом , это создает вышло «Кошка и мышь» , в которой злоумышленник всегда может украсть немного денег и защитник всегда может сохранить какой - то деньги.

Есть гораздо более простые способы. да. многие предложения верны и необходимы. но около 90% мошенничества обнаруживаются слишком просто.

Если кто-то позволит боту работать на него, через некоторое время он захочет, чтобы на него работал второй бот. (другая машина или что-то еще), но: он будет использовать тот же пароль, так как его трудно запомнить 2 (<--- саркастический)

Что осталось: проверьте учетные записи с таким же поведением в игре и таким же хешем пароля.