Есть несколько проектов, которые решают эту проблему. Двумя наиболее активными из них, AFAIK , являются
sikuli и AutoKey (проект, который я помогаю поддерживать).
Я не использовал sikuli, но, похоже, он основан на поиске шаблонов на экране и инициировании действий на их основе.
AutoKey позволяет пользователю определять триггерные фразы и горячие клавиши, которые расширяют фразы (по аналогии с очень мощной функцией автозамены) или запускают сценарии, написанные на Python3, которые ограничены только навыками программирования пользователя. Он предоставляет API для генерации событий клавиатуры и мыши. Он также интегрируется с Xautomation, что позволяет найти небольшое изображение на экране и навести на него курсор мыши.
Я использую AutoKey в течение многих лет и поддерживаю его в нашем списке . Это как ряд инструментов повышения производительности: вы можете обойтись без него, но как только вы начнете использовать его, вы удивитесь, как раньше обходились без него.
Некоторые особенности:
AutoKey не работает с определениями и скриптами AutoHotKey. Они должны быть переписаны.
Я написал сценарий проверки концепции bash (доступный по запросу), который переводит фразы AutoHotKey в фразы AutoKey, но это только отправная точка и игнорирует большинство параметров AutoHotKey.
Поскольку сценарии AutoKey написаны на Python3, также можно вызывать такие инструменты, как xdotool и wmctrl, из сценария, чтобы обеспечить дополнительную функциональность, но это обычно не требуется. Хотя скрипты AutoKey написаны на Python, довольно многое можно сделать с очень ограниченными знаниями Python. Вам не нужно быть беглым программистом Python для большинства целей.
Если вы используете дистрибутив на основе Debian, не устанавливайте версию AutoKey, предоставляемую вашим дистрибутивом. Их пакет AutoKey не поддерживается и очень старый. Получите актуальную версию от нас .