На бекенде (написан мной) на скриншоте рабочего стола выбираются координаты кликов и задержки, скрипт отравляется на устройство. При запуске ждет изменения на экране и выполняет скрипт клики происходят в зависимости от распознанного текста на экране