Добавление ElasticSearch в базу данных

Chupa — это специальное внутреннее приложение, которое содержит множество инструментов для управления некоторыми аспектами нашего бизнеса. Один из инструментов позволяет нам хранить большую базу данных доменов и веб-страниц с с информацией о них и выполнять поиск по ним с помощью полнотекстового поиска. Эта база данных содержит более 15 миллионов строк на данный момент и в настоящее время хранится в MySQL, что начинает снижать нашу производительность. Это, в свою очередь, вызывает общую нестабильность приложения в целом, влияя на другие инструменты, которые мы используем.

Вторым аспектом Chupa является приложение ETL, которое извлекает данные из многих источников, таких как Google Ads, Analytics, Search Console и Sheets, загрузки CSV и непосредственно из наших сайтов. Оно собирает эти данные и загружает их в разбитые на разделы быстро сжатые файлы паркета в Amazon S3. Затем Chupa может запросить эти данные через Amazon Athena.
Мы хотели бы переместить вышеупомянутое хранилище веб-страниц из MySQL в то же хранилище данных, которое использует приложение ETL. Однако вместо Athena нам нужно также поместить данные в ElasticSearch, чтобы включить возможность полнотекстового поиска. Инструмент поиска в основном приложении необходимо будет обновить, чтобы использовать ElasticSearch.

Кандидат на эту работу должен быть экспертом в:
PHP ~> 8.1
Python ~> 3.8
MySQL ~> 5.7
jQuery ~> 3.6