Chupa — это специальное внутреннее приложение, которое содержит множество инструментов для управления некоторыми аспектами нашего бизнеса. Один из инструментов позволяет нам хранить большую базу данных доменов и веб-страниц с с информацией о них и выполнять поиск по ним с помощью полнотекстового поиска. Эта база данных содержит более 15 миллионов строк на данный момент и в настоящее время хранится в MySQL, что начинает снижать нашу производительность. Это, в свою очередь, вызывает общую нестабильность приложения в целом, влияя на другие инструменты, которые мы используем.
Вторым аспектом Chupa является приложение ETL, которое извлекает данные из многих источников, таких как Google Ads, Analytics, Search Console и Sheets, загрузки CSV и непосредственно из наших сайтов. Оно собирает эти данные и загружает их в разбитые на разделы быстро сжатые файлы паркета в Amazon S3. Затем Chupa может запросить эти данные через Amazon Athena.
Мы хотели бы переместить вышеупомянутое хранилище веб-страниц из MySQL в то же хранилище данных, которое использует приложение ETL. Однако вместо Athena нам нужно также поместить данные в ElasticSearch, чтобы включить возможность полнотекстового поиска. Инструмент поиска в основном приложении необходимо будет обновить, чтобы использовать ElasticSearch.
Кандидат на эту работу должен быть экспертом в:
PHP ~> 8.1
Python ~> 3.8
MySQL ~> 5.7
jQuery ~> 3.6
Опубликован 19.02.2023 в 14:33 Последнее изменение: 16.02.2023 в 21:59