Рассмотрю альтернативу предлагаемой мной реализации, если есть такой же опыт, поэтому сразу пишите по существу. Автоматизированные и шаблонные ответы будут игнорироваться. Заинтересован в развитии сервиса и написании новых для своего продукта.
Есть библиотека
Есть ElasticSearch с ~1500 записей с перспективой роста до 2500 к концу следующего года, почти каждая хранит в себе organization id
Требуется сделать так, чтобы сервис смог подняться с N инстансов в Я.Облако в сервисе serverless и раз в неделю и эти 25-30-40-100-1000 инстансов спарсили отзывы этих организаций, записали в новый индекс ElasticSearch. Раз в неделю происходило бы обновление отзывов путем запуска serverless в Я.Облако(триггеры).
Критерии приемки:
1. Сервис может запуститься на неограниченном (естественно в рамках квот ЯО) количестве инстансов сервиса Yandex Serverless Containers и понять лимит выбираемых объектов из индекса ES на основе кол-ва поднятых инстансов (на основе метаданных)
2. Сервис может спарсить отзывы (каждый инстанс должен работать не более 20 минут – ограничения ЯО) и записать их в индекс ES отличный от индекса, в котором происходила выборка с ссылкой на объект в индексе, с которого спаршено.
3. Если запись существовала, обновить её (добавился ответ на отзыв, или добавились отзывы/изменилась оценка отзыва, изменилась общая оценка)
4. Каждую неделю создается новый индекс с датой, например ya-reviews-2024-09-02 (необходимо для аналитики в кибане)
Ограниченную выгрузку из базы объектов в виде дампа ES (до 20 объектов) я предоставлю. Отвечаю оперативно, взаимодействие будет приятным.