Поиск изображений по текстовому описанию | Image–Text Retrieval

Ссылка на работу
image image
Учебно-исследовательский проект по построению модели, оценивающей соответствие изображения текстовому описанию. В рамках работы подготовил и исследовал данные, сформировал признаки для двух разных типов информации и сравнил несколько подходов к моделированию. Для изображений использовал ResNet-18, для текста — sentence-transformers (all-MiniLM-L6-v2). Текстовые и визуальные эмбеддинги объединялись в единый набор признаков. Для предотвращения утечки данных обучающая и тестовая выборки разделялись по image_id. Были исследованы baseline, Linear Regression, Random Forest, Gradient Boosting и нейросетевой подход. Качество сравнивалось по MSE, RMSE и MAE. Лучший результат в проведённом эксперименте показал RandomForestRegressor: MSE = 0.0614. Стек: Python, pandas, NumPy, scikit-learn, PyTorch, ResNet-18, sentence-transformers. В портфолио приложены схема решения, используемые методы и итоговые результаты. Полный код проекта доступен по ссылке на GitHub.
https://github.com/Lekar17/A-model-for-searching-photos-by-text-description