Разработка на Django системы сбора, хранения, обработки и представления данных для исследовательской работы в виде веб-приложения. Проект включает несколько модулей:
- Выгрузка данных с занесением в БД по научным статьям с сайта
eric.ed.gov/. Автоматическая проверка наличия новых данных, их загрузка. Все статьи выходят по порядку под id.
- Выгрузка данных с занесением в БД по новостям с нескольких сайтов Автоматическая проверка наличия новых новостей, их загрузка.
- Тексты, попадая в БД, проходят обработку. 1) Разбиваются по категориям (маркируются по темам) согласно наличию ключевых слов или фраз (потребуется способ закреплять темы и ключевые слова/фразы). 2) pdf файлы конвертируются в простой текст. 3) Предложение, в котором встречаются ключевые слова, выносится в отдельный массив с присвоением категории, ссылки на полный источник, дате, типа текста (аннотация, полный текст, новость).
- Поиск текстов по выбранной категории и промежутку времени. Вывод предложений, в которых встречаются ключевые слова. По нажатию оно появляется в контексте нескольких соседних предложений + ссылка на источник.
- Сбор наблюдений. Пользователь регистрируется в приложении, вводит определённый текст, выбирает параметры, загружает приложения, сохраняет. Итог попадает в БД. Администратор может редактировать и выгружать excel файл.
- Создание базы полезных материалов, состоящей из файлов (pdf, excel и т.д.) вместе с названиями и описаниями. Система предполагает удобную форму занесения новых материалов после регистрации в приложении.
- Окно пользователя, в котором он сможет выбрать интересующий его период, тип информации, категорию, и затем провести анализ текстов, найти интересующие материалы. Или предложить наблюдения, свои материалы. Для администратора должна иметься возможность настраивать разрешения на те или иные действия.
Веб приложение должно быть удобным для пользователей и администраторов, оптимизированным (скопится большое количество текстов и материалов, приложение должно работать быстро), гибким (с возможностью менять категории, перенастраивать ключевые слова, добавлять новые ссылки на профили в соцсетях и т.д.), иметь приятный дизайн (соответственно нужно его предварительно согласовать). Важно выстраивание качественной работы с базой данных. Код должен быть читаемым, с комментариями. Мне как заказчику потребуются разъяснения о том, что как работает.
С кандидатом на роль исполнителя дополнительно обсудим план работы.
Первая задача срочная: составить в соответствии с идеями заказчика развёрнутое ТЗ с подробным описанием этапов работы. Это будет оплачено отдельно (1500 руб).
Дальнейшая работа будет поэтапной с оплатой по итогу разработки модулей.