В программе содержится база данных (строки с буквенно числовыми данными) при добавлении новых данных программа - сравнивает новые данные с имеющимися, - удаляет дубликаты, - обновляет базу данных, добавляя к ней новые, - формирует файл с частью новых данных, очищенных от уже имевшихся в базе.