Победители конкурса «Цифровой прорыв» рассказали о разработке алгоритма для работы с большими данными

Совместная команда digital-интегратора DD Planet и выпускников ТулГУ стала победителем конкурса «Цифровой прорыв». Участники команды поделились опытом разработки решения, занявшем 1 место в кейсе анализа геоданных от Ассоциации больших данных и Сбербанка

В задании Ассоциации больших данных и Сбербанка командам требовалось разработать интеллектуальную систему предобработки почтовых адресов, не подвергающуюся разложению существующим Нормализатором банка.

Нормализатор адресов – программа, которая на вход принимает произвольную строку адреса с перечисленными через разделитель составляющими (город, улица, дом и др.), а на выходе – структурированную запись с разложенными показателями. Результатом предложенного решения должен был стать алгоритм, корректирующий адрес так, чтобы он успешно обрабатывался Нормализатором.

Команда-победитель под названием «Фирмачи» представила решение, которое позволяет структурировать адреса, убирает лишние знаки препинания, незначимые или мешающие распознаванию блоки и приводит адрес к стандартному виду. Алгоритм основан на выявленных с помощью статистического анализа плохих и хороших адресах и позволяет компаниям с большой базой данных быстро их актуализировать. Решение является автоматическим, что обеспечивает минимум вложений для его поддержки.

«В ходе разработки алгоритма мы столкнулись с проблемой – не могли проверять свое решение на Нормализаторе Сбербанка. Поэтому наша команда создала классификационную модель, которая с точностью более 98% определяет, распознает ли Нормализатор адрес или нет. Благодаря статистическому анализу мы определили блоки адреса, которые «ломают» Нормализатор. Их мы удаляли или преобразовывали. Такой подход позволил нам получить более 67% распознанных плохих адресов с минимальной потерей информации. Мы сразу адаптировали свое решение к высоким нагрузкам, реализовав его на Java + Apache Spark», – рассказал Юрий Басалов, ведущий программист digital-интегратора DD Planet.

«Цифровой прорыв»

«Цифровой прорыв» – всероссийский конкурс для IT-специалистов, дизайнеров и управленцев в сфере цифровой экономики, проводимый платформой «Россия – страна возможностей».

DD Planet

DD Planet – IT-компания, digital-интегратор. Компания основана в 2004 году, специализируется на создании digital-сервисов и информационно-аналитических систем. Реализует высоконагруженные веб-сервисы, корпоративные порталы и мобильные приложения. Среди собственных проектов – отраслевые порталы Выберу.ру и МирКвартир.ру. DD Planet занимает 17 место в рейтинге веб-разработчиков и интеграторов Tagline 2018, победитель отраслевых конкурсов «Премия Рунета», «Золотой сайт», Tagline Awards и ComNews Awards.