/ /

Победители конкурса «Цифровой прорыв» рассказали о разработке алгоритма для работы с большими данными

Победители конкурса «Цифровой прорыв» рассказали о разработке алгоритма для работы с большими данными

10 июня 2020, 14:45    600

Совместная команда digital-интегратора DD Planet и выпускников ТулГУ стала победителем конкурса «Цифровой прорыв». Участники команды поделились опытом разработки решения, занявшем 1 место в кейсе анализа геоданных от Ассоциации больших данных и Сбербанка

В задании Ассоциации больших данных и Сбербанка командам требовалось разработать интеллектуальную систему предобработки почтовых адресов, не подвергающуюся разложению существующим Нормализатором банка.

Нормализатор адресов – программа, которая на вход принимает произвольную строку адреса с перечисленными через разделитель составляющими (город, улица, дом и др.), а на выходе – структурированную запись с разложенными показателями. Результатом предложенного решения должен был стать алгоритм, корректирующий адрес так, чтобы он успешно обрабатывался Нормализатором.

Команда-победитель под названием «Фирмачи» представила решение, которое позволяет структурировать адреса, убирает лишние знаки препинания, незначимые или мешающие распознаванию блоки и приводит адрес к стандартному виду. Алгоритм основан на выявленных с помощью статистического анализа плохих и хороших адресах и позволяет компаниям с большой базой данных быстро их актуализировать. Решение является автоматическим, что обеспечивает минимум вложений для его поддержки.

«В ходе разработки алгоритма мы столкнулись с проблемой не могли проверять свое решение на Нормализаторе Сбербанка. Поэтому наша команда создала классификационную модель, которая с точностью более 98% определяет, распознает ли Нормализатор адрес или нет. Благодаря статистическому анализу мы определили блоки адреса, которые «ломают» Нормализатор. Их мы удаляли или преобразовывали. Такой подход позволил нам получить более 67% распознанных плохих адресов с минимальной потерей информации. Мы сразу адаптировали свое решение к высоким нагрузкам, реализовав его на Java + Apache Spark», – рассказал Юрий Басалов, ведущий программист digital-интегратора DD Planet.

«Цифровой прорыв»

«Цифровой прорыв» – всероссийский конкурс для IT-специалистов, дизайнеров и управленцев в сфере цифровой экономики, проводимый платформой «Россия – страна возможностей».

DD Planet

DD Planet – IT-компания, digital-интегратор. Компания основана в 2004 году, специализируется на создании digital-сервисов и информационно-аналитических систем. Реализует высоконагруженные веб-сервисы, корпоративные порталы и мобильные приложения. Среди собственных проектов – отраслевые порталы Выберу.ру и МирКвартир.ру. DD Planet занимает 17 место в рейтинге веб-разработчиков и интеграторов Tagline 2018, победитель отраслевых конкурсов «Премия Рунета», «Золотой сайт», Tagline Awards и ComNews Awards.

Свежее

 Журнал RUБЕЖ  Пожарная безопасность  Транспортная безопасность

Yandex.Дзен

Подписывайтесь на канал ru-bezh.ru
в Яндекс.Дзен

Яндекс.Директ

RUБЕЖ в vk RUБЕЖ на dzen RUБЕЖ на youtube RUБЕЖ в telegram+ RUБЕЖ-RSS

Контакты

Адрес: 121471, г. Москва, Фрунзенская набережная, д. 50, пом. IIIа, комн.1

Тел./ф.: +7 (495) 539-30-20

Время работы: 9:00-18:00, понедельник - пятница

E-mail: info@ru-bezh.ru


Для рекламодателей

E-mail: reklama@ru-bezh.ru

тел.: +7 (495) 539-30-20 (доб. 103)

total time: 1.4098 s
queries: 268 (0.7484 s)
memory: 10 240 kb
source: database
Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение.