Современные информационные технологии/3. Программное обеспечение

Моложенко Е.С., Губарев В.В.

Новосибирский государственный технический университет, Россия

Обработка и анализ больших данных для умных городов будущего

В городах генерируются большие объемы социально-экономических, энергетических, транспортных и многих других данных. Обработка и анализ всей совокупности таких данных позволит ответить на ряд вопросов и улучшить принятие решений в научных, политических, управленческих и других областях. В этой статье предлагается теоретическое обоснование использования облачных средств и технологий для обработки и анализа больших данных.

Умные города в экономическом и социальном аспектах устремлены в будущее. Они ведут постоянный мониторинг важнейших объектов инфраструктуры - автомобильных дорог, мостов, туннелей, железных дорог, метро, аэропортов, морских портов, систем связи, водоснабжения, энергоснабжения, а также важнейших зданий - в целях оптимального распределения ресурсов и обеспечения безопасности. Они постоянно наращивают число предоставляемых населению услуг, обеспечивая устойчивую среду, которая способствует благополучию и сохранению здоровья горожан.

Главное отличие умного города от города традиционного заключается в характере взаимоотношений с горожанами. В обычном городе услуги на основе ИКТ не могут так же гибко реагировать на изменения экономических, культурных и социальных условий, как услуги в умном городе. Таким образом, умный город прежде всего ориентирован на человека, базируется на инфраструктуре ИКТ и непрерывном городском развитии при постоянном учете требований экологической и экономической устойчивости.

С технической точки зрения умные города представляют собой различные устройства с поддержкой концепции «Интернет вещей», например, уличные фонари, оснащенные интеллектуальными датчиками, RFID метки, смартфоны, беспроводные сенсорные сети и другие IoT устройства.

В связи с быстрым распространением подобных взаимосвязанных устройств и систем, объем собираемых данных возрастает быстрыми темпами. Для функционирования умных городов необходимо иметь возможность анализировать эти данные и получать на их основе аналитическую информацию быстро и экономично. Что касается анализа больших данных и других аналитических задач, текущие решения не обеспечивают скорость реакции системы, необходимую для обработки заданий анализа, что снижает производительность пользователя и затягивает процесс принятия решений.

Анализ больших данных может помочь городским и региональным администрациям с пользой задействовать колоссальные объемы имеющейся у них информации. Платформа для обработки и анализа больших данных станет основой создания умного города.

Платформа для обработки и анализа больших данных должна включать средства для интеллектуального анализа данных, статистического моделирования и машинного обучения. Кроме того, должны быть задействованы существующие инструменты вроде R, RapidMiner в комбинации с технологиями, подобными Hadoop MapReduce или Spark MapReduce. В существующей литературе отмечается, что интеллектуальных анализ больших данных намного сложнее, чем традиционный анализ данных [1]. Это утверждение справедливо и для анализа данных умных городов, вследствие мультидисциплинарности исходных данных.

Умные города предоставляют новую сферу применения для аналитики больших данных и недостаточно освещены в литературе. Обзор существующих идей применения облачной модели для решения задач обработки и анализа показывает, что она может решить большую часть проблем. Например, Burnap P. описывает проект COSMOS [2], который представляет из себя облачный сервис на основе Hadoop для анализа больших данных, поступающих из социальных сетей.

Облачные сервисы для работы с большими данными дают возможность сократить усилия по настройке и конфигурированию собственных кластеров, а также дают уверенность, что вы платите за то, что используете. Самая главная проблема всегда будет связана с местоположением данных, так как отправить данные при этом медленно и дорого. Самыми эффективными решениями больших данных в облаке будут те, в которых данные также собраны в облаке.

Литература:

1. Lin J, Ryaboy D (2012) Scaling big data mining infrastructure: The twitter experience. SIGKDD Explorations: ACM 14:6-19

2. Burnap P, Rana O, Williams M, Housley W, Edwards A, Morgan J, Sloan L, Conejero JCOSMOS: Towards an Integrated and Scalable Service for Analysing Social Media on Demand. International Journal of Parallel, Emergent and Distributed Systems. http://orca.cf.ac.uk/59478/.