Большие данные: архитектура сети и технологии 5G

№ 2’2016
PDF версия
С развитием информационных и коммуникационных технологий стремительно растет количество пользователей. Соответственно, увеличивается объем передаваемых данных. Для их хранения и обработки провайдерам нужен Центр больших данных, а чтобы избежать задержек в транзакциях, необходима высокая скорость связи. В статье обсуждается использование беспроводной технологии пятого поколения (5G) для преодоления проблем пропускной способности и времени ожидания.

Введение

Большие данные генерируются вокруг нас постоянно, любая информация всегда приходит с другой информацией, и в итоге появляется большое количество данных, которые нуждаются в поддержке или хранении в базе данных.

Основной задачей крупных центров обработки данных (ЦОД) является сбор данных в большом количестве и комплексная их обработка , что требует наличия хорошей системы управления, способной справляться со всеми сложностями, возникающими при обращении к ним. Возникает необходимость сосредотачивать и расширять трафик, а для оптимизации управления производительностью требуются новые системные средства. Поступающие от устройств большие объемы данных обуславливают проблему текущего управления ими, так как этот процесс должен происходить без каких-либо потерь и задержек и с высокой пропускной способностью. Но и после интеграции системы управления в облако по-прежнему возникают трудности для обслуживания всех потоков данных и транзакций.

Мобильность людей с носимыми устройствами, такими как смартфон или планшет, является расширением концепции Интернета вещей (IoT), при этом каждый человек имеет свой собственный уникальный IP-адрес для каждого имеющегося устройства. Будущее Интернета вещей представляется нам как управление устройствами (с уникальными IP), перевозимыми людьми по всему миру, в качестве концентраторов и интерфейсов для других устройств. Множество устройств с функциями Интернета вещей имеют возможность видеть друг друга, а также коммуницировать между собой. Появление интернет-протокола версии 6 (IPv6) и беспроводных сетей малой мощности будет способствовать развитию такого взаимодействия и сбору данных через мобильные устройства. С внедрением протокола IPv6 появятся миллиарды уникальных IP-адресов для устройств и датчиков, применяемых в системах типа Умный дом, таких как приборы для слежения за ценностями (управление активами), домашнее оборудование для контроля и безопасности.

Пятое поколение (5G) является перспективной технологией для дальнейшего развития телекоммуникационной инфраструктуры. В настоящее время использование спектра радиочастот в различных областях (информационные системы, промышленность, медицина, образование и т. д.) носит несколько беспорядочный характер. Поскольку предполагается, что к 2020 г. к Интернету будут подключены 50 млрд устройств, альтернативным вариантам использования спектра частот для подключения устройств должно быть уделено пристальное внимание, иначе возможность системы удовлетворить такой повышенный спрос представляется сомнительной. Большое количество устройств и машин, подключенных к Интернету, появится и в связи с бумом неодушевленных объектов, использующих сеть 5G в рамках концепции IoT.

В статье, в основном, обсуждается использование технологии 5G и систем беспроводной связи для размещения большого количества устройств и емкостей для Центров больших данных (Big Data Center, BDC). Перспективным является использование 5G в качестве альтернативы магистральным сетям и фреймворку для инфраструктуры больших данных, так как эта технология должна позволить достичь высоких скоростей при передаче данных. Новая сетевая архитектура предлагает поддержку беспроводной связи для транзакций больших данных и для эффективного и результативного общения устройств в сети.

Существует достаточно много публикаций, в которых обсуждается использование беспроводных технологий в сети передачи данных и сценарии такой архитектуры.

Так, в [2] предлагается всеобъемлющая основа для расширения возможностей самоорганизующихся (самоуправляемых) сетей (Self Organized Network, SON) для больших данных, описываются требования для адресов при использовании технологии 5G, а также дана характеристика больших данных в контексте мобильных сетей будущего, определяются их источники и дальнейшее использование.

В [3] отмечается, что пространство больших данных может сыграть ключевую роль для многих появляющихся беспроводных сетевых приложений, а также утверждается, что пространственно-временные проблемы сами по себе очень важны в контексте больших данных, по сравнению с обычно рассматриваемыми проблемами. Каждый из трех основных сценариев использования пространств больших данных предлагает конкретные проектные и исследовательские задачи. В этой публикации представлены разработки масштабируемых приложений параллельной обработки пространств данных в Hadoop Framework, использующем модель распределенных вычислений MapReduce.

Материалы [4] и [5] посвящены обсуждению системы мониторинга и анализа трафика для крупномасштабных сетей. Эта система сделана на базе Hadoop. Как указано в статьях, это платформа распределенных вычислений с открытым исходным кодом для обработки больших данных на стандартном оборудовании. Система была развернута в головном центре крупной сотовой сети.

В [6] рассматриваются задачи и требования при проектировании 5G-сетей для центров обработки больших данных, обсуждается, как облачные технологии и гибкое функциональное распределение в радиодоступных сетях позволяют уплотнить сеть и централизованно управлять такой сетью с радиодоступом посредством гетерогенных транзитных сетей. Кроме того, в статье обсуждаются фундаментальные концепции развития архитектуры сети LTE 3GPP, а также описываются ожидаемые выгоды.

Предложение возможной сотовой архитектуры, которая отделит внутренний и внешний сценарии, обсуждение различных перспективных технологий систем беспроводной 5G-связи, таких как массивы MIMO (Multiple Input Multiple Output метод пространственного кодирования сигнала, позволяющий увеличить полосу пропускания канала, в котором передача данных и прием данных осуществляются системами из нескольких антенн), энергоэффективные коммуникации, когнитивные радиосети, и коммуникации видимого света приведены в [14].

В публикациях [15] и [16] обсуждаются будущие задачи, с которыми столкнутся эти возможные технологии, выделено несколько перспективных технологий, которые будут меняться и, в итоге, определят будущие поколения телекоммуникационных стандартов. Предложено пять технологий для сетей 5G, которые могут привести как к архитектурным, так и к разрушающим компонентным изменениям дизайна. Идеи для каждой технологии описаны в контексте их потенциального воздействия на 5G, а также относительно исследования проблем в беспроводной сети для архитектуры больших данных. Ожидается, что можно будет достичь высокой скорости магистральной сети 5G, а использование узла C в качестве новой коммуникационной сущности будет определяться конвергенцией уже имеющихся родительских базовых станций ([17, 18]).

 

Эра больших данных

На рис. 1 показана архитектура больших данных: они поступают из множественных источников различных типов, затем анализ потока данных проходит в соответствии с кластерами данных, а также в соответствии с поисковыми данными и запросами.

Архитектура аналитики больших данных

Рис. 1. Архитектура аналитики больших данных

Определение больших данных в соответствии с нуждами промышленности состоит из нескольких параметров, таких как:

  • Объем. Существует большое количество факторов, способствующих увеличению объема данных. Ежедневно промышленность генерирует тысячи и даже миллионы переменных данных, которые затем сохраняются на протяжении многих лет. Рост количества датчиков в промышленности, увеличение количества пользователей социальных сетей и коммуникаций между ними посредством сообщений, обмен данными по электронной почте и тому подобное приводят к лавинообразному росту информации, которая должна сохраняться. Ранее увеличение объема данных вынуждало ставить вопрос о емкости хранилищ. Новые планы хранения и развитие техники уменьшения файлов вынуждают определять релевантность и используемость внутри больших объемов данных, а также ставят вопрос использования аналитической техники для определения ценности данных в зависимости от их значимости.
  • Скорость. Поток данных имеет непредвиденную скорость и нуждается в своевременном слежении. Например, RFID-метки, датчики и преобразователи являются параметрами исходных данных при общении в реальном времени. Высокий отклик данных и быстрая реакция в соответствии со скоростью данных являются сложной задачей для магистральной передачи больших данных.
  • Разнообразие. Сегодня информация от источников приходит в различных форматах и структурируется в виде числовых данных в обычной базе данных. Неструктурированными данными являются такие данные, как тексты, документы, аудио- и видеоинформация, электронная почта, а также обмен данными в социальных сетях. Техника управления, регулирования и объединения различных типов данных требует технических новшеств, чтобы справиться с этими особенностями.
  • Вариативность. Так как растут скорости, происходит увеличение видов и типов больших данных, их потоки могут быть крайне непостоянными: есть пиковые периоды. Эти же тенденции наблюдаются и в социальных сетях. Ежедневные, сезонные и событийные пиковые нагрузки данных могут быть сложны в управлении, в особенности если речь идет об управлении неструктурированными данными.
  • Трудоемкость. На сегодня данные обычно поступают из нескольких источников. И при существующих сетевых соединениях все еще довольно сложно преобразовывать данные и очищать формы данных из различных систем. Очень важно, однако, чтобы подключения и связи между данными давали бы быстрый ответ при коррелирующих связях, иерархии и множественных сетевых данных.

Несколько информационных источников, как было сказано выше, принимают исходные необработанные данные для ЦОД в огромных количествах. Все эти данные потом пересылаются на промежуточную обработку больших данных, и только полезные или ценные из них выбираются и доставляются пользователю. Этот процесс называется подготовкой больших данных, поскольку на этой стадии большое количество данных классифицируется в соответствии со структурой и типом данных. На рис. 2 показана блок-схема процесса промежуточной обработки (подготовки) больших данных для их классификации. Процесс такой подготовки необходим в целях повышения эффективности и быстроты, иначе большое количество данных будет влиять на время обработки и на точность.

Процесс подготовки больших данных

Рис. 2. Процесс подготовки больших данных

 

Технологии 5G

Высокоскоростную сеть передачи данных обычно строят в проводных архитектурах (кабель или оптическое волокно), а беспроводная технология является альтернативной сетью для передачи данных, выстраиваемой в параллели к этой проводной системе. Эволюция радиосвязи, являющейся аналоговой системой, к подвижной (мобильной) радиосвязи началась уже с первого поколения (1G) и продолжалась в течение всего второго и третьего поколений (2G и 3G). Затем в 2010 г. было внедрено четвертое поколение мобильной связи (4G) для увеличения скоростей и получения более высокой пропускной способности для передачи данных.

Пятое поколение беспроводной, или мобильной, сети (5G) обладает способностью поддерживать связь на еще более высоких скоростях. Для таких соединений ожидается возможность поддержки не менее 100 млрд устройств при скорости передачи данных 10 Гбит/с на каждого пользователя с ничтожными уровнем задержки и временем отклика. Внедрение и развертывание технологии 5G ожидается в 2020 г., в настоящее время проводятся исследования и разработка, а также происходит стандартизация. Использование 5G-сетей будет ожидаемо расти в период между 2020 и 2030 гг., сразу же после развертывания. В любом случае, сети 5G будут наслаиваться на уже существующие беспроводные технологии, такие как глобальная система мобильной связи (GSM) и беспроводная связь (Wi-Fi), которые также являются технологиями радиодоступа. Технология 5G способна стать образцом для будущего планирования умных городов и для реализации очень высокоскоростной сети передачи данных для миллионов пользователей и устройств.

Рис. 3 иллюстрирует преимущества 5G-технологии по пяти категориям.

Преимущества 5G-технологии по пяти категориям

Рис. 3. Преимущества 5G-технологии по пяти категориям

Специальный стандарт пятого поколения для беспроводной сети также связан со стандартизацией беспроводной связи (Wi-Fi), которая эволюционировала из беспроводной технологии, появившейся еще в 1997 г. Эта технология стандартизуется по IEEE 802.11, и ее способность в скорости передачи данных не превышает 2 Мбит/с. С течением времени продолжалось увеличение скоростей (рис. 4). Последний стандарт четвертого поколения устанавливает максимальную скорость передачи данных до 600 Мбит/с. В настоящее время в готовящемся стандарте 5G для Wi-Fi предполагается достичь очень высокой скорости передачи данных (в гигабитах). Из-за увеличения возможностей по быстроте в сто раз, а также вследствие уменьшения задержек ожидается также появление новых технологий для увеличения сроков работы батарей для устройств 5G (по сравнению с 4G).

Эволюция Wi-Fi 5G-стандарта

Рис. 4. Эволюция Wi-Fi 5G-стандарта

 

Сеть больших данных и 5G-технология

Огромные объемы и большое количество сложных данных в настоящее время агрегируются разными источниками для отправки в базы данных или для ретроспективного хранения. Для оптимизации такой сети нужно уметь проводить быстрое обследование всей сети передачи больших данных, так как со временем объемы трафика и транзакций увеличиваются. В течение следующего десятилетия вследствие появления огромного количества новых устройств, которые будут подключаться к Интернету, текущая прогнозная инфраструктура будет не в состоянии обслужить этот рост. Поэтому, чтобы справиться с большим объемом трафика, будут необходимы альтернативные технологии и иная инфраструктура обработки; одной из таких технологий является беспроводная 5G-связь. С другой стороны, использование беспроводной связи в качестве основного вида связи будет обусловлено в большей степени пользовательской техникой (в особенности, мобильными устройствами), нежели потребностью в беспроводной сети как таковой. На рис. 5 показано, как выглядит беспроводная сетевая 5G-инфраструктура с высокой пропускной способностью гигабитных сетевых соединений.

Иллюстрация беспроводной 5G-архитектуры

Рис. 5. Иллюстрация беспроводной 5G-архитектуры

Технология 5G рассматривается как ключевой фактор для Интернета вещей, а в последующую эру ожидается привязка для подключения к Интернету всего чего угодно, включая даже целые народы. Миллиарды датчиков будут подключаться к безопасным системам: это датчики бытовой техники, медицинских мониторов, дверных замков, автомобилей и различных носимых вещей, таких как умные часы (смарт-часы). Исследователи и аналитики из фирмы Gartner прогнозируют, что количество сетевых устройств, подключенных к Интернету, будет стремительно нарастать от примерно 5 млрд в 2015 г. до 25 млрд к 2020 г. [19]. Чтобы добиться желаемого уровня работы 5G-сети, переносчикам устройств и гаджетов будет необходима поддержка высокопроизводительной сетевой инфраструктуры между мобильными устройствами и большими антеннами, что позволит получать сервис от базовых станций. Переносчики устройств также будут подвигать провайдеров к тому, чтобы базовые станции устанавливались более плотно, даже буквально в нескольких сотнях метров друг от друга, что повысит качество услуг на мобильных устройствах. Сегодняшний телекоммуникационный провайдер использует для общения низкие частоты от 100 МГц до 3 ГГц, а грядущей 5G-сети потребуется эксплуатация более высоких частотных диапазонов. Но радиоволны на высоких частотах куда сложнее передавать на большие расстояния, в особенности если здания и стены блокируют сигнал. Некоторые новые методы, компенсирующие неудобства переносчикам устройств, опираются на передовые антенные технологии. Они включают технологию массивов MIMO (множественный вход множественный выход), которые параллельно посылают много радиосигналов и формируют луч, в котором фокусируется энергия радиоволн по определенному направлению. На рис. 6 показано, как может происходить коммуникация между сетями при использовании различных решений беспроводного доступа.

Сценарий беспроводного доступа к 5G-сети

Рис. 6. Сценарий беспроводного доступа к 5G-сети

В настоящее время на бизнес-модели влияет доступность Интернета и наличие сетевых возможностей. Организации или компании во всех областях предпринимательской деятельности развертывают все более сложное сетевое оборудование и начинают использовать технологии для улучшения связи. Связь является ключевым фактором для удовлетворения требований клиентов, и это большой потенциальный рынок для таких технологий, как 5G. На рис. 7 приведен пример сценария 5G-технологии по доступу к сети, начиная от пользовательских устройств и заканчивая передачей данных в центр обработки больших данных.

Варианты реализации 5G-технологии по доступу к сети

Рис. 7. Варианты реализации 5G-технологии по доступу к сети

 

Беспроводной мониторинг для крупных дата-центров

Стабильность системы ЦОД и максимальная производительность центра являются обязательным условием для того, чтобы предоставить лучший сервис клиенту или компании. Дата-центр зачастую выносится за пределы офиса. Иногда такие центры располагаются даже в других странах или на других континентах. По этой причине система мониторинга, контролирующая работу дата-центра, должна высылать оповещения, если что-либо случается с ЦОД. В постоянном мониторинге в пространстве информационного центра нуждаются такие параметры, как состояние окружающей среды, температура в помещении, мощность линий электропередачи, детекция задымленности и проч. Рис. 8 иллюстрирует, как организован контроль (наблюдение) в помещении ЦОД, включая мониторинг управления активами для предотвращения краж.

Мониторинг в помещении дата-центра

Рис. 8. Мониторинг в помещении дата-центра

Измерение эффективности установило, что обычно затраты на охлаждение дата-центра в среднем уменьшаются на 48%, а также происходит сокращение объемов энергии, потребляемой всем дата-центром, на 17% при удаленном осуществлении мониторинга ЦОД [20]. Системы беспроводной сенсорной сети также снимают ряд ключевых логистических (материально-технических) вопросов, возникавших, например, при монтаже проводки для подключения каждого датчика в помещении ЦОД. Использование беспроводной сенсорной сети позволяет легко расширять сети, а также облегчает возможный будущий переезд, так как эта система обеспечивает гибкость при любом применении рядом с помещениями ЦОД (и вне этих помещений). Другим преимуществом является то, что с помощью беспроводного мониторинга удобно осуществлять контроль практически из любого места и в любое время, без необходимости специального подключения или личного визита на станцию управления (контрольную станцию).

Помимо контроля состояния окружающей среды в помещениях и других параметров, относящихся к серверам, коммутаторам, маршрутизаторам и блокам резервного питания, беспроводной мониторинг востребован для проверок программного обеспечения. Например, регулярной проверки обычно требуют такие параметры, как:

  • емкость базы данных;
  • производительность системы;
  • состояние трафика;
  • состояние сети по отношению к другим дата-центрам;
  • производительность сети;
  • скорость передачи данных к пользователю;
  • аварийная индикация при мониторинге оборудования;
  • статус пользователя.
  • Хорошая система мониторинга обязана выдавать предупреждения, если что-то случается, чтобы решить проблему в кратчайшие сроки (с затратой минимума времени).

Системы хранения данных обычно устанавливаются в нескольких различных (физических) местах для обслуживания пользователей в соответствии со страной или регионом, а также для резервирования данных на тот случай если в одном из центров произойдет инцидент. Наблюдение и взаимосвязь с центрами хранения данных осуществляются по беспроводной сети из единой точки управления ЦОД. Таким образом, беспроводная система мониторинга является частью структуры центра больших данных.

* * *

Дата-центр, как база для хранения и транзакций данных и система управления запросами пользователей, нуждается в хорошей сети, которая может справиться со значительным увеличением (ежемесячно или даже ежедневно) количества подключаемых устройств, обеспечивает высокие скорости передачи данных и необходимую поддержку сервиса. Непрерывный мониторинг ЦОД требуется для проверки статуса и состояния системной базы данных, контроля производительности и емкости сервиса. Есть различные методики мониторинга дата-центров, но на сегодня самая популярная из них беспроводная система. Использование приложений 5G-технологии в сетевой архитектуре повышает эффективность и оптимизирует производительность устройств.

Литература
  1. Ericsson. 5G for the networked society beyond 2020 // Mobile World Congress 2013, February 2013.
  2. A. Imran and A. Zoha. Challenges in 5G: how to empower SON with big data for enabling 5G // Network, IEEE. Vol. 28. 2014.
  3. C. Jardak et al. Spatial big data and wireless networks: experiences, applications, and research challenges // Network, IEEE. Vol. 28. 2014.
  4. L. Jun et al. Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop // Network, IEEE. Vol. 28. 2014.
  5. H. J. Mikyoung Lee, Minhee Cho. On a Hadoop-based Analytics Service System // International Journal Advance Soft Computing Applications. Vol. 7. № 1. 2015.
  6. P. Rost et al. Cloud technologies for flexible 5G radio access networks // Communications Magazine. IEEE. Vol. 52. 2014.
  7. S. Marchal et al. A Big Data Architecture for Large Scale Security Monitoring. BigData Congress. 2014.
  8. K. Suto et al. An Overlay-Based Data Mining Architecture Tolerant to Physical Network Disruptions // Emerging Topics in Computing, IEEE Transactions on. Vol. 2. 2014.
  9. N. Baldo et al. Big Data Empowered Self Organized Networks // 20th European Wireless Conference. 2014.
  10. Y. Xiaomeng et al. Building a network highway for big data: architecture and challenges // Network, IEEE. Vol. 28. 2014.
  11. K. Suto et al. Toward integrating overlay and physical networks for robust parallel processing architecture // Network, IEEE. Vol. 28. 2014.
  12. Y. Hao et al. Big data: transforming the design philosophy of future internet // Network, IEEE. Vol. 28. 2014.
  13. X. Li Da et al. Internet of Things in Industries: A Survey // Industrial Informatics, IEEE Transactions on. Vol. 10. 2014.
  14. S. M. S. Evizal Abdul Kadir, Eko Supriyanto Tharek Abd Rahman, Sharul Kamal Abdul Rahim and Sri Listia Rosa. Multi Bands Antenna for Wireless Communication and Mobile System // International Journal of Circuits, System and Signal Processing. Vol. 8. 2014.
  15. W. Cheng-Xiang et al. Cellular architecture and key technologies for 5G wireless communication networks // Communications Magazine. Vol. 52. 2014.
  16. C. Woon Hau et al. Emerging technologies and research challenges for 5G wireless networks // Wireless Communications. Vol. 21. 2014.
  17. F. Boccardi et al. Five disruptive technology directions for 5G // Communications Magazine. Vol. 52. 2014.
  18. M. Peng et al. System architecture and key technologies for 5G heterogeneous cloud radio access networks // Network, IEEE. Vol. 29. 2015.
  19. B. Commision. The State of Broadband 2014: Broadband for All. International Telecommunication Union. Geneva. September, 2014.
  20. R. M. a. W. Tschudi. Wireless Sensor Network for Improving the Energy Efficiency of Data Centers. Lawrence!Berkeley!National!Laboratory, 2012.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *