Управление данными
Управление данными (Data management) - процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.
К управлению данными относятся
Анализ данных
Моделирование данных
Управление базами данных
Работа с хранилищами данных
Извлечение, преобразование и загрузка данных
Добыча данных
Обеспечение качества данных
Защита данных
Шифрование данных
Управление метаданными (репозиториями данных)
Архитектура данных
Управление данными подразумевает эффективную, экономичную и безопасную организацию процессов сбора, хранения и использования данных. Его целью является оптимизация управления данными сотрудниками, компаниями и подключенными устройствами с соблюдением политик и правил таким образом, чтобы они могли принимать решения и действовать наиболее выгодным для компании образом. Надежная стратегия управления данными приобретает все большее значение по мере роста числа компаний, которые полагаются на нематериальные активы для создания прибыли.
Управление цифровыми данными в компании включает в себя широкий набор задач, политик, процедур и практик. Работа по управлению данными должна учитывать множество факторов, включая следующие:
создание разнообразных данных на любом уровне, доступ к ним и их обновление;
хранение данных в различных облаках и локальной системе.
Обеспечение высокой доступности и восстановления при катастрофических сбоях
Использование данных в приложениях, аналитических средствах и алгоритмах
Контроль конфиденциальности и безопасности данных
Архивация и уничтожение данных в соответствии с графиками хранения и нормативными требованиями
Официальная стратегия управления данными определяет действия пользователей и администраторов, возможности технологий для управления данными, нормативным требования и потребности организации по извлечению выгоды из данных.
Современные системы управления данными
Сегодня компаниям необходимо решение, которое способно обеспечивать эффективное унифицированное управление разнообразными данными на едином уровне. Системы управления данными создаются на основе платформ управления и могут включать в себя базы данных, озера данных, системы управления большими данными, аналитические средства и многое другое.
Все эти компоненты взаимодействуют между собой, образуя единую платформу для работы с данными. Она обеспечивает средства управления данными, которые применяются в корпоративных приложениях, а также инструменты анализа и алгоритмы обработки этих данных. Хотя современные инструменты дают возможность автоматизировать выполнение многих задач управления, большинство развертываний баз данных имеет настолько большой размер и сложную структуру, что вмешательство администратора базы данных по-прежнему является необходимым. Это увеличивает вероятность появления ошибок. Сокращение потребности в ручном управлении данными является одной из основных целей новой технологии для управления данными, автономной базы данных.
Озера данных
«Озеро данных» (data lake) — это элемент инфраструктуры Big Data, хранилище большого объема неструктурированных данных, генерированных или собранных одной компанией или госучреждением. Данные в озерах хранятся, как правило, в несистематизированном виде. Проще говоря, это те данные, которые «и выбросить жалко, и деть некуда».
Компании создают озера данных по нескольким причинам, среди которых: необходимость иметь все материалы на случай проверки, потенциальная ценность данных в будущем, требования закона и другие.
Озера данных могут находиться на серверах самой компании или в облачном хранилище. Доступ к данным имеют, как правило, все сотрудники, а степень защищенности озер низкая. Содержание такого репозитория обходится недорого.
Главная проблема озер данных, как и природных водоемов, в том, что они могут загрязняться и превращаться в болота. Иными словами, хранилища бывают настолько неструктурированы и завалены неоднородными данными, что разобраться во всем этом и тем более извлечь ценную информацию не представляется возможным.
Платформа управления данными представляет собой основополагающую систему для сбора и анализа больших объемов данных по всей компании. Коммерческие платформы для управления данными обычно включают в себя программные инструменты для управления от поставщиков СУБД или сторонних вендоров. Такие решения для управления данными помогают ИТ-специалистам и администраторам баз данных выполнять следующие стандартные задачи:
выявление, диагностика и устранение ошибок в системе базы данных или ее инфраструктуре и рассылка связанных с ними уведомлений.
Распределение ресурсов памяти и места в базе данных
Внесение изменений в схему базы данных
Оптимизация обработки запросов к базе данных для увеличения эффективности приложений.
Платформа управления данными может строиться на основе нескольких программных продуктов или представлять собой единую унифицированную систему. Комплексная платформа обеспечивает единое управление данными в рамках всей ИТ-инфраструктуры, включая их резервное копирование, восстановление, архивирование, управление аппаратными моментальными снимками и получение отчетности.
Такая платформа позволяет реализовать мультиоблачную стратегию, расширить центр обработки данных до облачной среды, осуществить быструю миграцию в облако, использовать возможности замены оборудования и внедрения наиболее экономичных вариантов хранения данных.
Некоторые решения способны автоматически архивировать данные. А с помощью искусственного интеллекта они могут обнаруживать, что «что-то пошло не так», и автоматически предпринимать корректирующие меры или уведомлять администратора, а также выявлять и пресекать атаки различных типов. Автоматизация сервисов способствует оптимизации ИТ-операций, позволяет высвободить ИТ-персонал, свести к минимуму ошибки из-за человеческого фактора, минимизировать простои.
Облачные платформы пользуются растущей популярностью у бизнес-пользователей и дают возможность быстро масштабировать объемы используемых ресурсов без лишних расходов. Некоторые из этих платформ доступны в виде облачных сервисов, что обеспечивает для компаний дополнительную экономию.
Определение больших данных
Большие данные — это разнообразные данные, которые поступают с постоянно растущей скоростью и объем которых постоянно растет. Таким образом, три основных свойства больших данных — разнообразие, высокая скорость поступления и большой объем.
Если говорить простыми словами, большие данные — это более емкие и сложные наборы данных, особенно из нестандартных источников. Размер этих наборов данных настолько велик, что традиционные программы для обработки не могут с ними справиться. Но эти огромные объемы данных можно использовать для решения бизнес-задач, которые раньше казались слишком сложными.
Основные свойства больших данных
| Объем | Количество данных — важный фактор. При работе с большими данными Вам потребуется обрабатывать внушительные объемы неструктурированных данных низкой плотности. Ценность таких данных не всегда известна. Это могут быть данные каналов Twitter, данные посещаемости веб-страниц, а также данные мобильных приложений, сетевой трафик, данные датчиков. В некоторые компании могут поступать десятки терабайт данных, в другие — сотни петабайт. |
| Скорость | Скорость в данном контексте — это скорость приема данных и, возможно, действий на их основе. Обычно высокоскоростные потоки данных поступают прямо в оперативную память, а не записываются на диск. Некоторые «умные» продукты, функционирующие на основе Интернета, работают в режиме реального или практически реального времени. Соответственно, такие данные требуют оценки и действий в реальном времени. |
| Разнообразие | Разнообразие означает, что доступные данные принадлежат к разным типам. Традиционные типы данных структурированы и могут быть сразу сохранены в реляционной базе данных. С появлением больших данных данные стали поступать в неструктурированном виде. Такие неструктурированные и полуструктурированные типы данных как текст, аудио и видео требуют дополнительной обработки для определения их значения и поддержки метаданных. |
Системы управления большими данными
В некотором смысле термин большие данные следует понимать буквально: он означает большое, очень большое количество данных. Однако большие данные, в отличие от традиционных, очень разнообразны, и собираются они быстрее. Представьте себе, какое количество данных генерирует социальная сеть, например, Facebook, каждую минуту. Именно количество, разнообразие и скорость таких данных представляют особую ценность для бизнеса. Однако и управлять большими данными сложно.
Объем данных, поступающих из разрозненных источников (видеокамеры, соцсети, аудиозаписи, устройства IoT), постоянно увеличивается, что приводит к появлению систем управления большими данными. Эти системы имеют три основные области применения:
интеграция больших данных — работа с данными разных типов (от пакетных до потоковых) и их преобразование для последующего использования;
управление большими данными — эффективное, надежное и безопасное хранение данных в озере или хранилище данных, а также их обработка (часто с использованием объектной системы хранения).
анализ больших данных — извлечение новой, полезной информации с помощью инструментов аналитики, а также создание моделей посредством технологий машинного обучения и визуализации на базе ИИ.
Компании используют большие данные, чтобы совершенствовать и ускорять процесс разработки продуктов, выполнять упреждающее обслуживание, обеспечивать высокое качество работы с заказчиками, а также высокий уровень безопасности, операционной эффективности и ряд других преимуществ. По мере роста объема больших данных перед нами открываются новые возможности.
Трудности, связанные с управлением данными
Сегодня трудности, связанные с управлением данными, вызваны главным образом их объемами, которые стремительно растут, и ускорением темпа ведения бизнеса. Компаниям доступны все более разнообразные данные, которые обрабатываются все быстрее и во все больших объемах. Это создает потребность в эффективных инструментах управления. Вот неполный список наиболее сложных проблем, с которыми сегодня сталкиваются компании.
| Организации не знают, какими данными располагают. | Компании собирают и хранят данные, поступающие из все большего числа самых разнообразных источников: датчиков, умных устройств, социальных сетей и видеокамер. Но все эти данные будут бесполезными, если в компании не знают, что это, где хранится и как их использовать. |
| Необходимо поддерживать эффективность на высоком уровне при росте объема данных. | Компании все активнее собирают, хранят и используют данные. И чтобы поддерживать пиковые показатели отклика на всем уровне данных (который продолжает расширяться), нужно постоянно следить за тем, на запросы какого типа отвечает база данных, и корректировать индексы по мере того, как меняются запросы. При всем этом эффективность снижаться не должна. |
| Нужно обеспечивать соответствие постоянно меняющимся нормативным требованиям. | Нормативные требования сложны, охватывают разные юрисдикции и постоянно меняются. Компании должны быть в состоянии анализировать свои данные и определять, к какой их части применяются новые или изменившиеся требования. Особое внимание при этом нужно уделять информации, по которой можно установить личность человека: ее нужно выявлять, отслеживать и проверять на соответствие международным требованиям по обеспечению конфиденциальности данных (а требования эти становятся все строже). |
| Не всегда понятно, как обработать данные так, чтобы их можно было использовать для решения новых задач. | Найденные и собранные данные сами по себе ценности не представляют — компании нужно их обработать. Если преобразование данных в удобный для анализа вид занимает слишком много времени и сил, то в итоге проанализировать ничего не получится. Как следствие данные принесут меньше пользы, чем могли бы. |
| Необходимо следить за изменениями в среде хранения данных. | Сегодня, когда вопросы управления данными стали особенно актуальными, компании хранят информацию сразу в нескольких системах, включая хранилища данных и неструктурированные озера данных, где в одном репозитории могут размещаться любые данные в любом формате. Специалисты по изучению данных должны уметь быстро и без особых усилий преобразовывать данные из исходного формата в другой, представляя их в том виде и создавая те модели, которые будут подходить для выполнения анализа практически любого типа. |
