Практическая работа №15. Потоки данных в продуктах Майкрософт.

Группа Т(О), ТГ(О), С(О)–24-02, 2025 год

Занятие по рабочей программе №22

Дисциплина: БД.08 «Информатика»

Прикладной модуль 1. Основы аналитики и визуализации данных.

Тема: Практическая работа №15. Потоки данных в продуктах Майкрософт.

1. Цель занятия:

   1. Дидактическая:

• сформулировать представление студентов и получить практические навыки работы с Моделями данных;

• выяснить назначение применения ПО во время выполнения работы;

• систематизировать и объяснить сущность работы с потоками данных;

• определение основ аналитики и визуализации данных;

• углубить и закрепить знания по дисциплине «Информатика».

Воспитательная:

• развивать коммуникативные способности;

• развивать аналитические способности;

• развивать творческий подход к процессу обучения.

• воспитывать самостоятельность, дисциплинированность;

• стимулировать студентов к изучению дисциплины;

• побуждать к формированию активной жизненной позиции;

• прививать уважение и любовь к будущей профессии.

Вид занятия: практическая работа.

Тип занятия: обобщение и систематизация знаний.

Форма проведения занятия: репродуктивная и эвристическая беседа.

Междисциплинарные связи:

Обеспечивающие Математика, Охрана труда, Безопасность жизнедеятельности.

Обеспечиваемые

Информационные технологии в профессиональной деятельности, и др.

Методическое обеспечение: опорный конспект.

Литература:

1. Филимонова, Е. В. Информатика и информационные технологии в профессиональной деятельности: учебник / Е. В. Филимонова. – Москва: Юстиция, 2019. – 213 с. – (Среднее профессиональное образование). - ISBN 978-5-4365-2703-1.

2. Зимин, В. П.  Информатика. Лабораторный практикум в 2 ч. Часть 1 : учебное пособие для среднего профессионального образования / В. П. Зимин. — 2-е изд., испр. и доп. — Москва : Издательство Юрайт, 2023. — 126 с. — (Профессиональное образование). — ISBN 978-5-534-11851-3. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/514893

3. Блог компании OTUS Анализ и проектирование систем*

ХОД ЗАНЯТИЯ

1. Ознакомление с темой, целью и планом занятия.

Тема: ПР №15. Потоки данных в продуктах Майкрософт.

Цель работы: Получить практические навыки создания и использования потоков данных в продуктах Microsoft.

ПЛАН

1. Потоки данных можно создавать в нескольких продуктах Майкрософт.

2. Преимущества потоков данных.

3. Сценарии использования для потоков данных.

4. Создание и использование потоков данных в Microsoft Power Platform.

5. Параметры книги для надстройки "поток данных" в Excel.

1. Изложение и изучение нового материала, практическая работа.

ЛИТЕРАТУРА: [5], стр.

Что такое потоки данных?

Потоки данных - это самостоятельная облачная технология подготовки данных. Потоки данных позволяют клиентам получать, преобразовывать и загружать данные в среды Microsoft Dataverse, рабочие области Power BI или учетную запись Azure Data Lake вашей организации служба хранилища. Потоки данных создаются с помощью Power Query, унифицированного подключения к данным и подготовки, уже представленного во многих продуктах Майкрософт, включая Excel и Power BI. Клиенты могут запускать потоки данных по запросу или автоматически в расписании; данные всегда хранятся в актуальном состоянии.

1. Потоки данных можно создавать в нескольких продуктах Майкрософт

Потоки данных представлены в нескольких продуктах Майкрософт и не требуют создания или запуска лицензии для потока данных. Потоки данных доступны в Power Apps, Power BI и Dynamics 365 Customer Аналитика. Возможность создавать и запускать потоки данных объединяется с лицензиями этих продуктов. Функции потока данных в основном распространены во всех продуктах, в которых они представлены, но некоторые функции, относящиеся к продукту, могут существовать в потоках данных, созданных в одном продукте и другом.

1.1. Как функция потока данных?

На рисунке показано общее представление о том, как определяется поток данных. Поток данных получает данные из разных источников данных (уже поддерживаются более 80 источников данных). Затем на основе преобразований, настроенных с помощью интерфейса разработки Power Query, поток данных преобразует данные с помощью подсистемы потока данных. Наконец, данные загружаются в выходное назначение, которое может быть средой Microsoft Power Platform, рабочей областью Power BI или учетной записью Azure Data Lake организации служба хранилища.

1.2. Потоки данных выполняются в облаке.

Потоки данных основаны на облаке. При создании и сохранении потока данных его определение хранится в облаке. Поток данных также выполняется в облаке. Однако если источник данных находится в локальной среде, локальный шлюз данных можно использовать для извлечения данных в облако. При запуске потока данных преобразование и вычисление данных происходит в облаке, а назначение всегда находится в облаке.

1.3. Потоки данных используют мощный механизм преобразования.

Power Query — это модуль преобразования данных, используемый в потоке данных. Этот механизм может поддерживать множество расширенных преобразований. Он также использует простой, но мощный графический пользовательский интерфейс, называемый Редактор Power Query. С помощью этого редактора можно использовать потоки данных, чтобы быстрее и проще разрабатывать решения для интеграции данных.

1.4. Интеграция потока данных с Microsoft Power Platform и Dynamics 365.

Так как поток данных хранит полученные таблицы в облачном хранилище, другие службы могут взаимодействовать с данными, созданными потоками данных.

Например, приложения Power BI, Power Apps, Power Automate, Power Virtual Agent и Dynamics 365 могут получать данные, созданные потоком данных, путем подключения к Dataverse, соединителю потока данных Power Platform или непосредственно через озеро в зависимости от назначения, настроенного во время создания потока данных.

2. Преимущества потоков данных

В следующем списке описаны некоторые преимущества использования потоков данных.

• Поток данных отделяет уровень преобразования данных от уровня моделирования и визуализации в решении Power BI.

• Код преобразования данных может находиться в центральном расположении, а не распространяться между несколькими артефактами.

• Создатель потока данных нуждается только в навыках Power Query. В среде с несколькими создателями создатель потока данных может быть частью команды, которая вместе создает все решение бизнес-аналитики или рабочее приложение.

• Поток данных не зависит от продукта. Это не только компонент Power BI; данные можно получить в других средствах и службах.

• Потоки данных используют преимущества Power Query, мощного, графического, самостоятельного преобразования данных.

• Потоки данных выполняются полностью в облаке. Дополнительная инфраструктура не требуется.

• Вы можете начать работу с потоками данных, используя лицензии для Power Apps, Power BI и клиента Аналитика.

• Хотя потоки данных способны к расширенным преобразованиям, они предназначены для сценариев самообслуживания и не требуют ИТ-специалистов или разработчиков фона.

3. Сценарии использования для потоков данных

Потоки данных можно использовать для многих целей. В следующих сценариях приведены несколько примеров распространенных вариантов использования потоков данных.

3.1. Миграция данных из устаревших систем.

В этом сценарии было принято организацией решение об использовании Power Apps для нового интерфейса пользователя, а не устаревшей локальной системы. Power Apps, Power Automate и AI Builder используют Dataverse в качестве основной системы хранения данных. Текущие данные в существующей локальной системе можно перенести в Dataverse с помощью потока данных, а затем эти продукты могут использовать эти данные.

3.2. Использование потоков данных для создания хранилища данных.

Потоки данных можно использовать в качестве замены для других средств извлечения, преобразования, загрузки (ETL) для создания хранилища данных. В этом сценарии инженеры данных компании решили использовать потоки данных для создания хранилища данных, разработанного звездой, включая таблицы фактов и измерений в Data Lake служба хранилища. Затем Power BI используется для создания отчетов и панелей мониторинга путем получения данных из потоков данных.

3.3. Использование потоков данных для создания трехмерной модели.

Потоки данных можно использовать в качестве замены для других средств ETL для создания трехмерной модели. Например, инженеры данных компании решили использовать потоки данных для создания модели измерений, разработанной звездой, включая таблицы фактов и измерений в Azure Data Lake Storage 2-го поколения. Затем Power BI используется для создания отчетов и панелей мониторинга путем получения данных из потоков данных.

3.4. Централизация подготовки и повторного использования семантических моделей в нескольких решениях Power BI.

Если несколько решений Power BI используют одну и ту же преобразованную версию таблицы, процесс создания таблицы будет повторяться несколько раз. Это увеличивает нагрузку на исходную систему, потребляет больше ресурсов и создает повторяющиеся данные с несколькими точками сбоя. Вместо этого можно создать один поток данных для вычисления данных для всех решений. Затем Power BI может повторно использовать результат преобразования во всех решениях. Поток данных, если он используется таким образом, может быть частью надежной архитектуры реализации Power BI, которая избегает дублирования кода Power Query и снижает затраты на обслуживание уровня интеграции данных.

Совет. Попробуйте использовать поток данных 2-го поколения в Фабрике данных в Microsoft Fabric - решение для аналитики всех в одном формате для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию!

4. Создание и использование потоков данных в Microsoft Power Platform

Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать подготовку данных в последующих отчетах, приложениях и моделях.

В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогой. Он может потреблять до 60–80 процентов времени и затрат на типичный проект аналитики. Для таких проектов могут потребоваться фрагментированные и неполные данные, сложная интеграция системы, данные со структурными несоответствиями и высокий барьер набора навыков.

Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.

Благодаря потокам данных корпорация Майкрософт предоставляет возможности самостоятельной подготовки данных в Power BI и Power Apps Веб-службы и расширяет существующие возможности следующим образом:

1. Самостоятельная подготовка данных для больших данных с потоками данных: потоки данных можно использовать для легкого приема, очистки, преобразования, интеграции, обогащения и схемы данных из большого и постоянно растущего массива транзакционных и наблюдений источников, охватывающих всю логику подготовки данных. Ранее логика извлечения, преобразования, загрузки (ETL) могла быть включена только в семантические модели в Power BI, скопирована между семантических моделей и привязана к параметрам управления семантической моделью.

При использовании потоков данных логика ETL повышается до артефакта первого класса в службах Microsoft Power Platform и включает выделенные возможности разработки и управления. Бизнес-аналитики, специалисты бизнес-аналитики и специалисты по обработке и анализу данных могут использовать потоки данных, чтобы справиться с самыми сложными проблемами подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели. Этот механизм заботится обо всех преобразованиях и логике зависимостей, сокращающих время, затраты и опыт, в доли того, что традиционно требуется для этих задач. Вы можете создавать потоки данных с помощью хорошо известного, самостоятельного подготовки данных Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах в Power BI или Power Apps соответственно, наслаждаясь всеми возможностями этих служб, такими как управление разрешениями и запланированные обновления.

1. Загрузка данных в Dataverse или Azure Data Lake служба хранилища. В зависимости от варианта использования можно хранить данные, подготовленные потоками данных Power Platform, в учетной записи Dataverse или azure Data Lake вашей организации служба хранилища:

   • Dataverse позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями. Данные в Dataverse хранятся в наборе таблиц. Таблица представляет собой набор строк (ранее называемых записями) и столбцов (ранее называемых полями/атрибутами). Каждый столбец в таблице предназначен для хранения определенного типа данных, например, имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать пользовательские таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания расширенных приложений, использующих эти данные.

   • Azure Data Lake служба хранилища позволяет совместно работать с людьми в организации с помощью Power BI, Azure Data и служб ИИ или с помощью настраиваемых бизнес-приложений, которые считывают данные из озера. Потоки данных, которые загружают данные в Azure Data Lake служба хранилища хранения данных в папках Common Data Model. Общие папки модели данных содержат схемизированные данные и метаданные в стандартизованном формате, чтобы упростить обмен данными и обеспечить полное взаимодействие между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake служба хранилища организации в качестве общего уровня хранения.

2. Расширенная аналитика и искусственный интеллект с помощью Azure: потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake служба хранилища. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам и специалистам по обработке и анализу данных Azure для применения полной мощности служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Это позволяет бизнес-аналитикам, инженерам и специалистам по обработке и анализу данных совместно работать с теми же данными в своей организации.

3. Поддержка common Data Model: Common Data Model - это набор стандартных схем данных и системы метаданных для обеспечения согласованности данных и его значения в приложениях и бизнес-процессах. Потоки данных поддерживают общую модель данных, предлагая простое сопоставление из любых данных в любой форме в стандартных таблицах модели общих данных, таких как учетная запись и контакт. Потоки данных также помещают данные, как в стандартные, так и пользовательские таблицы в схемизированной форме Common Data Model. Бизнес-аналитики могут воспользоваться стандартной схемой и ее семантической согласованности или настроить их таблицы на основе уникальных потребностей. Общая модель данных продолжает развиваться в рамках инициативы Open Data.

Задание. Включите надстройку "Передачи данных", и настройте параметры функций "Ветвь" и "Out data out" на вкладке "Параметры книги". Изменение этих переменных изменит объем отображаемой информации, данные о ставках и направление их потоков по таблицам данных на вкладке "Ветвь" и "Выход данных". 

• Интервал данных (мс) - интервалы времени, через которые данные будут обновляться, на вкладке "Данные в".

• Строки данных - Количество строк, которые нужно визуализировать. Например, если вы хотите посмотреть на ряд значений, можно настроить количество значений, которые будут отображаться в таблице данных.

• Каналы данных - Количество каналов данных, которые вы ожидаете получить от микроконтроллера.

• Ориентация данных - Это определяет направление потоков данных в таблице "Исторические данные" ("Новые и новые в последнюю очередь").

Начало формы

Контрольные вопросы

1. Что такое надстройка "Передача данных"?

2. Как включить надстройку "Передача данных"?

3. Подключение источника данных с помощью надстройки Data Streamer..

4. Потоковая передача данных с помощью надстройки Data Streamer.

5. Дополнительные параметры надстройки Data Streamer для Excel.

6. Как отключить вычисление потоков в Excel?

7. Как создать пользовательский список сортировки в Excel?

8. Как в Excel сделать сортировку?
   
   

ДОМАШНЕЕ ЗАДАНИЕ

1. Изучить теоретический материал по данной теме.

2. Выполнить Задание.

3. Ответить письменно на контрольные вопросы.

Внимание! Выполнить домашнее задание в тетради. Отчёт отослать на адрес электронной почты преподавателя.

Перечень рекомендуемых учебных изданий, Интернет-ресурсов, дополнительной литературы.

Основные источники:

1. Информатика. 10 класс : учебник для общеобразоват. организаций: базовый и углубленный уровни / [А.Г.Гейн , А.Б Ливчак, А.И. Сенокосов, Н.А. Юнерман]. – 4-е изд. – М. : Просвещение, 2018. – 272 с. : ил. – ISBN 978-5-09-058130-1

2. Информатика. 11 класс : учебник для общеобразоват. организаций: базовый и углубленный уровни / [А.Г.Гейн, А.И. Сенокосов]. – 6-е изд. – М. : Просвещение, 2019. – 336 с. : ил. – ISBN 978-5-09-072326-8.

Электронные источники:

1. Зимин, В. П.  Информатика. Лабораторный практикум в 2 ч. Часть 1 : учебное пособие для среднего профессионального образования / В. П. Зимин. — 2-е изд., испр. и доп. — Москва : Издательство Юрайт, 2023. — 126 с. — (Профессиональное образование). — ISBN 978-5-534-11851-3. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/514893

2. Зимин, В. П.  Информатика. Лабораторный практикум в 2 ч. Часть 2 : учебное пособие для среднего профессионального образования / В. П. Зимин. — 2-е изд. — Москва : Издательство Юрайт, 2023. — 153 с. — (Профессиональное образование). — ISBN 978-5-534-11854-4. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/514918

3. Мойзес, О. Е. Информатика. Углубленный курс : учебное пособие для среднего профессионального образования / О. Е. Мойзес, Е. А. Кузьменко. — Москва: Издательство Юрайт, 2020. — 164 с. — (Профессиональное образование). — ISBN 978-5-534-07980-7. — Текст : электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/bcode/455803 .

4. Советов, Б. Я. Информационные технологии : учебник для среднего профессионального образования / Б. Я. Советов, В. В. Цехановский. — 7-е изд., перераб. и доп. — Москва : Издательство Юрайт, 2020. — 327 с. — (Профессиональное образование). — ISBN 978-5-534-06399-8. — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/bcode/450686 .

5. Новожилов, О. П. Информатика в 2 ч. Часть 1 : учебник для среднего профессионального образования / О. П. Новожилов. — 3-е изд., перераб. и доп. — Москва: Издательство Юрайт, 2020. — 320 с. — (Профессиональное образование). — ISBN 978-5-534-06372-1. — Текст : электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/bcode/448995 .

6. Новожилов, О. П. Информатика в 2 ч. Часть 2 : учебник для среднего профессионального образования / О. П. Новожилов. — 3-е изд., перераб. и доп. — Москва: Издательство Юрайт, 2020. — 302 с. — (Профессиональное образование). — ISBN 978-5-534-06374-5. — Текст : электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/bcode/448996

7. Гаврилов, М. В. Информатика и информационные технологии : учебник для среднего профессионального образования / М. В. Гаврилов, В. А. Климов. — 4-е изд., перераб. и доп. — Москва: Издательство Юрайт, 2020. — 383 с. — (Профессиональное образование). — ISBN 978-5-534-03051-8. — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/bcode/449286

Дополнительные источники:

1. Филимонова, Е. В. Информатика и информационные технологии в профессиональной деятельности: учебник / Е. В. Филимонова. – Москва: Юстиция, 2019. – 213 с. – (Среднее профессиональное образование). - ISBN 978-5-4365-2703-1.

2. Цветкова М.С., Информатика. Практикум для профессий и специальностей естественно-научного и гуманитарного профилей: : учеб. пособие для студентов учреждений сред. проф. образования / М.С. Цветкова, И.Ю. Хлобыстова. - 5-е изд., стер. - М. : Издательский центр "Академия", 2019. - 240 с. ISBN 978-5-4468-7901-4

Электронные источники:

1. Гаврилов, М. В.  Информатика и информационные технологии : учебник для среднего профессионального образования / М. В. Гаврилов, В. А. Климов. — 4-е изд., перераб. и доп. — Москва : Издательство Юрайт, 2021. — 383 с. — (Профессиональное образование). — ISBN 978-5-534-03051-8. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/469424

2. Акопов, А. С.  Компьютерное моделирование : учебник и практикум для среднего профессионального образования / А. С. Акопов. — Москва : Издательство Юрайт, 2023. — 389 с. — (Профессиональное образование). — ISBN 978-5-534-10712-8. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/517999

3. Демин, А. Ю.  Информатика. Лабораторный практикум : учебное пособие для среднего профессионального образования / А. Ю. Демин, В. А. Дорофеев. — Москва : Издательство Юрайт, 2023. — 133 с. — (Профессиональное образование). — ISBN 978-5-534-07984-5. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/516857

Преподаватель: Владимир Александрович Волков E-mail: [email protected]