Выбор источников и приемников данных, сопоставление объектов данных

Выбор источников и приемников данных, сопоставление объектов данных.

Выбор источников и приемников данных

• Выбор источников информации и методов ее сбора во многом определяется результатами анализа внешней среды. Критериями выбора источника служат:
• надежность и доступность источника;
• необходимость и достоверность предоставляемых им сведений;
• стоимость информационных услуг;
• совместимость формы существующего у источника представления информации с требованиями информационной системы потребителя.

• Получение информации потребителем от источника зависит от организационных и экономических взаимоотношений между ними.  Информация директивного характера  (законодательные акты, постановления, распоряжения и т.п.), как правило, поступает принудительно по установленным каналам связи и не требует организации ее сбора. Такая информация обязательно регистрируется, аннотируется и систематизируется.  Учетно-отчетная информация , предоставляемая физическими и юридическими лицами друг другу в соответствии с порядком, установленным законодательно, например, в виде счетов-фактур, деклараций о доходах или товарно-транспортных накладных, сопровождающих потоки ресурсов,также не нуждается в специальных мероприятиях сбора со стороны потребителя.

• Среди методов сбора  нерегламентированной информации  можно выделить:
• непрерывный мониторинг процессов и явлений;
• статистическое обследование информационных объектов;
• приобретение информации по подписке;
• электронный поиск в информационных сетях;
• разведка.

• Примерами мониторинга могут служить: непрерывная автоматическая запись параметров технологического процесса, ежедневный учет объемов продаж или курсов валют. В любом случае, наблюдаемые данные должны фиксироваться в форме, удобной для контроля, переноса на машинные носители и последующей обработки.

• Из перечисленных методов сбора особый интерес представляет  статистическое обследование,  различные формы проведения которого (опрос, анкетирование, перепись) требуют специальных подходов. Целью таких обследований, как правило, является получение оценок параметров или характеристик внешней или внутренней среды управляемой системы (например, предприятия или государства), необходимых для улучшения качества управления. В основе любого статистического обследования лежит получение информации от большого количества независимых, но однотипных источников, например, таких как человек или какой-нибудь товар массового производства. При этом для получения удовлетворительных оценок нет необходимости обследовать всю совокупность этих источников, т.е. проводить полную перепись. Достаточно ограничиться информацией, взятой у некоторой представительной выборки, а оценку получить последующей статистической обработкой в соответствии с существующими методами.

Прием и регистрация собираемой первичной информации

• Прием и регистрация собираемой первичной информации на входе информационной системы могут производиться вручную, автоматизированным способом или автоматически. При ручном способе фактографические данные об информационных объектах фиксируются на специальных бланках и в журналах установленной табличной формы, а поступающие документы регистрируются и сохраняются в виде оригиналов или копий. При автоматизированном способе регистрация осуществляется на машинном носителе (например, дискете или винчестере) путем диалога оператора и компьютера.

• При этом широко используется съем информации при помощи специальных устройств – сканеров. Автоматическая регистрация выполняется без участия человека и предполагает прямое подключение ИС к источнику. Например, при регистрации пассажиропотоков метро встроенными в турникеты фотоэлементными устройствами, подключенными к компьютеру. В этом случае входная информация представляет собой кодированный сигнал. В условиях автоматизированной технологии основная информация о производственных процессах поступает с автоматических датчиков.

• При любом способе регистрации входная информация должна контролироваться с целью недопущения ее дублирования или обнаружения в ней ошибочных данных. Собранная информация представляет собой первичные данные информационной системы. Отформатированные данные подлежат обработке в пакетном или диалоговом режиме с целью получения производной информации, используемой потребителями для принятия управленческих решений.

Формализация данных

• Другим важным компонентом, наряду со сбором и регистрацией входных данных является их формализация для последующей автоматизированной обработки. Совокупность методов и средств преобразования внешнего представления данных в машинное, описания хранимой и обрабатываемой информации и последующего преобразования данных из машинного представления во внешнее называется  информационным обеспечением  (ИО) ИС.

• Информационное обеспечение ИС является средством для решения следующих задач:
• однозначного и экономичного представления информации в системе (на основе кодирования объектов);
• организации процедур анализа и обработки информации с учетом характера связей между объектами (на основе классификации объектов);
• организации взаимодействия пользователей с системой (на основе экранных форм ввода-вывода данных);
• обеспечения эффективного использования информации в контуре управления деятельностью объекта автоматизации (на основе унифицированной системы документации).

• Информационное обеспечение ИС включает два комплекса:  внемашинное ИО  (классификаторы технико-экономической информации, документы, методические инструктивные материалы) и  внутримашинное ИО  (макеты/экранные формы для ввода первичных данных в ЭВМ или вывода результатной информации, структуры информационной базы: входных, выходных файлов, базы данных).

• К информационному обеспечению предъявляются следующие общие  требования :
• информационное обеспечение должно быть достаточным для поддержания всех автоматизируемых функций объекта;
• для кодирования информации должны использоваться принятые у заказчика классификаторы;
• для кодирования входной и выходной информации, которая используется на высшем уровне управления, должны быть использованы классификаторы этого уровня;
• должна быть обеспечена совместимость с информационным обеспечением систем, взаимодействующих с разрабатываемой системой;

• формы документов должны отвечать требованиям корпоративных стандартов заказчика (или унифицированной системы документации);
• структура документов и экранных форм должна соответствовать характеристиками терминалов на рабочих местах конечных пользователей;
• графики формирования и содержание информационных сообщений, а также используемые аббревиатуры должны быть общеприняты в этой предметной области и согласованы с заказчиком;
• в ИС должны быть предусмотрены средства контроля входной и результатной информации, обновления данных в информационных массивах, контроля целостности информационной базы, защиты от несанкционированного доступа.

Классификация

• Для того чтобы обеспечить эффективный поиск, обработку на ЭВМ и передачу по каналам связи технико-экономической информации, ее необходимо представить в цифровом виде. С этой целью ее нужно сначала упорядочить (классифицировать), а затем формализовать (закодировать) с использованием классификатора.
• Классификация  – это разделение множества объектов на подмножества по их сходству или различию в соответствии с принятыми методами. Классификация фиксирует закономерные связи между классами объектов. Система классификации позволяет сгруппировать объекты и выделить определенные классы, которые будут характеризоваться рядом общих свойств. Таким образом, совокупность правил распределения объектов множества на подмножества называется  системой классификации .

• Свойство или характеристика объекта классификации, которое позволяет установить его сходство или различие с другими объектами классификации, называется  признаком классификации . Например, признак «роль предприятия-партнера в отношении деятельности объекта автоматизации» позволяет разделить все предприятия на две группы (на два подмножества): «поставщики» и «потребители». Множество или подмножество, объединяющее часть объектов классификации по одному или нескольким признакам, носит название  классификационной группировки .

• Классификатор  – это документ, с помощью которого осуществляется формализованное описание информации в ИС, содержащей наименования объектов, наименования классификационных группировок и их кодовые обозначения.

• По сфере действия выделяют следующие виды классификаторов:
• международные : входят в состав Системы международных экономических стандартов (СМЭС) и обязательны для передачи информации между организациями разных стран мирового сообщества;
• общегосударственные  (общесистемные): обязательны для организации процессов передачи и обработки информации между экономическими системами государственного уровня внутри страны;
• отраслевые : используют для выполнения процедур обработки информации и передачи ее между организациями внутри отрасли;
• локальные : используют в пределах отдельных предприятий.

• Каждая система классификации характеризуется следующими свойствами:
• Гибкость системы  – это способность допускать включение новых признаков, объектов без разрушения структуры классификатора. Необходимая гибкость определяется временем жизни системы.
• Емкость системы  – это наибольшее количество классификационных группировок, допускаемое в данной системе классификации.
• Степень заполненности системы  определяется как частное от деления фактического количества группировок на величину емкости системы.

• В настоящее время чаще всего применяются два типа систем классификации:  иерархическая и многоаспектная .

Сопоставление данных.

• Сопоставление данных —  это процесс сопоставления полей данных из одного источника с полями данных в другом источнике.

• Сопоставление данных помогает гарантировать, что данные из одного источника могут быть точно и эффективно преобразованы или переданы в другое место назначения, сохраняя при этом их целостность, последовательность и смысл.

• Сопоставление данных — это начальный этап любого процесса обработки данных, включая ETL и интеграцию данных.

• Примеры использования сопоставления данных:
• интеграция данных;
• перенос данных;
• улучшение качества данных.

• При работе с  массивами данных , сопоставление данных позволяет выполнять более точные и подробные запросы. И всесторонний анализ данных с более достоверными результатами.

• Сопоставление данных повышает надежность, эффективность и совместимость в различных областях и ситуациях. Сопоставление данных — один из первых этапов общей стратегии управления данными каждой организации. Вы должны использовать сопоставление данных, чтобы покончить с избыточными данными организации.

• Компании используют сеть подключенных приложений и систем данных для создания централизованной базы данных. Тем не менее, будут несоответствия в данных, собранных с помощью различных методов. Надежность данных зависит от избыточности данных и дедупликации.

• Сопоставление данных упрощает сравнение, выявление сходства и выделение сложных данных. Это надежный прибор, отвечающий более высоким требованиям к точности. В то же время это помогает свести к минимуму нерелевантные переменные.

• Сопоставление данных может помочь в анализе данных путем преобразования входных данных в аналогичный макет. Огромные объемы информации можно анализировать с помощью аналитического программного обеспечения для выявления закономерностей. Но многие из этих систем требуют, чтобы клиенты сначала стандартизировали свои данные. Несколько работников могут вводить данные, личности и места в CRM в различных форматах. Системный аналитик или административный сотрудник может использовать метод сопоставления данных для изменения данных во многих наборах данных и CRM.

• Многие предприятия используют свои наборы данных для хранения данных о соответствии, включая соглашения с клиентами и поставщиками и процедуры получения разрешений. Приложения для сопоставления данных могут помочь компаниям поддерживать свои наборы данных. И обеспечение того, чтобы они придерживались нормативных правил для различных учетных записей. Путем выявления идентичных объектов и счетов со схожими характеристиками. Эти приложения могут ускорить действия по соблюдению требований и повысить производительность административных работников.

• Сопоставление данных интегрирует установленную базу данных с информацией от надежных третьих сторон для обновления данных организации. Предприятия могут увеличить свои доходы, рекламу, производство и другие операции за счет повышения точности и надежности данных о клиентах. Обновленные данные помогают заполнить любые пробелы в пользовательской информации. Это дает компании полное представление о целевых сегментах рынка.

• Любые плохие деловые решения, принятые в свете ложной информации, тратят ресурсы. Предприятия могут повысить эффективность всего предприятия, увеличив  целостность данных  с помощью процедур сопоставления данных. В результате повышается вовлеченность и эффективность сотрудников.

Пошаговый подход к сопоставлению данных

• Хотя сопоставление данных является простой процедурой, в ней много движущихся частей, что может вызвать стресс. Мы рассмотрим прямой четырехэтапный подход к сопоставлению записей данных. И укажите особенности, на которые необходимо обращать внимание на каждом этапе, чтобы гарантировать оптимальную точность.

Шаг 1: Выбор и подготовка данных

• Данные собираются для сопоставления на начальном этапе. И в большинстве случаев наборы данных имеют различные проблемы с качеством данных, включая пустые записи, слова с ошибками, форматирование и отклонения в последовательности и т. д. Данные должны быть проанализированы, очищены и стандартизированы, чтобы обеспечить беспрепятственное и точное сопоставление записей.

i) Профилирование данных

• Применяя статистические методы к существующим наборам данных, профилирование данных выявляет конфиденциальные сообщения об их организации и составе. Качество ваших данных выделено в отчете о профиле набора данных. С помощью этих данных вы можете определить шансы на очистку базы данных. И откройте для себя характеристики, которые могут сыграть важную роль в процессе распознавания.

ii) Очистка данных и стандартизация

• Стандартизация данных выполняется для устранения неопределенностей, обнаруженных на предыдущем этапе. И обеспечить единообразную перспективу для всех наборов данных, участвующих в этапе классификации.

iii) Выбор атрибутов данных

• Выбор характеристик данных является последним этапом этапа предварительной обработки. Вы можете уменьшить беспорядок вывода, выбрав поля данных. То, что вы хотите сохранить для потрясающих результатов или золотого рекорда. Выберите обязательные поля, которые будут сравниваться с записями, чтобы увидеть, совпадают ли они.

Шаг 2: Конфигурация и выполнение сопоставления данных

• Теперь, когда ваш набор данных стандартизирован, важно настроить метод сопоставления. И вы выбрали совпадающие характеристики. Важно отметить, что различные методы предлагают различные варианты настроек.

• Хотя особенности этих настроек могут различаться в зависимости от поставщика, их использование необходимо для гарантии правильных результатов.

• Ниже выделяем пять настраиваемых компонентов процедуры сопоставления:
• Анализ данных из разных наборов данных.

• Вы должны указать, какие наборы данных должны соответствовать друг другу в начальной настройке. Возможны три сравнения:
• а) В пределах:  Этот параметр сравнивает только записи данных в одном и том же наборе данных. Первая строка базы данных A будет соответствовать всем остальным строкам базы данных A и наоборот. Первая строка базы данных A будет сравниваться со всеми остальными строками базы данных A и наоборот.
• б) Поперек:  Эта опция анализирует релевантные данные между наборами данных. Например, будут проанализированы все строки из набора данных A и все из набора данных B.
• в) Оба:  В этом случае сравнения выполняются между связанными базами данных и внутри них. Например, набор данных A сопоставляется с наборами данных A и B.

• Отказ разрешить сопоставление записей

• Сопоставление данных требует большого количества вычислений. Когда набор данных содержит миллионы записей, выполняется сравнение внутри и между базами данных с последующим поиском по нескольким полям. Это может быть утомительно для компьютера, и требуется много времени, чтобы получить первый результат.
• Выбор свойства, которое, вероятно, будет идентичным между двумя наборами данных. Если они соответствуют одной и той же организации, это предотвращает сравнения. Две записи исключаются из анализа, если их количества слишком различаются.

• Связывание полей из разных наборов данных

• Крайне важно отображать участки, представляющие точные данные для анализа, проводимого между базами данных. Из-за следующих различий между различными источниками данных:
• a)  Например, один ресурс структур данных сохраняет сведения о клиенте в виде одного поля. Напротив, второй ресурс поддерживает три домена: имя, отчество и фамилию.
• b)  Заголовки полей, например столбец местоположения, называемый адресом проживания в одном ресурсе. При этом он сохраняется как термин Address в другом ресурсе.

• Создание параметров совпадения для нескольких сравнений

• Сравнение данных в одном поле может не дать надежных результатов. Выберите сочетание переменных для контраста, чтобы получить отличный результат. Чтобы увидеть, насколько хорошо это работает, вот иллюстрация сопоставления информации о клиентах:
• Вы выбираете сопоставление различных полей, потому что в ваших базах данных клиентов нет отличительных идентификаторов. Возможны три классификации матчей:
• a)  Выбор метода информационного соответствия
• b)  Присвоение веса совпадающим характеристикам
• c)  Выбор порогового правила классификации.

Шаг 3: Оценка результатов

• После подсчета итоговых баллов вам будет предоставлена ​​следующая информация. Идентична ли запись любым другим данным? Насколько хорошо совпадают соответствующие данные? Каковы результаты соревновательных игр каждого поля? Вы должны оценить точность результатов после их создания.

• Оценка ложноположительных и ложноотрицательных результатов
• Настройка конфигурации соответствия данных

Шаг 4. Объедините и удалите повторяющиеся данные

• Устранение обнаруженного дублирования является последним шагом в процедуре сопоставления данных. Есть два способа избавиться от дубликатов:
• Объедините идентичные записи, чтобы создать единую комплексную запись
• Выберите полный журнал, который будет служить золотым стандартом, а затем удалите все остальные дубликаты.

• Обе стратегии используются для сокращения дублирования и сохранения большей части данных. Кроме того, вы можете создавать правила, которые объединяют и заменяют данные.

Каковы различные варианты использования сопоставления данных?

• Сопоставление данных — это практика сопоставления двух коллекций существующей информации. Есть много возможностей для достижения эффективного сопоставления данных. Но процедура часто основана на приемах или запрограммированных циклах. При этом процессоры выполняют последовательную оценку каждого отдельного компонента набора данных. Сравнение его с частью другой базы данных или сложными переменными, такими как строки, для сходства.

• Сопоставление данных можно использовать для интеллектуального анализа данных или устранения избыточных данных. Многие попытки сопоставления данных предпринимаются для разных целей. Например, для создания важной связи между двумя большими наборами данных для маркетинга, кибербезопасности или практических целей. Вот типичные приложения для сопоставления данных:

Электронная коммерция

• Компании проверяют товары и их стоимость на различных торговых площадках. Даже если два товара не имеют одинаковых идентификаторов или спецификаций, сопоставление корпоративных данных позволяет идентифицировать и сопоставлять похожие продукты.

Продажи и маркетинг

• Сопоставление данных позволяет предприятиям классифицировать целевую аудиторию на основе демографических критериев, объединяя методы оптимизации данных и оценки. Тем не менее, создавая релевантную и подходящую рекламу или рекламные инициативы для потенциальных потребителей. Персонализация позволяет бизнесу повысить эффективность своей рекламной деятельности.

Обнаружение мошенничества

• Сосредоточив внимание на разделах, которые разоряются и показывают подозрительные транзакции, технология сопоставления данных демонтирует завесу, которую воры используют для сокрытия своих данных.

Финансовые услуги

• Банки и поставщики финансовых услуг используют сопоставление данных для составления кредитных рейтингов клиентов. Также организуйте такие проекты, как поиск преступников, связанных с отмыванием денег. Банки используют стратегии сопоставления данных, чтобы получить полное представление о клиентах в рамках различных коммерческих операций.

Индустрия здравоохранения

• Медицинские учреждения  анализировать данные пациентов, чтобы поставить правильный диагноз и подобрать точные лекарства. Чтобы обеспечить точность записей о пациентах, больницы используют сопоставление данных с помощью программных решений.

• Предположим, что в сфере здравоохранения не используется метод автоматизированной дедупликации. Пациенты могут получать терапию или неподходящие препараты для лечения одного и того же заболевания. Медицинские записи связаны с различными другими базами данных. Чтобы исследовать влияние многих факторов, таких как лечение, болезни и лекарства.

Сопоставление данных для предприятий

• Каждая организация признает ценность связывания и интеграции связанных объектов. И роль, которую  надежность данных  Особенности игры при этом неоспоримы. Тем не менее, они придерживаются узкой точки зрения, разрабатывая процедуры аутентификации и данных. Чтобы справиться с текущей ситуацией, не рассматривая производственные заказы.

Начиная с основ

• По сути, это имеющаяся у вас информация о конкретном объекте, будь то физическое лицо, семья, услуга или актив. Представляет, как учреждение и посредники изображали этого конкретного человека или предмет. Это никогда не средний человек или вещь. Первый фундаментальный вопрос, который вы должны решить, включает в себя. Каких данных достаточно, чтобы определить этого человека или даже этот объект? Данные представляют собой описательные черты или характеристики, используемые для определения личности или объекта.

Поддержание бизнес-контекста

• Они объединяют баллы или оценки из соответствующих алгоритмов, что приводит к стандартизированному результату. Очки выше определенной точки подразумевают совпадение, а оценки ниже - нет. Вы должны дать этому результату коммерческий контекст и выбрать соответствующие критерии.
• Любой объект данных, влияющий на ваши результаты сравнения, должен быть помечен как критический элемент данных, поскольку он повлияет на способность вашего бизнеса получить единое представление о вашей базе данных.

Разработка соответствующей стратегии с фокусом на будущее

• Сопоставление данных не происходит в одном месте в одно и то же время внутри организации, и это также не статический процесс. Во многих ИТ-системах сопоставление данных — это непрерывная, важная операция, которая никогда не заканчивается.
• Ежедневные потребительские покупки, встречи в больницах, звонки в службу поддержки, обновления местоположения и обновления каталога генерируют новые данные.

Автоматизация сопоставления данных

• Сопоставление данных с алгоритмами машинного обучения применяет обучение с подкреплением, если есть целевая переменная. В то же время речь идет о неконтролируемом образовании, если таковое отсутствует. В то же время интерактивное обучение выбирает набор экземпляров, которые будут иметь метки.

• Надежная структура алгоритма сравнения, называемая автоматизацией сопоставления данных или сопоставлением данных с машинным обучением, была создана, чтобы использовать возможности методов машинного обучения. Это включает в себя лингвистическую обработку, сходство изображений и логистические комбинаторы для сравнения данных на глубоком уровне. Данные, которые вы считаете подходящими, и информация, которая не подходит, являются реальными связями, которые получают эти системы.

• Эти алгоритмы машинного обучения используют переобучение и тонкую настройку. Чтобы раскрыть более сложную связь между вашими данными и тем, что вызывает совпадения в данной ситуации. Поскольку сопоставление сущностей верхнего уровня и нечеткое сопоставление не предназначены для конкретного варианта использования, полученное сопоставление является более глубоким и надежным.

Выводы

• Удаление дубликатов, сравнение и комбинирование имеют важное значение для эффективной работы компании и аналитики. Компании имеют меньший риск упустить шансы на рост бизнеса, привлечение клиентов, улучшение продуктов и более высокий доход. Предположим, они устраняют избыточность, распространенную в их базах данных. Четыре этапа процесса сопоставления информации: подготовка, настройка или выполнение, оценка результатов, слияние и дедупликация — не могут быть реализованы одним решением.