Распределенная обработка данных в КИС
При распределтельной обработке , работа с БД на логич уровне осущ-ся на компьюрате клиента, а физ-ое её поддержание на сервере.
Распред-я обработка инф-и требует технологии «Клиент-сервер».
Тех-гия «Клиент-Сервер» - тех-гия сети, в которой осн-я часть её ресурсов сосредоточена в серверах обслуживающих своих клиентов.
Сервер-объект, предоставляющий сервер др объектам сети по их запросам.
Виды сервисов:1.почтовые;
2.служба печати;3.БД;4.Процессоры;5.Файловая система и др.Сервер работает по заданиям клиентов и управляет выполнением их заданий.
После выполнения каждого задания, полученные результаты посылаются клиенту.
Клиент – рабочие станции, использующие ресурсы сервера и предоставляющие интерфейсы пользователя.
Осн принципы тех-гий «К-С» явл разделение ф-ций приложения, т.е. любой прикладной программы на 3 гр-пы:
1.Ф-ции ввода и отображения данных;
2.Прикладные операции обработки данных(выписка накладной).
3.Операции хранения и упр-я инф-но вычислительными ресурсами (БД-ых).
40. Технология оперативной аналитической обработки OLAP. Хранилище данных.Система OLAP(аналитическая обработка в реальном времени) – технология обработки информации, включающая составление и динамическую публикацию отчетов и документов. Для OLAP-приложений разработана многомерная модель, которая позволяет более эффективно использовать данные, накопленные в оперативных системах. OLAP-технология используется бизнес-аналитиками для всестороннего анализа накопленных в организации данных и подготовки бизнес-отчетов. Причина использования OLAP для обработки запросов – это скорость. Корпоративные реляционные БД хранят данные в отдельных таблицах, которые обычно хорошо нормализованы. Эта структура удобна для операционных БД, но сложные многотабличные запросы в ней выполняются относительно медленно. Более хорошей моделью для запросов, а не для изменения, является пространственная БД, т. е. хранилище данных. OLAP делает мгновенный снимок реляционной БД и структурирует ее в пространственную модель для запросов. Хранилище данных.Хранилище данных – предметно ориентированная информационная корпоративная БД, специально разработанная и предназначенная для подготовки отчетов. Хранилище данных строится на базе клиент-серверной архитектуры, реляционной СУБД. Основное назначение хранилищ данных – информационная поддержка принятия решений. При этом в хранилище представлены не первичные данные, а обработанные данные. В процессе перемещения данных в хранилище выполняются следующие преобразования:· Очищение данных.· Агрегирование данных.· Преобразование в единый формат.· Согласование во времени .
41.Интеллектуальный анализ данных Data Mining. Виды закономерностей и методы Data Mining.Data Mining переводится как "добыча" или "раскопка данных". Data Mining — это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Выделяют пять стандартных типов закономерностей, которые позволяют выявлять методы Data Mining: ассоциация, последовательность, классификация, кластеризация и прогнозирование. Ассоциация имеет место в том случае, если несколько событий связаны друг с другом. Например, исследование, проведенное в супермаркете, может показать, что 65% купивших кукурузные чипсы берут также и "кока-колу", а при наличии скидки за такой комплект "колу" приобретают в 85% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка.
Если существует цепочка связанных во времени событий, то говорят о последовательности. Так, например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником. С помощью классификации выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил.
Кластеризация отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации средства Data Mining самостоятельно выделяют различные однородные группы данных. Основой для всевозможных систем прогнозирования служит историческая информация, хранящаяся в БД в виде временных рядов. Если удается построить найти шаблоны, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью можно предсказать и поведение системы в будущем.
42. Характеристика информационно-аналитической платформы Deductor. Методы обработки.Программа Дедуктор относится к классу аналитических платформ – программ для создания приложений СППР. Дедуктор вкл. многомерное хранилище и аналитическое ядро. Хранилище преднозначается для формирования и хранения гиперкуба данных. Данные извлекаются из различных источников преобразуются к многомерному виду очищаются, устраняются дубликаты, выполняется сглаживание. Наличие хранилища позволяет, увеличить скорость извлечения данных по запросам в 10 – 100 раз. Аналитическое ядро вкл.:а) механизмы импорта данных из разных источников. б) механизмы предворительной обработки данных.в) методы обработки. г) методы визуализации. Методы обработки в пакете Дедуктор. 1)Нейронные сети – для решения задач классификации, прогнозирования используют метод обучения «с учителем». 2)Дерево решений – метод машинного обучения позволяющий извлечь из имеющихся данных правила отображения в виде иерархий. ЕСЛИ----УСЛОВИЕ----ТО----ДЕЙСТВИЕ. 3) Сомоорганизующиеся карты Кохена – это метод нейронных сетей испольщующих обучение «без учителя». Применяются для задач кластеризации. 4) Прогнозирование – это построение прогноза на основе любой модели, например нейронной сети. 5) Корреляционный анализ – используется для выявления зависимостей между величинами. 6) Факторный анализ. 7) Автокорреляция. 8)Группировка. 9) Дубликаты и противоречия. 10) Квантование. 11) Парциальная обработка. Эти методы позволяют подготавливать данные для построения моделей.
43.Характеристика информационно-аналитической платформы Deductor. Методы визуализации.Программа Дедуктор относится к классу аналитических платформ – программ для создания приложений СППР. Дедуктор вкл. многомерное хранилище и аналитическое ядро. Хранилище преднозначается для формирования и хранения гиперкуба данных. Данные извлекаются из различных источников преобразуются к многомерному виду очищаются, устраняются дубликаты, выполняется сглаживание. Наличие хранилища позволяет, увеличить скорость извлечения данных по запросам в 10 – 100 раз. Аналитическое ядро вкл.:а) механизмы импорта данных из разных источников. б) механизмы предворительной обработки данных.в) методы обработки. г) методы визуализации.Методы визуализации: 1) OLAP-куб – многомерное отоброжение данных в виде крос-таблицы. 2) Таблицы. 3) Диаграммы. 4)Граф нейросети – отображает модель нейросети. 5) «Что если» - позволяет прогонять через построенную модель любые исходные данные и получать результат. 6) Обучающая выборка – используется для анализа модели. Отображаются результаты моделирования на обучающем и тестовом множестве. 7) Дерево решений – отображает результаты построения дерева решений по одномерному алгоритму. 8) Карта Коханена . 9) Диаграмма рассеивания – показывает график отклонения моделированных значений от реальных.
44.Характеристика информационно-аналитической платформы Deductor. Импорт исходных данных. .Программа Дедуктор относится к классу аналитических платформ – программ для создания приложений СППР. Дедуктор вкл. многомерное хранилище и аналитическое ядро. Хранилище преднозначается для формирования и хранения гиперкуба данных. Данные извлекаются из различных источников преобразуются к многомерному виду очищаются, устраняются дубликаты, выполняется сглаживание. Наличие хранилища позволяет, увеличить скорость извлечения данных по запросам в 10 – 100 раз. Аналитическое ядро вкл.:а) механизмы импорта данных из разных источников. б) механизмы предворительной обработки данных.в) методы обработки. г) методы визуализации. Импорт данныхосуществляется из файлов форматов: txt, xls, mdb, dbf и др. Возможен прямой доступ к данным и с испоользованием механизма доступа ODBC, ADO. В программе отсутствует возможность ввода и редактирования данных.
45.Понятие и назначение нейронных сетей. Модель искусственного нейрона.Нейронная сеть – это модель биологической нейронной сети чел. мозга. Относится к методам искусственного интелекта, применяется для построения моделей и машинного обучения «с учителем» и «без учителя» для решения задач классификации и прогнозирования. Различают нейроны: входные, выходные и внутренние. Нейроны распологаются по слоям. Различают сети: однослойные и многослойные. Число внутренних слоёв зависит от сложности задачи и исходного множества данных. На входной слой могут подаваться любые значения. Построение нейронной сети вкл. след. шаги:1. подготовка обучающей выборки, обучающая выборка может быть подготовлена в виде файла Exell в формате txt или в виде запроса в БД. 2. импорт обучающей выборки в сценарий Дедуктор для настройки импорта указываем путь к файлу запускаем процесс кнопкой Пуск, настраиваем назначение полей и способ отображения. 3. на панели инструментов сценарии запустить мастер обработки выбрать метод нейросеть и приступить к её настройке. 4. на втором шаге настроить назначение всех информационных полей указав входные выходные неиспользуемые поля и выполнить настройку нормализации. 5. на третьем шаге мастера описать способ разделения исходного множества данных на обучающее и тестовое. 6. на четвертом шаге описать структуру нейросети: число скрытых слоёв и кол-во нейронов в каждом слое. 7. на пятом шаге выбирается алгоритм и задание параметра обучения. 8. на шестом шаге указать условие остановки обучения варианты по достижению эпохи, по ошибке на обучающем и тестовом множестве, по % распознаных примеров. 9. на седьмом шаге обучения сети отображается в виде графиков одна кривая это ошибка на обучающем множестве , а вторая – ошибка на тестовом множестве, тенденция к уменьшению ошибки. Как только ошибка на тестовом множестве начинает увелич. то ошибку можно остановить. 10. на восьмом шаге устанавливаются способы отображения данных рекменд. визуализаторы: график нейросети, что если, таблица сопряжённости, обучающий набор.