Современные иас и большие данные. Информационно-аналитическая система

Комментарии

— анализ сбытовых процессов

Методика построения информационно-аналитических систем

— OLAP-продукты,

— инструменты добычи данных,

OLAP-продукты

— В серверных OLAP-средствах вычисления и хранение агрегатных данных выполняются сервером. Одним из самых распространенным в настоящее время серверным решением является OLAP-сервер корпорации Microsoft.

Рисунок 1.

Гвоздева, В.

А., Автоматизированные информационные технологии и системы - Москва 2011 - 541 с.

Информационно-аналитические системы

Функции и сферы применения ИАС

Основное назначение ИАС - динамическое представление и многомерный анализ исторических и текущих данных, анализ тенденций, моделирование и прогнозирование результатов различных управленческих решений.

Основными функциями информационно-аналитической системы являются:

· Извлечение данных из различных источников, их преобразование и загрузка в хранилище;

· Хранение данных;

· Анализ данных, в том числе оперативный и интеллектуальный;

· Подготовка результатов оперативного и интеллектуального анализа для эффективного их восприятия потребителями.

Результатом применения средств ИАС являются с одной стороны - регламентные аналитические отчеты, ориентированные на нужды пользователей различных категорий, с другой - средства интерактивного анализа информации и быстрого построения отчетов пользователями-непрограммистами с использованием привычных понятий предметной области.

Функцию сбора и хранения информации с сопутствующей доработкой в информационно-аналитических системах, выполняют информационные хранилища (Data Warehouse).

В связи с большим объемом и сложностью анализ данных имеет два направления — оперативный анализ данных (информации), широко распространена англоязычная аббревиатура названия – On-line Analytical Processing (OLAP). Основной задачей оперативного или OLAP-анализа является быстрое (в пределах секунд) извлечение необходимой аналитику для обоснования или принятия решения информации. Эту функцию выполняют всевозможные OLAP – средства.

Интеллектуальный анализ информации — имеет также широко распространенное в русской специальной литературе англоязычное название Data Mining. Он предназначен для фундаментального исследования проблем в той или иной предметной области. Требования по времени менее жёстки, но используются более сложные методики. Ставятся, как правило, задачи и получают результаты стратегического значения. Эту функцию выполняют всевозможные средства Data Mining.

Жестких границ между OLAP и интеллектуальным анализом нет, но при решении сложных задач приходится использовать весьма мощные специальные программные средства.

С технической точки зрения ИАС – это набор процедур, методов и регламентов, приводящих к регулярному плановому сбору, хранению, анализу и предоставлению информации, используемой для принятия управленческих решений.

Информационно — аналитические системы верхнего уровня служат для принятия стратегических решений. Они позволяют руководителю решать следующие задачи:

· составление консолидированной отчетности и предоставление сводной информации о деятельности предприятия (финансовые, производственные и другие показатели, динамика их изменений и тенденции),

· анализ деятельности дочерних предприятий, филиалов и подразделений компании (анализ доходности, затрат, выполнения плана),

· анализ финансовой деятельности (основные финансовые показатели, тенденции, взаиморасчеты), оптимизация финансовых потоков, реальная оценка себестоимости продукции,

· проведение комплексной оценки деятельности предприятия, основанной на постоянном контроле четырех наиболее существенных ее аспектов (финансы, отношения с внешним миром, внутреннее состояние компании, инновации),

· анализ сбытовых процессов (составление плана, контроль исполнения распоряжений, расчеты за отгруженную продукцию, прогноз поступления средств, прогноз спроса).

Информационно-аналитические системы подразделений предполагают большую детализацию и более сложную аналитическую обработку. Эти системы помогают подготовить информацию для принятия решений в области сбыта, продуктового предложения, финансового планирования.

Различают два вида информационно-аналитических систем по режиму и темпу анализа:

· статические — имеют заранее разработанный сценарий обработки данных при весьма ограниченных возможностях вариаций запросов;

· динамические — обеспечивают обработку нерегламентированных запросов и гибкую систему подготовки отчётов;

Можно выделить следующие принципы построения ИАС на предприятии:

· объединение всех информационных процессов предприятия;

· встраивание системы в уже сложившуюся организационную структуру предприятия;

· координация усилий всех подразделений предприятия при выполнении поставленных задач;

· открытость системы для дальнейшего развития;

· комплексное использование всех доступных методов анализа;

· информационная этика — "от каждого — в общую копилку, и из неё — каждому".

Заключение

Информационно-аналитические системы являются надстройкой над уже функционирующими на предприятии информационными приложениями и не требуют их замены; эти системы аккумулируют данные по всем видам деятельности компании — от состояния складов до финансовой и бухгалтерской отчетности.

Воспользуйтесь поиском по сайту:

АНАЛИТИЧЕСКИЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Комментарии

Текст работы размещён без изображений и формул.
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF

Широкое и эффективное применение программно-технических средств стало одним из факторов выживаемости и успеха предприятия в условиях острой конкурентной борьбы. Получили широкое распространение автоматизированные информационные системы.

Проблема анализа исходной информации для принятия решений оказалась настолько серьезной, что появился отдельный вид информационных систем - информационно - аналитические системы (ИАС).

Информационно-аналитические системы (ИАС) призваны на основе данных, получаемых в режиме реального времени, помогать в принятии управленческих решений.

Основное назначение ИАС — динамическое представление и многомерный анализ исторических и текущих данных, анализ тенденций, моделирование и прогнозирование результатов различных управленческих решений.

Результатом применения средств ИАС являются с одной стороны — регламентные аналитические отчеты, ориентированные на нужды пользователей различных категорий, с другой — средства интерактивного анализа информации и быстрого построения отчетов пользователями-непрограммистами с использованием привычных понятий предметной области.

В связи с большим объемом и сложностью анализ данных имеет два направления - оперативный анализ данных (информации), широко распространена англоязычная аббревиатура названия - OLAP. Основной задачей OLAP-анализа является быстрое извлечение необходимой аналитику для обоснования или принятия решения информации.

— составление консолидированной отчетности и предоставление сводной информации о деятельности предприятия

— анализ деятельности филиалов и подразделений компании

— анализ финансовой деятельности

— проведение комплексной оценки деятельности предприятия

— анализ сбытовых процессов

Классификация аналитических систем.

Для обозначения аналитических технологий и средств в целом принято использовать термин "Business Intelligence". Понятие BI объединяет различные средства и технологии анализа и обработки данных масштаба предприятия. На их основе создаются BI-системы. Их цель - повысить качество информации для принятия управленческих решений. BI-системы ранее были известны под названием Систем Поддержки Принятия Решений. В качестве синонимов понятия "СППР" оперируют также понятиями "аналитическая система". Сейчас же класс систем BI является независимым классом систем, в который входят системы класса СППР.

По оценкам IDC рынок BI состоит из 5 сегментов:

— OLAP-продукты,

— инструменты добычи данных,

— средства построения Хранилищ и Витрин данных,

— управленческие информационные системы и приложения,

— инструменты конечного пользователя для выполнения запросов и построения отчетов,

OLAP-продукты

На сегодняшний день в мире разработано множество продуктов, реализующих OLAP-технологии. Чтобы легче было ориентироваться среди них, существует несколько классификаций OLAP-продуктов:

— по способу хранения данных,

— по месту нахождения OLAP-машины,

— по степени готовности к применению.

В настоящее время применяются три способа хранения данных: MOLAP, ROLAP и HOLAP.

В случае MOLAP, исходные и агрегатные данные хранятся в многомерной БД или в многомерном локальном кубе.

В ROLAP-продуктах исходные данные хранятся в реляционных БД

В случае использования Гибридной архитектурыисходные данные остаются в реляционной базе, а агрегаты размещаются в многомерной.

Следующая классификация — по месту размещения OLAP-машины. По этому признаку OLAP-продукты делятся на OLAP-серверы и OLAP-клиенты.

— В серверных OLAP-средствах вычисления и хранение агрегатных данных выполняются сервером.

Информационно-аналитическая система

Одним из самых распространенным в настоящее время серверным решением является OLAP-сервер корпорации Microsoft.

— OLAP-клиентустроен по-другому. Построение многомерного куба и OLAP-вычисления выполняются в памяти клиентского компьютера. Среди одних из первых клиентскихOLAP-средств можно назвать OracleDiscoverer.

Классификация OLAP-продуктов — по степени готовности к применению.Различают: OLAP-компоненты, инструментальные OLAP — системы и конечные OLAP-приложения.

OLAP-компонента — это инструмент разработчика. С ее помощью разрабатываются клиентские OLAP-программы. Одна из наиболее доступных, но в то же время и одна из самых слабых OLAP-компонент — Decision Cube в составе Borland Delphi.

Инструментальные OLAP-системы — это программные продукты, предназначенные для создания аналитических приложений. В такой технологии реализована большая часть инструментов пакета BusinessObjects и Аналитической платформы Контур.

Наконец, к третьей категории OLAP-продуктов по степени готовности к применению относятся конечные OLAP-приложения. Это готовые прикладные решения для конечного пользователя. Они требуют только установки. Пример такого решения — OLAP-приложения системы "Контур Стандарт", подготовленные для анализа данных в различных отраслях и для решения различных аналитических задач.

Инструменты добычи данных(Knowledge Discovery in Databases)- это процесс поиска полезных знаний в "сырых" данных. KDD включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов "раскапывания данных" (Data Mining), а также обработки и интерпретации полученных результатов.

Центральным элементом этой технологии являются методы Data Mining. Функциональность Data Mining в той или иной степени полноты реализации включена в аналитические системы различных производителей -Oracle, Hyperion, SAS и т.д. В России авторитетным разработчиком систем в технологии KDD является компания "Лаборатория BaseGroup".

Средства проектирования Хранилищ данных входят в состав реляционных и многомерных СУБД от таких производителей как Microsoft, Oracle, IBM, Sybase и других. Также часто применяются универсальные CASE-инструменты, такие как BPWin и ErWin. После описания структур хранения данных специальными системными утилитами выполняется их генерация.

ETL-средства (extraction, transformation, loading) — средства извлечения, преобразования и загрузки данных) обеспечивают три основных процесса, используемые при переносе данных из одного приложения или системы в другие. ETL-средства извлекают информацию из исходной базы данных, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в нее преобразованную информацию. Существуют и специализированные системы, реализующие только ETL-функции. Классической ETL-системой является, например, продукт Ascential DataStage компании Ascential Software.

Управленческие информационные системы и приложения.

Существует еще один очень разносторонний класс аналитических систем. Это - конечные решения для управленцев и аналитиков. Исторически сложилось так, что технологическая основа реализации таких систем существенно различается. Одни из них построены на современных аналитических инструментах, другие - с применением базовых информационных технологий.

Аналитические системы классифицируются по виду задач, решаемых с их помощью. Среди видов задач можно выделить:

— Анализ финансового состояния банка или предприятия. Системы — Audit Expert (Про-Инвест), Альт-финансы (Альт), АБФИ (Вестона), Аналитик, АФСП, АДП (ИНЭК) и другие.

— Инвестиционный анализ - для комплексной оценки эффективности инвестиционных проектов и принятия решения об их финансировании, Project Expert (Про-Инвест), Альт-Инвест (Альт) и другие.

— Подготовка бизнес-планов. Системы — Project Expert (Про-Инвест), Альт-Инвест (Альт) и другие.

— Маркетинговый анализ. Системы — Marketing Expert (Про-Инвест), Касатка и другие.

— Управлениепроектами. Системы — MS Project (Microsoft), Open Plan (Welcom Software Technology) и другие.

— Бюджетирование. Системы — Hyperion Pillar, Comshare MPC, КонтурКорпорация. Бюджет (Intersoft Lab) идругие.

— Финансовоеуправление. Системы — Oracle Financial Services Applications (Oracle),КонтурКорпорация. Финансовое управление (IntersoftLab) и другие.

Инструменты конечного пользователя для выполнения запросов и построения отчетов.

Системы данного класса (Query & Reporting) предназначены для формирования запросов к информационным системам в пользовательских терминах, а также их исполнение, интеграцию данных из разных источников, просмотр данных с возможностями детализации и обобщения и построение полноценных отчетов, как экранных, так и печатных.

Практически каждая система класса OLAP снабжена средствами Query & Reporting. Эти средства могут быть как встроенными в основной продукт (примеры - "Контур Стандарт", Oracle Discoverer), так и выделенными в отдельный продукт (например, система Impromptu).

Также существуют и специализированные системы генерации и дистрибуции отчетов. Наиболее распространенные из них - это продукты компаний Crystal Decisions и Actuate.

Полная структура информационно-аналитической системы, построенной на основе хранилища данных, показана на рисунке 1. В конкретных реализациях отдельные компоненты этой схемы часто отсутствуют.

Рисунок 1. Структура информационной аналитической системы (ИАС)

Соснов А.Р., Организация автоматизированного рабочего места аналитикаhttp://www.bibliotekar.ru/deyatelnost-predpriyatiya-2/84.htm

Ермолович Л.Л., Анализ финансово-хозяйственной деятельности предприятия. - Мн.: БГЭУ, 2001. - 545 с.

Адамадзиев К.Р., Гаджиев Н.К. Информационные системы управления предприятиями: Учебное пособие - Махачкала: Издательско-полиграфический центр ДГУ, 2007. - 139 с.

Гвоздева, В. А., Автоматизированные информационные технологии и системы - Москва 2011 - 541 с.

Бубнова Н. Г., Информатика в экономике: учебное пособиеМосква 2011. - 476 с.

Исаев Г.Н., Моделирование информационных ресурсов: теория и решение задач. Москва 2012 — 224с.

ИАС Грузоперевозки 4.3.0.3093 — Автоматизация грузоперевозок и транспортной логистики.

Программа Грузоперевозки предназначена для автоматизации грузоперевозок, логистики, полностью автоматизирует работу транспортной компании.

Система состоит из нескольких взаимосвязанных модулей.
Учет грузоперевозок
Это основа программного обеспечения ИАС Грузоперевозки. В модуле учета грузоперевозок реализованы следующие функции:
обработка информации по заявкам на перевозку грузов;
регистрация сделок с заказчиками и исполнителями;
формирование "технических" документов;
формирование документов от имени других контрагентов;
контроль пробега тягачей и прицепов;
контроль продолжительности перевозки;
применение гибких тарифных сеток при расчете ставки перевозки;
обработка информации по дополнительным услугам;
учет поступления платежей клиентов и платежей перевозчикам;
учет накладных расходов;
учет общих доходов и расходов, не связанных с перевозками;
импорт платежей из систем типа клиент-банк;
импорт документов из бухгалтерских систем;
автоматическое распределение платежей по сделкам;
контроль задолженности;
напоминания по формированию документов;
контроль входящей и исходящей документации;
файловое хранилище документов по контрагентам, транспорту, водителям, перевозкам;
отправка электронной почты с уведомлениями;
отправка электронной почты с файлами из хранилища;
встроенный чат для деловой переписки;
печать договоров-заявок, актов, счетов, счетов-фактур, транспортных накладных;
печать отчетов по перевозкам, оплате и долгам;
экспорт документов в самые распространенные форматы;
мощная система разрешений, контроль доступа ко всем функциям;
распределение доступа к контрагентам;
распределение доступа к транспорту;
распределение отчетной документации;
возможность работы в сети Интернет с помощью дополнительного пакета с удаленным клиентом.

Расчет зарплаты
Инструменты модуля позволяют посчитать объем прибыли, принесенной каждым сотрудником и на этой основе посчитать их зарплату.

Складской учет
Данный модуль предоставляет не только стандартные инструменты контроля прихода и расхода запчастей и материалов, но и позволяет вести учет заказов покупателей, формировать информацию о потребности материалов для отдела закупок.

Анализ качества работы предприятия
Инструментарий модуля предназначен для анализа всей информации введенной в других модулях. На ее основе можно за считанные минуты сделать вывод о качестве работы предприятия.

Дополнительная информация
Лицензия : Условно-бесплатно
Разработчик ПО : Компания ЦИРИТАС
Поддерживаемые ОС : Windows XP, Windows 2003, Windows Vista, Windows 7, Windows 8
Язык интерфейса : Русский
Дата обновления : 2016-06-01
Размер программы : 45519 Kb

Скачать ИАС Грузоперевозки 4.3.0.3093

– это системы, позволяющие получать информацию, обрабатывать ее и проводить над ней анализ. Информация – это сведения в виде данных, которые не зависят от формы их представления. В современном мире существует достаточное количество определений этого термина, но большинство людей придерживаются традиционного вида пояснения. Абсолютно в любой сфере деятельности встречаются с информацией, объемы которой имеют значительные показатели. Результат анализа получаемой информации зависит от качества ее обработки. Информационно аналитические системы безопасности (ИАСБ) – это качество и успех деятельности при работе с информационным материалом.

Информационно аналитическая система безопасности подразумевает под собой тенденцию к общей реорганизации эксплуатации бизнеса, стремление достичь лучшего качества деловой информации, необходимость поддержания стратегического плана и достижение эффективных решений.

Описание общей структуры

Информационно аналитические системы заключаются в плодотворном хранении информации, а также в качественной обработке и оценке получаемых данных. На данный момент существует множество вариаций методов в реализации работы этой области. Качественное хранение данных зависит от существования информационно аналитической системы и соответствующих исходников поступающей информации.

Архитектоника взаимодействий в работе информационно аналитической системы имеет довольно длинный путь, который проскакивает через все источники данных, до того момента как дойти до аналитического анализа. По причине того, что количество и многообразие исходников информации имеют большие объемы и вариации, информацию нужно хранить надлежащим образом, в соответствии с поставленными задачами организаций. Проводя классификацию источников данных, пытаясь распределить их по типу и назначению, можно сделать следующий вывод, что они бывают транзакционного типа, типа хранилища данных и витринного типа.

На схеме – работа с данными в системе информационной безопасности

Информационно аналитическая система имеет два способа заполнения: вручную и автоматически. На стадии первичной фиксации информация проходит сквозь систему сбора информации и ее глубокого изучения. Транзакционная база данных в предприятии может быть не одна, зачастую их несколько.

Так как транзакционные источники информации не имеют особой согласованности между собой, то анализ располагает к себе преобразовательные и объединяющие функции. Можно распределить архитектуру современной информационной безопасности на следующие степени:

Накопление и исходная обработка;
Складирование и распределение;
Преобразование в витринный тип;
Анализ и исследование;
Web-источник.

Информационно аналитические концепции накопления и исходной обработки информации

1 уровень архитектуры – это транзакционные источники. Транзакционные базы данных имеют следующие особенности, которые представлены как требования для реализации работы: возможность моментально обработать данные и обусловить максимальную частоту их изменения. Ориентированность зачастую происходит для единичного случая (процесса).

Такие аналитические системы базы данных направлены на определенные программы и находятся под контролем транзакций.

Информация в таких базах использует частую конкретизацию, в связи с чем часто редактируется. Транзакции способны качественно выполнять задачи, связанные с валом шаблонного материала. Шаблонный материал – это довольно рутинное явление, которое следует обрабатывать каждый день. Но в итоге такая информация не даст точного ответа на вопрос общего положения дел, поэтому она не используется при комплексном анализе. Множество транзакций организуют последний уровень в архитектуре информационно аналитической системы безопасности.

Аналитические системы: процессы и инструменты

ETL-инструменты – это и есть те процессы, которые совершают извлечение (extraction), преобразование (transformation) и загрузку данных (loading). Предназначение процесса извлечения помогает совершить получение данных из источников, находящихся на нижних уровнях. В ходе работы преобразования информации происходит ликвидация избытка данных. Это реализуется за счет проведения вычислений и агрегаций. Извлечение, загрузка и преобразование могут быть трехступенчатыми, но их использование зарезервированного регламента.

Объединение данных, по типу складирования

3 уровень архитектуры содержит в себе исходные данные, имеющие название хранилище данных. Этот раздел подразумевает под собой исходную информацию, которая ориентируется на хранении и анализе. Исходники объединяют данные некоторого количества транзакций, а также позволяют проводить комплексный анализ, использующий высокоинтеллектуальные инструменты.

В соответствии с родоначальником идей объединения данных (Билл Инмон), хранение – это область применения, которая имеет некоторые особенности:

Предметная ориентированность;
Интегрированность;
Отсутствие возможности корректирования;
Зависимость от времени коллекционных данных;
Предназначение раскрывает суть в выбранном решении.

На схеме – архитектура современной информационной безопасности

Хранилище данных – это одна их ведущих аспектов архитектуры в информационно аналитических системах безопасности организации. Это звено имеет значимость в виде основополагающего источника информации для альтернативного анализа.

Аналитические системы безопасности: понятие данных в витринном виде

5 уровень архитектуры подразумевает ту информацию, которая описывается как витринная. Такое представление данных основывается на информации, которая содержится в хранилище данных, но не всегда. Как правило, они могут создаваться из данных, которые были взяты из транзакций, в том случае, если хранилище не создано.

Зачастую, пользователи проводят диагональ между хранилищем данных и витринным типом и выносят следующий вердикт: хранилище данных должным способом подходит для всей организации, а витрины обслуживают, как правило, обрабатывают отдельные уровни и подразделения. Иными словами, витрины могут использоваться для индивидуальных потребностей, что объясняется ограниченным уровнем возможностей.

Отличительной чертой между транзакциями и витринами считается то, что витрины предназначены для выполнения целевых задач, не являясь компонентом профессионального программирования.

Витрины используют такие люди, как аналитики, менеджеры и администраторы. Транзакции способны выполнять всеобщие задачи организации. Транзакциями пользуются люди, которые занимаются обработкой и вводом информации, но никак не анализируют ее и не принимают категорические решения.

Информационно аналитические системы: анализ информации

6 уровень архитектуры представляет набор программных средств, которые именуются как интеллектуальный анализ данных. Еще их называют BI-инструменты, то есть Business Intelligence Tools. Подобные инструменты помогают при проведении глубокого анализа, а именно с наилучшим образом распределять большие объемы информации и делать итоговое заключение в принятии решения.

Интеллектуальный анализ является средством использования для аналитиков и управляющих личностей. Задачи интеллектуального анализа представляют собой визуализацию и доступ к информации. Как упоминалось выше, входная информация является в большей степени не ресурсом, а обработанной информацией из хранилища, которая представлена в витринном виде.

Завершающий уровень архитектуры – Web-портал

В нынешние дни все чаще и чаще российские организации идут вслед за западными представителями аналогичной области. Интернет технологии дошли до высокого уровня и внедряются в работу с каждым днем все активней. Масса специалистов приняли в учет то мнение, что при использовании новейших технологий эффективность принятия решений увеличивается. Суть использования Web-порталов в области информационно аналитической системы безопасности заключается в экономии общих затрат. Это лучшим образом заменяет физические средства аналитической области и расширяет число клиентов. Осуществление подобных технологий улучшает поступление аналитической информации как и для аналитиков, так и пользователей. Web-портал хорош тем, что доступен и применим в любой точке мира. Благодаря подключению к сети Интернет реализация становится доступней.

Создание архитектуры ИАС

Информационные технологии достигли невероятных возможностей в нынешнем мире. С каждым днем их функциональная возможность обретает все больше и больше ресурсов. В связи с такой тенденцией общее количество инструментов информационной безопасности растет, тем самым становясь более доступными для использования многочисленными предприятиями. Появление новых средств не заставляет пересматривать всю работу старой аналитики, а напротив дополняет ее и совершенствует. С появлением новых инструментов общее время работы минимизируется, при этом качество получаемого результата не снижается, а, напротив, увеличивается. Если время работы способно сокращаться, следовательно, и общий объем затрат имеет свойство уменьшаться.

В итоге внедрение нового оборудование оставляет только плюсы и способствует положительной эволюции для данной области сферы деятельности.

Каждая организация вправе выбирать собственные инструменты анализа, которые им необходимы. Комплект инструментов можно собрать из разных устройств, производители которых будут отличаться, а можно и иначе – собрать комплект девайсов одной фирмы производителя. Честно говоря, нет точного ответа, какое из этих решений лучше. Каждая превосходит в чем-то отдельном. Например, при комплекте устройств одного производителя не будет нарушена система , что все-таки является хорошим фактом. Но если посмотреть со стороны безопасности, то комплектующие от разных производителей обеспечат лучшую защиту, так как адреса и резервированные коды устройств различаются, тем самым повышая общий уровень зашиты. Но при гибридной сборке могут возникнуть проблемы программного обеспечения, так как может выпасть сбой и несовместимость между комплектующими ресурсами.

На видео рассказывается об информационной безопасности:

36. Информационно-аналитические системы. Преимущества применения финансовой аналитики ИАС.

Информационно-аналитическая система – автоматизированная система , позволяющая экспертам быстро анализировать большие объемы данных, как правило является одним из элементов ситуационных центров. Так же, иногда в состав ИАС включают систему сбора данных

В процессе разработки ИАС, системные аналитики создают модель предметной области (онтологию) для создания хранилища данных и прогнозирования. Модель формализуется в подсистеме метаданных.

ИАС обычно строится на следующих продуктах (с парочкой примеров, см. полную таблицу вконце):

1. СУБД, - Oracle 11g EE, MS SQL Server, SAP BW, PostgreSQL, MySQL и т. п.

2. Сервер портала, - Oracle Portal, IBM WebSphere Portal Server

3. Сервер приложений, - Oracle BEA WebLogic, SAP NetWeaver Application Server, Apache/Tomcat

4. LDAP-сервер (служба каталогов), - Active Directory, IBM Directory Server

5. Система загрузки данных (ETL), - Oracle Warehouse Builder 11, IBM DataStage, SAP ETL

6. Средство многомерной обработки данных, - Oracle OLAP Option, MS Analysis Services, IBM DB2 OLAP и т. п.

7. Средство построения отчетов, - Oracle BI, MS PerformancePoint Server 2007

8. Средство статистического анализа, - Oracle Data Mining, MS Analysis Services Data Mining, Crystal Reports

9. Средство полнотекстового поиска, - Oracle Secure Enterprise Search, Search Server 2008

10. Управление НСИ (нормативно-справочной инф-ей), - SAP MDM

11. Управление Метаданными - SAP BO MetaData Management

Обычно архитектура ИАС содержит хранилище данных (Data Warehouse) средства извлечения, преобразования и загрузки данных (ETL) и аналитические средства. Процесс переноса, включющий в себя этапы извлечения, преобразования и загрузки, называют ETL - процессом (E-extraction, T-transformation, L - loading; извлечение, преобразование и загрузка, соответственно). Программные средства, обеспечивающие его выполнение, называют ETL-системами. Хранилище данных представляет собою репозиторий данных, консолидированных из различных источников при помощи средств ETL. Обычно для моделирования данных в хранилище используется схема «звезда», которая определяет, что описание бизнеса (например, выпускаемой продукции) хранится в измерениях (dimension) в то время как меры (например, количество проданных единиц товара) хранятся в таблице фактов. Хранилище данных поставляет данные пользователю при помощи аналитических средств, таких как аналитическая обработка он-лайн (OLAP – On-Line Analytical Processing).

Для того, чтобы пользователь, не владеющий языками программирования, мог задать способы анализа (например, отчеты или кубы) и изучать результаты, ему предоставляется набор аналитических возможностей ИАС, основанный на хранилище данных и OLAP, который включает подготовку отчетов агрегированных данных с возможность управления процессом подготовки отчетов путем выполнения следующих операций над многомерным представлением (кубом) данных в хранилище:

− разрезы (slice), т. е. уменьшение размерности при визуализации результатов,

− отбор (dice), т. е. выбор множества отображаемых данных, агрегирование (drill-up), т. е. подъем вверх по иерархии изменения (неделя-месяц-квартал)

− детализация (drill-down) (область-район-город) с увеличением детальности,

− переход (drill-across) переход от одного куба к другому.

ИАС призваны обеспечить решение следующих задач:

1. Диагностировать неблагоприятные ситуации в экономическом состоянии предприятия и прогнозировать возможные последствия и осложнения. Апостериорный анализ и выявление причин реально наблюдаемых критических ситуаций.

2. Анализировать возможные последствия альтернативных управленческих решений по устранению кризисных ситуаций;

3. Изучать возможные последствия изменений внешних условий :

4. Исследовать эффективность различных долгосрочных конкурентных стратегий в условиях неопределенности.

5. Анализировать деловые качества и уровень квалификации управляющего персонала.

Для пользователей ключевыми являются вопросы:

Каковы основные показатели бизнеса,

Какие показатели можно ожидать в ближайшем будущем с учетом деятельности конкурентов и государственной политики в сфере экономики,

Какие изменения в поведении клиентов произойдут в будущем и как необходимо перестроить бизнес, чтобы сохранить позиции.

Для точного ответа на эти вопросы необходима консолидация данных по всей компании и внедрение бизнес аналитики. Программные продукты, выпускаемые ведущими компьютерными фирмами для аналитической обработки, получили название Business Intelligence (BI). BI – это аналитическая платформа компании и технологии, ее поддерживающие вместе с базами данных , а также хранилищами данных на всех уровнях.

В области финансовой аналитики ИАС дает возможность понять, какие показатели являются ключевыми, определяющими и управлять ключевыми параметрами, от которых зависят дивиденды по акциям и прибыль. Использование финансовой аналитики помогает менеджеру среднего звена улучшить финансовые показатели за счет использования полной и актуальной информации относительно вклада данного подразделения в общие расходы и прибыль компании. ИАС позволяет контролировать и отображать в случае необходимости сотни ключевых показателей и десятки форм отчетов, что дает возможность финансовому менеджеру улучшить денежные потоки , снизить издержки и увеличить прибыль, одновременно поддерживая более точную, аккуратную, своевременную и транспарентную финансовую отчетность.

Преимущества применения финансовой аналитики ИАС заключаются в следующем:

Контроль платежеспособности – обеспечивается управление наличностью и мониторинг операционной эффективности и платежеспособности департаментов при одновременном снижении издержек. Оборачиваемость – мониторинг цикла движения наличности для управления капиталом, управления коллекторской деятельностью и управления риском платежеспособности, Своевременное ведение и анализ данных Главной книги – обеспечивает управление финансовыми показателями в разрезе связей с клиентами, анализ данных в разрезе продукции и регионов и получение в реальном времени тревожных предупреждающих сигналов о событиях, которые могут повлиять на финансовые условия. Прибыльность – идентификация наиболее прибыльных патентов, продуктов и память и понимание ведущих показателей и условий прибыльности по районам, отделениям и центрам прибыли.

Доп. Информация

Другие сферы

В области аналитики торговли и продаж − ИАС значительно повышает эффективность менеджеров по продажам. Система позволяет контролировать сотни ключевых показателей – индикаторов и большое количество отчетов. Обеспечивает в реальном времени, ориентированную на принятие решений картину на каждую возможность роста объема продаж. Обеспечивает более точное прогнозирование продаж и расширенные возможности идентификация возможных проблем и возможностей.

Преимущества:

1. Анализирует возможности цепочек поставки, чтобы определить действия, необходимые для удовлетворения целей рынка.

2. Определяет, какие сегменты продуктов и клиентов приносят наибольший доход

3. Идентифицирует возможности перекрестных продаж и продаж более общей номенклатуры товаров.

В области маркетинговой аналитик и ИАС обеспечивают получение максимального результата от инвестиций в маркетинг. Маркетинговая аналитика позволяет достичь наилучших показателей за счет предоставления всей маркетинговой команде полной (вплоть до минуты) картины пользовательских предпочтений, поведения клиентов при покупке товаров и сведений о прибыльноти маркетинговых стратегий. Маркетинговая аналитика помогает сблизится с наиболее ценными клиентами, расширить сотрудничество с ними и улучшить эффективность маркетинга.

Преимущества, предоставляемые ИАС:

1. В области маркетингового планирования – позволяет достичь лучших результатов по расходам на маркетинговые кампании, построить профили клиентов для более эффективного проведения маркетинговых акций и проводить эти кампании более эффективно, выявив движущие силы маркетинговой кампании и улучшить ее эффективность.

2. В оценке показателей эффективности маркетинговой кампании – осуществляет трассировку (пошаговый мониторинг) и измерение показателей эффективности кампании в реальном времени, облегчает понимание факторов, определяющих успех кампании, сравнение метрик отдельных маркетинговых кампаний по их результативности.

В области аналитики логистики и цепочек поставок ИАС обеспечивает лучшее управление при возникновении сложностей в цепочке поставок. Предоставляет реальную, вплоть до минуты картину на складах, поставках, отправке и поступлении, а также характеристики поставки для того, обеспечивая возможность лучше управлять соглашениями с клиентами, одновременно оптимизируя хранение и затраты поставщиков. Большое количество заранее запрограммированных отчетов и “приборных доски” дают исчерпывающую картину относительно состояния дел в подразделениях продаж, логистики, отгрузки, производства и контроля качества.

Преимущества:

1. В части поставки и отгрузки – система дает детальную наблюдаемость относительно прямых и косвенных затрат и определения возможности минимизировать затраты и уменьшить стоимость.

2. В части оценки характеристик поставщиков – мониторинг цен, отгрузки, и качества продукции для определения поставщиков с наилучшими и наихудшими показателями.

3. В части хранения – дает наглядную картину складской деятельности с целью минимизации расходов, которые не являются необходимыми и оптимизировать складское хозяйство, чтобы сохранить рабочий капитал.

Классификация на гос и корп.

Можно классифицировать разрабатываемые и эксплуатируемые системы по форме собственности предприятий (организаций) − пользователей: государственные и корпоративные . Государственные информационно-аналитические системы далее классифицировать по уровням государственного управления : информационно-аналитические системы и ситуационные центры создаются на всех уровнях государственного управления от Президента РФ до министерств и служб (МИД, МИНЧС, Минобразования и науки, систем на уровне регионов.

Корпоративные информационные системы в свою очередь подразделяются по сферам применения, из которых нас больше всего интересует экономика. Информационно-аналитическая система необходима различным категориям пользователей, таким как:

− Директору (Президенту компании),

− Финансовому директору,

− Директору (Вице-президенту) по информационным технологиям (CIO – Chief Information Officer) и другим представителям менеджмента корпорации.

Подробности о системе

Основной чертой современных ИАС является то, что работа с пользователем начинается не с предоставления ему аналитических отчетов, с помощью которых он сам бы отыскивал узкие места и критические ситуации и потом анализировал их причин. Система начинает с того, что обращает внимание пользователя на исключения, нештатные ситуации. Пользователь, получив от системы такой сигнал, переходит к анализу проблемной ситуации, причем система генерирует детальные отчеты только по требованию пользователя. Другими словами, система адаптирована к типовому сценарию работы пользователя.

В этих новых системах результаты аналитических отчетов отображаются на специально выделенной части рабочего стола компьютера, называемой «приборная доска» или «пульт управления», причем функциональность этих отчетов отражает потребности большинства пользователей данной организации (порядка 80%) в сведениях, которые необходимы им для эффективного выполнения работы . Причем информация выдается пользователю исключительно та, которая ему необходима и только тогда, когда она ему необходима. Тогда и только тогда пользователи просматривают эту информацию, которая возможно окажется релевантной рассматриваемой проблеме и они могут получить доступ к этой информации быстро и эффективно.

Такие аналитические средства реализуются с помощью Web-технологии и позволяют пользователям осуществлять мониторинг состояния процесса при беглом взгляде на экран. Цветовое кодирование, индикаторы критических ситуаций, легко воспринимаемые диаграммы и таблицы позволяют пользователю быстро оценить, какие характеристики лучше или хуже ожидаемых, и выявить критические процессы.

Затем, в случае необходимости, щелкая мышкой по метрике, пользователь получает более подробную информацию о том, что происходит на критических участках. Благодаря тому, что рабочий стол пользователя выделяет аномальные ситуации, которые пользователь должен проанализировать, и предоставляет ему дополнительную информацию только в случае необходимости, пользователь избавляется от необходимости просматривать горы отчетов и самостоятельно находить эти ситуации. На “пульт управления” менеджера аналитика предоставляет многослойную информацию, таким образом, что каждый последующий слой содержит более детальную информацию о событии, что позволяет пользователю переходит от реактивного мониторинга к проактивному анализу и действиям.

На верхнем уровне многослойной аналитической системы представлены отчеты об экстренных ситуациях, которые требуют немедленного вмешательства. Они позволяют пользователю окинуть взглядом полдюжины метрик, а также отчеты или другие документы, если его рабочий стол реализован виде портала. Метрики представлены в виде визуальных иконок, таких как «спидометры», «термометры», «стоп-листы», графики или диаграммы, которые можно редактировать, чтобы удовлетворить текущие потребности пользователя. Метрики дают пользователю беглый взгляд на характеристики, процессов или подразделений, которыми пользователь системы осуществляет руководство. В целом верхний уровень по оформлению напоминает пульт диспетчера атомной станции или крупного теплохода.

В то время как верхний уровень предупреждает менеджера о наличии критических ситуаций, средний уровень аналитической системы осуществляет их анализ и исследование. Ниже уровня пульта управления находится собственно аналитическая система, доступ к которой пользователь осуществляет, щелкая мышкой по иконке метрики или характеристике. Аналитический разрез, обычно создаваемый при помощи технологии OLAP, позволяет пользователю использовать различные сечения многомерного куба, с высокой скоростью, когда ему необходимо добраться до корней проблемы. Технология OLAP позволяет производить обработку данных “со скоростью мысли”. Пульт управления обеспечивает пользователю целенаправленный анализ и навигацию данных, исключая тем самым возможность потеряться в море данных.

Нижний уровень содержит операционные данные и отчеты. Несмотря на то, что большинство пользователей будет удовлетворено информацией, которую они получили на аналитическом уровне, некоторые могут захотеть получить более детальные сведения и даже изучить отдельные транзакции. Это желание приводит их на нижний слой пульта управления показателями, который обеспечивает доступ к операционным данным, хранящимся в хранилище данных или в журналах транзакцией, автоматически направлять запросы в эту систему, выбирать необходимые данные и представлять их пользователю в отдельном окне системы. Большинство OLAP систем встроено в пульт управления, что позволяет оперативно переключаться от просмотра глобальной картины к детальному анализу.

Для основных классов современных ИАС характерны следующие особенности:

- Системы основываются на Интернет-технологиях , что облегчает доступ к данным, упрощает для пользователя навигацию в системе (используя такие опции, как “назад”, “вперед”, “отмена”) и обеспечивает централизованное управление данными и администрирование.

В них используются портальные технологии , обеспечивающие как единую точку входа в информационное пространство предприятия и в Интернет.

- Интерфейс , реализованный в виде приборной доски или пульта управления, на котором отображается несколько ключевых метрик, позволяют оценить состояние дел беглым взглядом на приборную доску. Имеется возможность быстро обратиться также к ключевым показателям по подразделениям или отделам, которые хранятся в отдельной папке на приборной доске.

- Многослойность : данные организованы во много слоев, причем каждый последующий слой обеспечивает все более детальные данные относительно показателей , процессов или событий. Это позволяет пользователю осуществлять “бурение“, то-есть переходить ко все более детальным данным.

- Интерактивность : позволяет пользователю легко осуществлять навигацию, просматривать данные в различных сечениях и разрезах, а также осуществлять “бурение” данных, перемещаться по различным измерениям. Пользователь может также непосредственно выполнять целый ряд операций над данными.

- Управляемость : система обеспечивает целенаправленную работу с разномасштабными данными, работу по выбору видов отчетов, путей движения по данным или действий, которые пользователь может произвести, основываясь на контексте данных в процессе их просмотра.

- Своевременность : Показатели и отчеты актуализируются в соответствии с временной шкалой: по секундам, минутам, часам, или дням чтобы удовлетворить потребности пользователя. Предоставление пользователю данных осуществляется только тогда, когда они ему необходимы.

- Проактивность : Содержит машину построения правил, которая дает возможность пользователю определить цели и пороговые значения (ограничения) для различных показателей и определить, при каких значениях показателей должны выдаваться алерты или предупреждения. В системе могут быть заданы парметры или показатели для которых по достижении ими критических значений на монитор пользователя выдаются тревожные, визуальные или звуковые сигналы, называемые алертами.

- Кастомизация : Настройка приборной доски или пульта управления под роли и уровень управления пользователя с отображением только тех таблиц, показателей и отчетов которые каждый пользователь авторизован просматривать. Интеграция на приборной доске возможностей использования средств статистики и Data Mining для анализа ситуации при обращении к хранилищу данных и витринам , использование когнитивных карт и деревьев решений для выбора вариантов решений и использование методов исследования операций для их оценки.

- Персонализация : Позволяет пользователю выбирать объекты из авторизованного списка и располагать их на приборной доске в соответствии с их важностью.

- Гибкий доступ : Позволяет пользователю интуитивно обращаться к необходимым ему данным и отчетам из большого набора результирующих отчетов и графиков, включая мобильные приложения и удаленный доступ при помощи коммуникаторов.

- Коллаборативность : Средства допускают одновременную совместную работу группы сотрудников, включая просмотр отчетов. Коллеги могут обмениваться комментариями, направлять или публиковать для просмотра отчеты по списку или формировать рабочие диаграммы, в соответствии с которыми определенная группа пользователей совместно работает над проблемой. В крупных корпорациях эта функция реализуется при помощи ситуационных залов для коллективного рассмотрения ситуации и обсуждения возможных вариантов решений.

- Многообразие каналов общения с пользователем и форм представления информации: Позволяет пользователям публиковать и предоставлять отчеты по различным каналам, включая Web, электронную почту, принтер, беспроволочную связь, в любом формате, включая Excel, PowerPoint, PDF, HTML и другие.

- Саморегулирование : Предоставление возможности пользователю определять источники и природу любого показателя или объекта на приборной доске.

- Возможность печати : Предоставить возможность пользователю получать печатные варианты отчетов.

- Скорость : время реакции должно составлять менее секунды после щелчка мышкой.

- Масштабируемость : Характеристики не должны деградировать независимо от того, сколько пользователей одновременно работает в системе.

- Реактивность : Разработчики могут привносить новые данные или функциональность в течение нескольких дней но не месяцев или лет благодаря сервис-ориентированной архитектуре

- Портабельность : Пользователь должен иметь возможность отсоединиться от сети и забрать данные для дальнейшего анализа, например в виде файлов Excel.

- Реконфигурируемость структуры ИАС на основе использования SOA- (Service Oriented Architecture, Сервис ориентированной архитектуры) и онтологий.

Важным требованием к ИАС нового поколения является возможность накопления прецедентов, т. е. сохранение в базе данных ранее встретившихся критических ситуаций и действий, предпринятых для их разрешения с тем, чтобы можно было обучаться на опыте предыдущих ситуаций.

Информационно-аналитические системы поколения второй волны позволяют реализовать все основные функции информационной поддержки деятельности предприятия любого масштаба от малого или среднего бизнеса до крупного глобального холдинга.

Дополнительная таблица с продуктами

подсистема\Вендор

Oracle +(Hyperion)

SAP (+Business Objects)

Открытое ПО

Коммерческое ПО

SQL Server 2008 x64 EE

PostgreSQL, MySQL

Система загрузки данных (ETL)

Oracle Warehouse Builder 11 либо Oracle Data Integrator

SQL Server 2008 Integration Services

Informatica PowerCenter

Средство многомерной обработки данных

Oracle OLAP Option либо Oracle Essbase

SQL Server 2008 Analysis Services

Средство построения отчетов

Oracle BI Enterprise Edition

SQL Server Reporting Services, PerformancePoint Server 2007

Business Objects / Crystal Reports

Средство статистического анализа

Oracle Data Mining

SQL Server 2008 Analysis Services Data Mining

IBM InfoSphere Warehouse Enterprise Edition

Средство полнотекстового поиска

Oracle Secure Enterprise Search

Search Server 2008

IBM OmniFind Enterprise Edition

Nutch,Tika,Carrot,Lucene,Solr

1. Методы создания информационно-аналитических систем. Рассматривается последова-

тельность и содержание этапов создания ИАС. Освещается роль и задачи будущих конечных пользователей системы - лиц, принимающих решения, и экспертованалитиков в ее создании.

2. Сущность управления информационно-аналитической системой. Рассматриваются задачи управления ИАС; показано, что основой проекта ИХ и ИАС в целом, а в дальнейшем и управления ИАС являются метаданные (МД).

3. Задачи и средства администрирования ИАС. Рассматривается перечень работ, выполняемых в рамках задач администрирования ИАС. Определяется место пользователей в решении задач администрирования. Раскрывается содержание задачи загрузки и обновления данных, функции планирования работы ИАС, организации и осуществления ее эксплуатации.

4. Основы проектирования ИАС. Рассматривается основная задача проектирования - обеспечение раскрытия знаний, содержащихся в данных, сосредоточенных в первичных источниках и информационном хранилище. Перечисляются условия превращения данных в информацию и знания как принципы проектирования ИАС. Раскрывается содержание этапов проектирования информационной системы применительно к созданию ИАС. Рассматриваются факторы, которые необходимо учесть при проектировании ИАС.

Цель изучения : Освоить методы создания информационно-аналитических систем; усвоить принципы создания базы метаданных как основы структуры ИАС, организации применения средств ИАС в целях обеспечения аналитической подготовки принятия решений.

6.1. Программные инструментальные средства ИАС

1. Состав программных инструментальных средств ИАС.

2. Средства сбора и доработки данных.

3. Средства преобразования данных.

4. Средства оперативного (OLAP) анализа.

5. Средства интеллектуального анализа данных.

6.1.1. Состав программных инструментальных средств ИАС

В предыдущих разделах были рассмотрены основные функции информационноаналитических систем, в том числе: информационного хранилища ИХ (DW), оперативного анализа (OLAP), интеллектуального анализа (DMg), представления пользователю результатов анализа и подготовки принятия решений (DMt). Для реализации функций применяется набор программных инструментальных средств. Полный набор этих средств включает ряд крупных модулей.

Крупные функциональные модули могут быть органической частью ИАС или самостоятельным программным продуктом. Во втором варианте они входят в ИАС в качестве комплектующего элемента. В свою очередь эти модули состоят из ряда блоков. Перечислим основные блоки:

– средства импорта, перекачки данных из операционных баз и других источников информации в информационное хранилище, взаимодействующие с различными операционными системами и СУБД;

– средства преобразования данных, осуществляющие проверку на правильность, преобразование структур, агрегирование;

– набор или комплекс программ, которые выполняют операционные функции оперативного (OLAP) анализа; основу их составляет язык запросов Structured Query Language (SQL) усеченного или расширенного типа, в развитых ИАС в комплект входят специализированные языки различного уровня;

– средства графического и визуального конструирования отчетов, рассчитанные на конечного пользователя, как правило, дублируются языковыми средствами;

– средства удаленного доступа, обеспечения работы в распределенном и режиме «кли- ент-сервер», коллективного доступа и работы в глобальных сетях;

– средства администрирования ИАС;

– средства интеллектуального анализа данных, обычно называемые «Miner»;

– приложения, разработанные встроенными в комплекс программ средствами.

– средства моделирования объектов и процессов.

Структура программных средств ИАС изображена на рис. 6.1 Рассмотрим подробнее назначение и функции программных модулей, входящих в со-

став инструментальных средств ИАС. Многие из них имеют самостоятельное значение и могут быть использованы для различных целей.

6.1.2. Средства сбора и доработки данных

Сбор данных из различных источников сопряжен с тем, что информация в них формируется в различных форматах, имеет разнообразную структуру. В информационном хранилище и в системах поддержки принятия решений или в витринах данных информация должна быть приведена к определенной в ИХ структуре и форматам витрин данных.

Инструменты ИАС различного вида имеют в своем составе средства сбора данных из источников, созданных на различных аппаратных платформах: Intel, RISC, AS/400 и работающих во многих вариантах операционных сред, в том числе: в различных версиях Windows, Unix, AIX, Linux, ОS-2, МСВС и т.д. Обеспечивается совместная работа со многими СУБД, как то: Access, Paradox, Fox Pro, MS SQL-Server, Oracle, DB-2, Informix Линтер и т.д. Мощные средства ИАС насчитывают до 50-ти типов форматов, с которыми может взаимодействовать система.

Рис. 6.1. Структура программных средств ИАС

Средства сбора и			Средства управления и
доработки данных,			администрирования
создания и поддержки			информационно-
создания и поддержки			информационно-
информационного				аналитической
хранилища			системы, репозиторий



Средства оперативного			Средства визуального
			Средства визуального
			конструирования
			конструирования
			запросов и отчетов
			запросов и отчетов


				Средства
Средства			формирования отчетов
Средства			формирования отчетов
интеллектуального				(графика,
				мультимедиа)


			Средства удаленного
Средства			Средства удаленного
Средства			доступа, обеспечения
моделирования			доступа, обеспечения
моделирования
и разработки
и разработки				корпоративной
приложений				корпоративной
приложений				базы данных
				базы данных


		Приложения,
	разработанные
	средствами ИАС

Основы создания и применения информационно аналитических систем

Доступ к данным может быть реализован (организован) в двух вариантах.

В первом варианте производится непосредственное обращение из ИАС в базы данных. Этот процесс осуществляется с помощью драйверов из библиотек BDE (Borland Database Engine) и ODBC (Open Database Connectivity). Доступ к необходимым данным возможен после создания псевдонима данных - описателя, содержащего сведения, однозначно определяющие необходимую базу данных. Состав их зависит от типа СУБД и режима работы. При обращении к SQL-серверу достаточно указать наименование сервера и имя непосредственно базы данных. В случае работы с файловыми системами необходимо указать полный путь к искомому файлу. В системе ODBC следует задавать источник данных ODBS DSN. Этот способ выборки данных позволяет реализовать режим непосредственного обмена on line, когда каждое изменение в источнике мгновенно отражается в OLAP-системе. Однако реализовать этот режим не всегда возможно в силу того, что источник может быть выключен или закрыт для доступа, из-за неудовлетворительного состояния каналов связи и по другим причинам.

Предусматривается в виду изложенного и другой режим . Перегрузка информации из операционных баз данных производится по определенному согласованному распорядку - сценарию, который может быть сформирован с помощью заимствованных средств, например блока преобразования данных DTS из состава MS SQL Server или собственных средств разработчика OLAP- системы.

Операция перегрузки может производиться:

− непосредственно из баз данных с их форматами,

− из текстовых файлов предварительно сформированных из таблиц операционных баз данных.

Все источники информации должны быть зарегистрированы в ИАС. Собранные из первичных источников данные компонуются в новую многомерную базу данных (МБД) или объектную надстройку, которая имеет различные названия в конкретных реализациях инструментов ИАС. Например: Юниверс (Univers) в системе Business Objects, выборка в системе «Контур Стандарт», гиперкуб - SAS, пул - SAP R-3, в некоторых источниках ее называют факт-таблица (см. выше) и т.д. При построении МБД используются таблицы-справочники для доступа к информации, относящейся к различным классификаторам. Связи между объектами из нескольких источников данных определяются по ключевым полям.

Средства OLAP-систем предоставляют широкие возможности применения фильтров в процессе компоновки МБД.

6.1.3. Средства преобразования данных

Ввиду чрезвычайно высокой значимости информации, используемой для анализа, которая повышается после выполнения аналитических работ, обязательна процедура предварительной очистки данных. Производится обеспечение и проверка достоверности различными аппаратно-программными средствами и многими способами, в том числе:

Обратная проверка, контрольное суммирование, помехозащитное кодирование, семантический контроль и т. д.

Помимо этого производится логическая обработка данных в виде отбраковки нехарактерных для данного набора значений разного рода показателей. В этом случае используются средства статистической обработки данных и другие методы.

Необходимость преобразования связана с тем, что физическое представление данных в ИХ, как правило, сильно отличается от представлений в источниках. Ставится также задача эффективной реализации запросов и выполнения требования по времени отклика системы. Имеется потребность в унификации форматов представления данных.

Для этих целей используются языки обработки реляционных и многомерных данных, а также специальные процедуры. Языки могут быть заимствованными или фирменными.

При сборе (доставке), упаковке данных в ИХ возникает естественная потребность в агрегировании данных. По материалам исследований 90% пользователей используют в работе сильно агрегированную информацию. Необходимость в использовании информации детального уровня возникает весьма редко. Для обеспечения эффективного использования ИХ ведется

Информационно аналитические системы

наблюдение в процессе эксплуатации за частостью и характером запросов к хранимым данным. Выявляются закономерности, определяются наиболее частые типы запросов. На основании наблюдений заранее готовится агрегированная информация по соответствующим показателям. Такие меры резко снижают время отклика, соответственно повышается эффективность ИАС. Для реализации такого подхода применяются специальные процедуры.

6.1.4. Средства оперативного (OLAP) анализа

Задачи оперативного анализа изложены в разделе 4.1.3. Все ИАС, сертифицированные как OLAP-системы, имеют в своем составе соответствующие программные модули. Программные инструментальные средства, обеспечивающие автоматизацию аналитических работ в целях поддержки принятия решений, в литературе получили два распространенных названия: OLAP - системы и информационные хранилища. Использование того или иного зависит от приверженности автора к продукту той или иной фирмы. Под этими названиями подразумевают и полный набор средств и частные подсистемы.

Реализация их направлена на максимальное упрощение действий пользователя в процессе анализа. В процессе оперативного создания отчетов DSS - EIS затруднительно по времени использование языковых средств. По этой причине широко используются упрощающие такую работу и сокращающие трудозатраты средства графического конструирования. Основной принцип действия - сборка из элементов, представленных в графическом виде структур отчетов. Представленная общая структура базы данных в виде схемы с условно отображенными атрибутами (реквизитами) и классами, являющаяся по существу заранее заготовленной витриной данных. Из нее простым перетаскиванием на отведенную часть экрана компонуется отчет. Отпадает необходимость написания SQL-запроса. В некоторых инструментах (Business Objects) в процессе графического конструирования автоматически формируется соответствующий SQL-запрос. Конструирование отчетов может быть организовано и на основе электронных таблиц. Для реализации такого подхода созданы специальные программные модули, реализующие систему диалоговых меню, шаблоны, графические конструкторы. Сценарий анализа формируется с использованием технологии drag&drop (перенести и оставить), а также выбором из предложенных в диалоговом окне альтернатив, нажатием курсором соответствующих кнопок, определяющих те или иные режимы, настройкой иерархического дерева атрибутов и т.д. С помощью перечисленных методов и соответствующих средств выбирается нужная база данных, соответствующие поля и записи, определяются подлежащие анализу показатели, задаются режимы фильтрации, взаиморасположение функций и параметров (повороты, срезы и другие процедуры OLAP-анализа).

Результаты анализа представляются в виде напечатанных отчетов или презентаций, которые состоят из следующих компонентов: страница, таблица, график. Для окончательного оформления с учетом эстетических и психофизиологических требований используют собственные средства ИАС или полученные результаты анализа в составе перечисленных компонентов переносят в другие среды, в которых могут быть добавлены различные дополнительные компоненты в виде рисунков, кино-, фото-, аудио-, видеоматериалов. Экспорт данных может быть осуществлен и в Web-среду. Возможен и обратный вариант: все перечисленные дополнительные компоненты импортируются в качестве внедряемых OLE-объектов.

При создании сложных сценариев OLAP-анализа использование мнемонических методов приводит к повышенным трудозатратам и может даже усложнить процесс в связи с их громоздкостью. В таких случаях используются программные методы. В качестве языков программирования применяют стандартный язык запросов SQL, расширенные или усеченные версии или специализированные фирменные языки. В различных инструментальных средствах применяются свои варианты инструментов:

– в продукте Business Objects используется стандартный SQL,

– в системе «Контур Стандарт» - объктно-ориентированный язык Python совместно с XML;

– в среде «Линтер-Невод» применяется свой язык LAB в совокупности с SQL;

– в системе Oracle Express OLAP работы в таких случаях ведутся в профессиональной инструментальной среде для визуальной объектно-ориентированной разработки

Основы создания и применения информационно аналитических систем

приложений Express Objects, в составе которой имеется язык Express Basic. Упомянутые средства программного метода подготовки OLAP-анализа позволяют выполнять анализ любой степени сложности с минимальными трудозатратами, но требуют достаточно высокой квалификации участников этого процесса;

– в семействе продуктов Microsoft - языки VBA, SQL.

6.1.5. Средства интеллектуального анализа данных

Это наиболее сложная, интеллектуально насыщенная часть информационноаналитических систем, что служит причиной наличия соответствующего модуля лишь в составе наиболее развитых систем. К тому же состав задач, выполняемых модулями такого назначения, зависит от уровня развития системы.

Интеллектуальный анализ чаще реализуется автономными программными системами в связи со сложностью выполняемых задач.

В то же время OLAP-системы частично выполняют самые отработанные и легко реализуемые функции интеллектуального анализа.

К специализированным пакетам интеллектуального анализа относится высокоразвитый набор инструментальных средств для интеллектуального анализа крупных массивов данных (до миллионов записей) «Polyanalist» российской фирмы «Megaputer». Эта фирма пользуется мировой известностью, ее продукты используются более чем в 20 странах, занимали призовые места на международных конкурсах, их применяют такие известные фирмы как Chase Manhatten Bank, Dupont, Siemens и другие.

Все семейство продуктов обеспечивает наиболее полный набор методов Data mining и Text mining из известных комплексов инструментальных средств.

В том числе обеспечивается:

− извлечение знаний в больших массивах данных;

− автоматическое построение и тестирование формул, описывающих обнаруженные функциональные зависимости;

− составление классификационных правил по заданным примерам; формирование многомерных кластеров;

− предложение алгоритмов решений;

− текстовый анализ с возможностью связи понятий;

− визуализация результатов анализа и другие возможности, реализованные в шестнадцати модулях.

Набор средств реализован в шести конфигурациях, содержащих различные комбинации модулей:

Polyanalist 4.6 - однопользовательская версия: Polyanalist 3.5 Lite, - студенческая версия

Polyanalist 3.5 Power - продукты для индивидуальных пользователей и малого бизнеса. Polyanalist 3.5 Professional для MS Windows NT/2000/XP - мощная система Data Mining

для профессионалов.

Polyanalist Knowledge server 4.6 - клиент-серверная cетевая версия продукта, объединена в Knowledge server. Предназначен для работы на высокопроизводительных платформах,

включая SMP-машины, обеспечивает доступ к SQL-СУБД: Oracle, DB-2, Informix, MS SQL - Server и другим СУБД и OLAP-системам. В составе продукта имеется средство разработки собственных data mining-приложений и специализированных аналитических систем - Polyanalist COM-SDK, продукт, предназначенный для создания собственных приложений для Data mining, который имеет высокоуровневый API, библиотеку вызовов и по выбору все или отдельно каждый математический модуль.

Информационно аналитические системы

Активно развивает свои продукты, ориентированные на реализацию методов Data mining российская фирма - Лаборатория BaseGroup (г. Рязань). Основная ориентация продуктов фирмы - обеспечение:

− подготовки массивов данных к анализу;

− прогнозирования событий и поведения процессов на основе применения большого набора нейросетевых методов;

− анализа ситуаций с помощью аппарата деревьев решений;

− применения методов ассоциативных правил, генетических алгоритмов, фильтрации.

Развитой системой в отношении возможностей, предоставляемых модулями и автономными подсистемами интеллектуального анализа, является инструментарий ИАС фирмы США «SAS Institute Inc». В комплект инструментальных средств, решающих задачи интеллектуального анализа, входят:

− SAS/ETS - в этом модуле реализуются методы анализа временных рядов, экономического системного моделирования и прогнозирования, финансового анализа и формирования отчетов; производится восстановление пропущенных значений методом интерполяции, изменение временной привязки временного ряда, выделение сезонной компоненты во временных рядах, построение трендов, выявление флюктуаций и нерегулярной части;

− SAS/STAT - использует статистические методы регрессионного, дисперсионного анализа, нелинейного моделирования, анализа категориальных данных, многомерного, в том числе факторного анализа, кластерного и непараметрического анализа;

− SAS/INSIGHT - динамическое средство для исследования и анализа данных; использует методы статистического исследования одномерных и многомерных данных;

− SAS/IML - интерактивный матричный язык программирования, оперирующий с матрицами данных, которые могут быть числовыми и символьными;

− SAS/OR - инструмент моделирования, анализа, решения задач исследования операций, управления проектами;

− модули решения задач нейросетевыми методами.

В 2004 выпускается на рынок платформа SAS9 - Intelligence Platform, которая является интегрированной инструментальной средой, имеющей удобный интерфейс, разнообразные средства прогнозирования, аналитики и оптимизации, бизнес-приложения.

В то же время высокого уровня инструмент Oracle Express OLAP имеет в своем составе ограниченный состав средств интеллектуального анализа. Решение такого рода задач, выходящих за рамки возможностей этого инструмента, предлагается выполнять средствами MS Excel

и другими специализированными инструментами Data mining, с которыми имеется дружественный интерфейс. Необходимо заметить, что многие ИАС возлагают на MS Excel задачи интеллектуального анализа, которые выполняются программными модулями «Мастера функций» этого популярного инструмента.

Среди массовых инструментов необходимо выделить пакет «Stadia-6.2» российской фирмы InCo, реализующий все методики статистического анализа, прогнозирование, сравнение возможных альтернатив выбора. Пакет «Statistica» - с его помощью возможно решение всех задач статистического анализа, а также выявления закономерностей и прогнозирования нейросетевыми и другими современными методами.

Нейросетевое дополнение к пакету «Statistica» разработано российской фирмой «Статсофт». Этой фирмой в 2004 году выпущена русская усовершенствованная версия этого инструментального средства. Широко распространенный пакет OLAP-анализа Business Objects имеет в своем составе модуль интеллектуального анализа «Miner», выполняющий ряд задач этого класса, в том числе деревья решений, кластерного анализа. Однако основные функции интеллектуального анализа предусмотрено выполнять средствами MS Excel.

Вышедший на рынок в 1999 году российский продукт «Контур Стандарт» из задач интеллектуального анализа выполняет лишь функции построения и анализа временных рядов (трендов) и кластерного анализа.

Основы создания и применения информационно аналитических систем

6.2. Управление и проектирование ИАС

1. Управление информационно-аналитическими системами.

2. Задачи и средства администрирования ИАС.

3. Принципы проектирования информационных хранилищ ИАС.

4. Рынок инструментальных средств ИАС.

6.2.1. Управление информационно-аналитическими системами

Управление информационно-аналитической системой является в определенной степени функцией администраторов комплекса информационных технологий, действующих на предприятии. Однако следует учесть, что ИАС обеспечивает необходимыми сведениями - знаниями непосредственно руководителей высшего уровня. Это определяет необходимость участия лиц, принимающих решения, в управлении созданием, развитием и применением комплекса средств ИАС, к которым относятся:

− информационные ресурсы;

− техническая платформа;

− системная платформа в составе операционных систем и сред;

− системы управления базами данных и специальные инструментальные средства создания и поддержки ИАС.

Эти лица ставят задачи на создание информационно-аналитических систем, определяют содержание и структуру сведений, подлежащих накоплению в хранилище, форму представления извлекаемых знаний, лично используют возможности ИАС в различных процессах и режимах (по определению ИАС). В работах по созданию и применению информационноаналитических систем ЛПР опираются на администраторов, задачи которых будут рассмотрены ниже.

6.2.2. Задачи и средства администрирования ИАС

− планирование работы с ИАС;

− эксплуатация ИАС;

− создание (участие в создании) моделей предметной области, гиперкубов и интерфейсов пользователей;

− контроль за их наполнением и т.д.

В информационном хранилище содержание и структура данных в отличие от OLTP меняется не постоянно, а по определенному графику перемещением из операционных БД статичных «кадров». Такой подход обеспечивает стабильность данных, их устойчивость от сиюминутных изменений.

Рассматриваются три стратегии загрузки:

− пошаговое внесение изменений из среды OLTP, начиная с момента последней загрузки.

Применение первого способа обеспечивает быструю перегрузку, но необходимо ис-

пользовать специальные программы для преобразования, при этом затруднительно масштабирование.

Информационно аналитические системы

Одним из важнейших этапов проектирования ИАС является создание общего представления о составе подлежащих анализу данных (содержащихся в ИХ и всех находящихся в сфере взаимодействия операционных баз данных). Такие сведения сосредотачиваются в базе метаданных (МД) - репозитории.

Загрузка из приложений во многом сходна с первым способом, при этом используется много различных технологий и файловых систем, необходимы значительные ресурсы. Выходом из положения является подработка данных внутри приложения и выдача их в согласованном формате.

Третий способ предусматривает загрузку только тех изменений, которые появились с момента последнего «Общения» операционной базы с ИХ. Применяются следующие приемы перегрузки данных в рамках третьего подхода: замена всей таблицы из операционной БД, просмотр меток дат и времени в источниках информации, чтение операционных контрольных файлов, прием изменений на уровне СУБД, чтение регистрационных записей СУБД, сравнение состояний операционных БД «до» и «после».

Постепенно третий подход, то есть сбор измененных данных становится единственным.

Планирование

Операции загрузки и обновления должны быть четко спланированы, так как только такой подход обеспечит бесперебойность работы ИАС. В концепцию спроектированной ИАС или ИХ закладывается частость обновления данных после первоначальной загрузки. Периодичность таких акций тщательно планируется, для этого применяются мощные и гибкие инструменты. Эти средства могут работать в автоматическом режиме, то есть сами запускаться в определенное автоматическим планировщиком время. Программные системы могут использовать средства планирования смежных систем.

Эксплуатация

Производится контроль состояния системы с помощью встроенных программных средств, ведется анализ и отчетность о работе системы, содержащейся в ней информации. Производится настройка систем руководителя, поддержки принятия решений. Сгенерированные отчеты систематизируются, хранятся в специальном каталоге приложений, что экономит время и средства на создание новых отчетов. Эта работа в продвинутых ИАС максимально автоматизирована.

6.2.3. Принципы проектирования информационных хранилищ ИАС

Эта проблема актуальна не только для проектировщиков программных продуктов, администраторов ИАС, но и для пользователей, в особенности наиболее представительной по численности группы - аналитиков. В статье Computerworld 03.02 1995 года отмечалось, что «Data warehose нельзя купить, его надо строить самим». В этом строительстве должны участвовать все - от руководителей до аналитиков, членов специальной группы проектировщиков ИХИАС. Программные средства, которые можно купить, являются лишь инструментом для создания и поддержки ИХ-ИАС.

На начальном этапе создания ИАС или соответствующего модуля в интегрированной ИС - фазе структуризации информационного пространства предприятия необходимо выполнить следующие работы в части структуризации ИП предприятия (корпорации):

провести анализ состояния, характера и уровня выполненных на предприятии (корпорации) в этой части работ;

согласовать основные положения структуры ИП с вышестоящими органами (если они имеются), взаимодействующими и партнерскими организациями;

оценить информационный обмен, обусловленный внешними связями с учетом международных с этих позиций;

рассмотреть используемую выбранными инструментальными средствами ИАС систему классификации и кодирования и интерфейсы с точки зрения оценки объема работ по увязке ее с имеющимися на предприятии наработками;

Основы создания и применения информационно аналитических систем

разработать или модернизировать с учетом имеющегося на предприятии (в корпорации) опыта и наработок систему классификации, кодирования, реквизитов, показателей, ориентируясь на требования, которые предъявляют сложившиеся условия и возможности, предоставляемые внедряемыми инструментальными средствами.

Одной из важнейших задач ИАС является преодоление кризиса оперативного анализа или как его называют в англоязычной литературе Data in Jail (DIJ) - «данные в тюрьме». Смысл в том, что при обилии исходных данных без квалифицированного использования их пользователь не в состоянии извлечь из них информацию и приобрести знания о процессах, происходящих в Вашем бизнесе или другой предметной области. Здесь следует напомнить, что данные и информация не одно и то же.

Для превращения данных в информацию и знания в процессе анализа средствами ИАС и создания наиболее приемлемой архитектуры инструментальных средств ИАС необходимо соблюдение ряда условий:

1. Необходимо, чтобы принятое по выбору инструмента решение покрывало бизнес-потребности предприятия. Комплект программных продуктов должен обеспечивать выполнение полного спектра задач ИАС, а также обеспечивать техническую поддержку, обучение за приемлемую цену или возможности самообучения благодаря наличию добротной бумажной или электронной документации, другие сервисные услуги и возможности. Помимо инструментально-технологической основы комплект должен содержать готовые приложения, которые могли быть использованы немедленно, а также служить ориентиром для дальнейших разработок. Сюда могут быть включены аналитические задачи, поддерживающие поиск возможностей роста, обеспечивающие финансовую эффективность и т.д.

2. Должна обеспечиваться интегрированность - решение должно хорошо сочетаться с существующей платформой или средой. Необходимо реализовать гармоничное взаимодействие между всеми модулями системы на основе действующих стандартов в индустрии программных продуктов.

3. Необходимо выполнение условия неограниченности - то есть выбранная конфигурация средств должна быть адаптируема к изменениям и расширению на увеличение числа пользователей и объемов данных.

4. Свойство гарантированности - решение должно быть проверенным в смысле получения тех свойств, которые мы собирались обнаружить в данном продукте - получении бизнеспреимуществ и качества технологии. Поставщик продукта должен иметь прочные позиции на рынке, устойчивое финансовое состояние, хорошую клиентскую базу, большое число партнеров, пользующихся его технологиями.

При проектировании ИАС, под которым будем подразумевать выбор инструментальных средств, структурирование управленческих решений в рамках структурирования информационного пространства предприятия, подготовка витрин данных, исследование потребностей ЛПР в составе и других характеристиках информации, необходимой для принятия решений и т.д.

Основная задача администраторов ИАС - создание систем факт-таблиц с таблицами размерности и консольными таблицами. При этом должны соблюдаться требования потребителей информации. Должен быть обеспечен диалог аналитика и соблюдение требований к динамике процесса. Необходимо учитывать при проектировании «витрин данных» и других элементов ИАС психофизиологические требования и нормы к процессам анализа и обеспечения принятия решений.

Вопросы денормализации реляционных баз и нормализации многомерных баз также являются одними из основных при создании ИАС. Следует учитывать, что инструменты создания гиперкубов также допускают связи между таблицами «многие ко многим».

Средства реализации и задачи проектирования комплекса data mining

Наиболее развитые инструментальные средства ИАС, такие как SAS, Oracle, особенно математические среды такие как Matlab, обеспечивают представление добытых в результате

Информационно аналитические системы

анализа данных в виде моделей различного рода. Специальные процедуры и языковые средства дают возможность снижения трудозатрат при построении моделей на основе анализа имеющихся данных об исследуемых объектах.

Развитые средства data mining имеют графические средства анализа в виде графических конструкторов моделей, развитых средств отображения результатов, в том числе 3-D.

Задача проектировщика ИАС заключается в подборе, освоении в плане обеспечения соответствия параметров выбранных инструментальных средств задачам, стоящим перед предприятием (корпоративной структурой) в части интеллектуального анализа данных, необходимых для принятия стратегических решений.

Заметим, что комплекс этих средств должен обеспечить выполнение задач анализа, возникающих в трех названных разделах науки: математической экономики, эконометрики, специальных задач DM-g.

Условия успеха в интеллектуальном анализе данных:

– ясность в представлении цели анализа,

– подготовка существенных для проводимого исследования данных,

– правильный выбор методов и программных средств,

– квалифицированное и тщательное выполнение методов анализа,

– решение о применении результатов анализа.

Остальные принципы ложатся в рамки традиционного канонического и индустриального проектирования информационных систем. Они достаточно подробно рассмотрены в учебнике «Проектирование экономических информационных систем» в разделе «Проектирование систем оперативного анализа данных» (1).

6.2.4. Рынок инструментальных средств ИАС

На российском рынке инструментальных средств ИАС представлены в основном зарубежные продукты, чаще американских фирм. В последние годы стали появляться российские инструментальные средства создания ИАС, они имеют как целевой характер, в основном в области финансового анализа, так и многоплановый.

На мировом рынке отмечается бурный рост продаж инструментальных средств Business Intelligence при спаде спроса на функциональные (OLTP-системы) (49). Лидером рынка таких технологий стала компания Business Objects. Ее средства стали полнофункциональными с неограниченными возможностями по отношению к масштабам предприятия. Достигнуто это за счет развития собственного продукта и скупки компаний, владеющих смежными технологиями, необходимыми для достижения полной функциональности.

Как показано выше (п. 1, 2), все средства анализа и ИХ можно поделить на три больших класса:

1. Средства массового применения, к которым относятся Excel, Statistica.

2. Встроенные в интегрированные инструментальные средства создания ИС предприятия модули разработки и поддержки ИХ и анализа данных.

3. Специализированные инструментальные средства создания ИХ и обеспечения различного вида анализа.

Средства, относящиеся к первому классу

Программный инструмент MS Excel, в особенности версия Excel 2000 и выше, имеет практически полный набор признаков, отвечающих требованиям, предъявляемым к ИАС:

- средства получения данных из операционных БД - ODBC и другие по желанию заказчика;

- развитые средства использования факт-таблиц (OLAP-кубов), разработанных в среде инструментов OLAP-средств, статистического и финансового анализа;

- широкий набор средств оформления отчетов, базирующийся на средства MS Office, которыми широко пользуются другие пакеты.

Назначением любой современной информационно-аналитической системы (ИАС) является обеспечение руководителей, аналитиков и менеджеров информацией о всех аспектах деятельности компании для ее последующей оценки и анализа. В состав информационно-аналитической системы обычно включаются следующие подсистемы:

-подсистема сбора и хранения корпоративных данных, решающая задачи по сбору и фильтрации данных, накоплению и индексированию информации, обеспечивающая возможность использования информации в аналитических целях, а также при поддержке принятия решений на различных уровнях управления;
-подсистема доступа к данным, анализа и корпоративной отчетности, включающая в себя модули, обеспечивающие доступ к данным и защиту конфиденциальной информации, инструменты по поддержке принятия решений и оперативному анализу информации, средства корпоративной отчетности и визуализации данных.

Первая подсистема традиционно базируется на технологии оперативной обработки транзакций OLTP (On-Line Transaction Processing). В основе второй лежит концепция хранилищ данных (Data Warehouse).

Хранилища данных содержат непротиворечивые консолидированные исторические данные предприятия, отражающие его деятельность за достаточно продолжительный период времени, а также данные о внешней среде его функционирования.

Часто, наряду с общим хранилищем данных предприятия, используют витрины данных (Data Mart), представляющие собой специализированные аналитические базы данных по конкретному подразделению или аспекту деятельности предприятия. В соответствии с этим хранилище данных может иметь как двухуровневую (источники данных - хранилище данных), так и трехуровневую (источники данных - общее хранилище данных - специализированные аналитические базы данных) архитектуру.

Другими словами, хранилище данных определяется как “предметно-ориентированная, интегрированная, зависимая от времени, некорректируемая коллекция данных, предназначенная для поддержки принятия управленческих решений”.

Основной целью создания информационно-аналитических систем является перемещение информационного базиса компании из аморфной среды в структурированную, развивающуюся в соответствии с заранее намеченным планом, являющуюся источником информации, отвечающей насущным потребностям бизнеса. Создание и наполнение такой среды является первым шагом на пути к архитектуре корпоративных данных (информационной архитектуре), способной удовлетворять информационные потребности бизнеса.

Информационно-аналитические системы предназначены, прежде всего, для работников управления, они объединяет, анализирует и хранит как единое целое информацию, извлекаемую как из операционных баз данных, так и из внешних источников. Входящие в состав информационно-аналитических систем хранилища данных обеспечивают преобразование больших объемов сильно детализированных данных в управляемые и выверяемые обзорные отчеты, которые могут быть использованы работниками управления для принятия обоснованных решений. Информационно-аналитические системы являются сегодня инструментом для всех руководителей, столь же настоятельно необходимым, как и транзакционные системы, которые эффективно регистрируют операционную активность организации.

Информационно-аналитическая система, как правило, базируется на хранилище данных, которое:

-является базой данных, предназначенной только для чтения;
-обновляется из операционных деловых систем на периодической основе;
-предлагает единый подход к именованию и хранению данных, причем не имеет значения, как организованы данные в источниках;
-разрабатывается для поддержки управленческих нужд, а не для транзакционной обработки.

Хранилище данных предлагает среду накопления данных, оптимизированную для выполнения сложных аналитических запросов управленческого персонала. Эти запросы могут быть достаточно индивидуальны для каждого подразделения и даже отдельного руководителя.

Хранилище данных автоматически собирает операционные данные, согласовывая их и объединяя в предметно-ориентированный формат, который нужен работникам управления. Данные в хранилище данных не предназначены для модификации.

Предметная ориентация хранилищ данных означает, что данные объединены в категории и хранятся в соответствии с теми областями, которые они описывают, а не с приложениями, в которых они используются.

Интегрированность хранилищ данных подразумевает, что при переносе в хранилище данных, принадлежащих различным источникам, кодирование которых обычно не совпадает, эти данные согласуются по существующей системе наименований. Интегрированность определяет данные сразу таким образом, чтобы они удовлетворяли требованиям всего предприятия (в его развитии), а не единственной функции бизнеса. Тем самым, хранилище данных гарантирует, что одинаковые отчеты, сгенерированные для разных аналитиков будут содержать одинаковые результаты.

Некорректируемость хранилищ данных заключается в том, что хранилище данных само только считывает данные, оно не создает данные (они поступают от операционных или внешних источников), не корректирует их и не удаляет. Целостность данных обеспечивает концепцию единого источника достоверной информации в организации.

Зависимость от времени данных в хранилищах подразумевает, что хранилище данных предназначено для анализа данных во времени, например, чтобы их можно было использовать для сравнений, идентификации трендов и прогнозов. Важно знать не только значения данных, но и время их появления. Кроме того, данные в хранилище данных должны быть согласованы во времени. Нельзя допустить, чтобы данные из различных источников считывались по состоянию на разные моменты времени.

Направленность хранилищ данных на потребности управления гарантирует правильное использование хранилища данных для анализа и поддержки принятия решений, а не для обработки транзакций.

Хранилище данных содержит данные, извлеченные из систем оперативной работы, и физически отличается от обычных баз данных организации. Хранилище данных обеспечивает среду накопления данных, которая не только надежна, но также оптимизирована по доступу к данным и манипулированию ими.

Наиболее важное отличие между хранилищем данных и традиционными базами данных заключается в методах суммаризации данных, а также в использовании словаря метаданных для описания и управления этими данными. Осуществление суммаризации в громадной степени уменьшает объем данных и увеличивает скорость доступа. В то же самое время, это позволяет пользователям быстро получить обзор ситуации, чтобы затем детально посмотреть на нужный предмет. Суммаризация также обеспечивает эффективный механизм повышения секретности между данными разных уровней агрегации, описанными в словаре метаданных.

Хранилище данных дополняет и расширяет функции систем оперативной работы без отрицательного воздействия на них. Более того, хорошо организованное хранилище данных также оптимизирует существующие инвестиции компании в данные и оборудование.

Несмотря на обилие данных, возможностей их сбора и хранения, компании до сих пор испытывают существенный недостаток в информации, необходимой для стратегического и оперативного управления своей деятельностью. Существующие системы сбора и обработки корпоративных данных в принципе не пригодны для использования в многоплановом процессе принятия управленческих решений.

Согласно опросу, проведенному консалтинговой группой META Group, существует несколько основных причин, по которым компании применяют технологии хранилищ данных:

-возможность принятия высокоэффективных решений;
-повышение качества деловой информации;
-улучшение услуг для клиентов;
-поддержка стратегического планирования;
-общая реорганизация бизнес-процесса.

В условиях быстро меняющегося рынка, нестабильной политической обстановки, ужесточающейся конкуренции новые требования предъявляются к актуальности деловой информации и ее достоверности. В результате развития горизонтальных связей и делегирования полномочий вниз все больше требуется оперативный анализ ситуации, все большее значение приобретают тактические решения.

В этой ситуации промышленный процесс производства информации должен укладываться в жесткие временные рамки. Именно хранилище данных может и должно обеспечить требуемые временные характеристики. После того, как традиционная система обработки данных реализована и начинает функционировать, она становится ровно таким же самостоятельным объектом, как и любой производственный процесс. В этом смысле данные обладают ровно теми же свойствами и характеристиками, что и любой промышленный продукт: сроком годности, местом складирования (хранения), совместимостью с данными из других производств, рыночной стоимостью, транспортабельностью, комплектностью, ремонтопригодностью и т.д.

Именно с этой точки зрения рассматриваются данные в хранилище данных. Предметом рассмотрения являются не способы описания и отображения объектов предметной области, а собственно данные, как самостоятельный объект предметной области, порожденный в результате функционирования ранее созданных систем оперативной обработки данных.

Сегодня можно говорить о том, что появление концепции хранилища данных послужило серьёзным стимулом для развития внутренней архитектуры современных систем управления базами данных (СУБД), их программного окружения, инструментальных средств конечного пользователя, различных межкорпоративных стандартов.

Среди особенностей разработки хранилищ данных, прежде всего, выделяется проблема обеспечения защиты данных. Хранилища данных представляют собой совокупность конфиденциальной информации, собранной со всего предприятия. Доступ к ней конкурентов в той или иной форме может привести к существенным потерям для компании. Проблемы могут возникать даже вследствие доступа к «чужой» информации сотрудниками компании, когда сотрудники одного подразделения, например, получают доступ к внутренней информации другого подразделения. Решение этой проблемы не всегда возможно на уровне администрирования доступа в СУБД, так как требует разделения доступа на уровне отдельных строк. В результате проблемы обеспечения конфиденциальности должны решаться на уровне разрабатываемых приложений.

Традиционная проблема создания хранилищ данных - обеспечение требуемого объема хранения данных. Согласно данным консалтинговой группы META Group, уже сегодня, около половины организаций планируют хранилища объемом в сотни гигабайт. При этом следует помнить, что объем необходимого дискового пространства может в несколько раз (до десяти) превышать объеме хранимых данных (и этот коэффициент растет с ростом объема хранимых данных).

Наиболее распространённой на сегодня ошибкой, является попытка найти в концепции хранилища данных некий законченный рецепт реализации информационной аналитической системы. Тем более, это не некий готовый программный продукт или некое готовое универсальное решение. В этом смысле, интересна и показательна оценка компании Butler Group Co. структуры затрат на реализацию хранилища данных, по которой до 50% от стоимости системы составляет стоимость консалтинга и лишь оставшиеся 50% является стоимость аппаратных, сетевых и программных компонент.

Эффект от правильной организации, стратегического и оперативного планирования развития бизнеса трудно заранее оценить в цифрах, но очевидно, что он в десятки и даже сотни раз может превзойти затраты на реализацию таких систем. Однако не следует и заблуждаться. Эффект обеспечивает не сама система, а люди с ней работающие. Поэтому не совсем корректны декларации типа: “Хранилище данных будет помогать менеджеру принимать правильные решения”. Современные аналитические системы не являются системами искусственного интеллекта и они не могут ни помочь, ни помешать в принятии решения. Их цель своевременно обеспечить менеджера всей информацией, необходимой для принятия решения. А какая информация будет запрошена и какое решение будет принято на её основе, зависит только от конкретного человека.

Экономический эффект, обеспечиваемый информационно-аналитическими системами, существенно превышает эффект от традиционных оперативных систем. Однако стоимость аналитических систем, базирующихся на хранилищах данных, остается достаточно высокой, поскольку методологии и технологии реализации таких систем находятся ещё в стадии становления. В этой связи необходимо подчеркнуть, что непременным условием успеха проекта создания информационно-аналитической системы является наличие соответствующей технологии, регламентирующей весь жизненный цикл ее.