Начинаю публиковать сценарии, которые не удалось показать в полном объеме на «Дне платформы Microsoft».
В этой демонстрации показано использование движка интеллектуального анализа данных SQL Server (SSAS Data Mining) и надстройку интеллектуального анализа для Excel с целью анализа некоторых данных статистического сборника Росстата по здравоохранению. Анализируется влияние различных факторов на низкий и высокий уровень смертности в регионах (субъектах РФ).
В настоящее время ведутся работы по расширению представленной модели данных. Буду благодарен за любые идеи по ее расширению.
Следует также обратить внимание, что потенциально возможны неточности при сборке и интерпретации данных. Буду благодарен за любые исправления.
Публикую демонстрационный сценарий анализа «больших данных» (Big Data) для компаний финансового сектора. В сценарии будут проанализированы полу-структурированные данные по стоимости акций и дивидендам в разрезе соответствующих отраслей экономики за 30 лет (на основании данных Нью-Йоркской фондовой биржи). Аналогичные задачи могут быть актуальны для участников рынка ценных бумаг включая частных и институциональных инвесторов, таких как пенсионные фонды, банки, страховые компании, а также корпорации, размещающие на рынке собственные ценные бумаги.
В этой демонстрации команда компании, торгующей ценными бумагами, совместно производит анализ данных из Hadoop:
Архитектор данных собирает информацию и делает ее доступной для других участников. Он использует Hadoop в Windows Azure и запросы Hive для агрегирования (укрупнения) стоимости акций и дивидендов по годам.
Финансовый аналитик анализирует данные по стоимости акций и готовит отчеты для поддержки задач торговли и управления. Она использует надстройку Power Query для Excel для объединения данных из Hadoop с дополнительным набором данных по 500 наиболее крупным компаниям из Azure Marketplace Datamarket. Дополнительно она формирует модель данных Power Pivot и создает примеры отчетов Power View.
Начальник управления ценных бумаг отвечает за формирование предложения по составу портфелей ценных бумаг для клиентов. Он самостоятельно производит изменения в отчеты Power View, полученные от финансового аналитика.
Ниже приведены некоторые снимки экрана из демонстрационного сценария.
При этом нужно понимать, что если в организации закуплен Excel 2013, наверняка кто-нибудь его использует как минимум для персональной аналитики в составе PowerPivot для Excel и Power View.
Виртуальная машина «Demo Image XII: SQL 2012» может быть развернута в среде Hyper-V (Windows Server, Windows 8 public preview), что позволит пользователям протестировать новые функции Microsoft BI в SQL Server 2012, в частности: отчеты Power View, модели в PowerPivot, отраслевые примеры.
Hy-Vee (сеть супермаркетов в США) внедрили хранилище данных на базе PDW (официальная информация доступна на сайте Microsoft).
Характеристики проекта:
до внедрения — 11 Тбайт данных в хранилище данных (данные за 7 лет, объемы постоянно растут; после внедрения объемы данных были увеличены в несколько раз)
ежедневная загрузка более 800 тысяч строк (после внедрения, очевидно, в разы больше)
OLAP-кубы
регламентированная отчетность Reporting Services
Результаты:
увеличение производительности до 100 раз
возможность просмотра данных за вчерашний день для реагирования на тренды (до внедрения PDW могли лишь посмотреть данные двухнедельной давности)
стало возможным выполнять значительно более сложные запросы к данным.
Если вам интересно самостоятельно попробовать Power View в действии, вы можете использовать общедоступный BI портал. На портале в настоящий момент доступны модели BISM по нефтегазу, школе, а также по продаже вертолетов, продуктов питания и автомобилей. Ссылки на модели доступны на странице «More demos of Power View available» (в таблице сценариев нажмите на соответствующую ссылку в правой колонке).
Виртуальная машина SQL Server 2012 CTP3 («Denali» CTP3) содержит полностью сконфигурированные сервисы и интеграцию с SharePoint 2010 и Office 2010. Судя по дате публикации, ей можно будет пользоваться до середины апреля 2012 года.
На виртуальной машине, в том числе, доступы такие компоненты как DQS и новый MDS. Можно посмотреть 2 примера модели BISM и соответствующих отчетов Power View (Crescent).
Сегодня обнаружил, что еще не упоминал об очень полезном пакете материалов по BI.
Project REAL – лучшие практики проектов по бизнес аналитике (термин «REAL» расшифровывается как «Reference implementation, End-to-end, At scale, and Lots of users» — примеры реализации, полное решение, большой масштаб, много пользователей). Пакет материалов содержит документ и вебкасты по проблемным областям BI-проектов:
разработке схем данных – реляционной и многомерной;
осуществлению процессов выгрузки, преобразования и загрузки (ETL);
разработке и размещению систем презентационного уровня для отчетности и интерактивного анализа;
масштабирования систем при внедрении;
управления и обслуживания систем на постоянной основе, включая инкрементальные обновления данных.
Несколько дней назад на сайте http://mssalesdemos.com появился архив с виртуальной машиной для демонстрации Microsoft BI.
Виртуальная машина содержит 3 сценария аналитической платформы Microsoft (SQL Server 2008R2, SharePoint 2010 и Office 2010).
Пример для телекоммуникационной компании, который содержит сценарии по уменьшению оттока клиентов из организации, управлению прибылью и прибыльностью клиентов.
Демонстрация самостоятельного анализа данных с использованием PowerPivot для Excel и SharePoint.
Демонстрация SQL Server Analysis Services, показывающая простоту создания и публикации аналитических кубов для многомерного и интеллектуального анализа данных.
Для скачивания архива необходимо зайти на сайт с использованием Live ID и перейти на закладку Downloads.
Коллеги, если вы используете для демонстраций виртуальную машину Microsoft BI (R9.2), вы должны были заметить, что несколько дней назад окончились лицензии Windows и SQL Server.
возобновление лицензии SQL Server – необходимо применить для всех экземпляров SQL Server на виртуальной машине (есть один экземпляр SQL Server 2008 и несколько экземпляров SQL Server 2008 R2 – потребуется использовать инсталляторы соответствующих версий).
Microsoft Business Intelligence 