Презентация для Открытого университета Сколково

Выкладываю презентацию по теме «Новые методы хранения, обработки и передачи данных», по которой я вчера делал доклад для Открытого университета Сколково.

Иван Косяков – Новые способы хранения обработки и передачи данных

Записи докладов с конференции PASS SQLRally Russia 2012

По адресу http://www.techdays.ru/videos/SQLRally доступны записи докладов с конференции PASS SQLRally Russia 2012 в составе:

По следам Russian BI PASS Conference 2011

20 мая 2011 года в Технологическом центре Microsoft (MTC) состоялась Russian BI PASS Conference. Это первая в России конференция, проведенная под эгидой Professional Association for SQL Server (PASS). Основная цель конференции – расширение технического сообщества экспертов по решениям Microsoft BI в области бизнес-анализа (Business Intelligence, BI).

Основным спонсором мероприятия выступила корпорация Microsoft. Местом проведения был выбран Технологический Центр Microsoft (МТС) как уникальная площадка, предоставляющая возможность демонстрировать сложные сценарии использования продуктов и технологий. Более того, аналогичный MTC в Нью-Йорке предоставил доступ к их экземпляру Parallel Data Warehouse для демонстрации.

На встрече присутствовали (и делали доклады) участники Russian BI PASS Chapter – технические специалисты, занимающиеся внедрением аналитических решений, а также сотрудники Microsoft и представители HP. Участники конференции смогли повысить свою экспертизу в области создания хранилищ данных и презентационного уровня аналитических решений. В целом участники оценили данную конференцию как очень успешную и высказали пожелание провести аналогичную конференцию по BI для технического сообщества через полгода.

А сейчас подробнее о том, что было на конференции…

Ключевой доклад

Олег Карачаров открыл конференцию и рассказал о бизнес-аналитике, как о части платформы данных Microsoft, отметил постоянное улучшение позиции BI-решений Microsoft в секторе лидеров квадрата Гартнера, поделился опытом использования BI в Microsoft, а также продемонстрировал некоторые аналитические инструменты и партнерское решение Push BI для Windows Phone 7.

Затем Иван Косяков рассказал о двух взаимно дополняющих подходах к внедрению BI-решений: традиционной аналитике (Traditional BI) и самостоятельной аналитике (Self-Service BI). Иван также продемонстрировал сценарий загрузки данных из Microsoft Dynamics CRM с помощью партнерского коннектора Cozyroc и автоматически генерируемые Microsoft Project Server аналитические базы, кубы и отчеты для управления проектами. Таким образом, была показана роль партнерских решений и продемонстрирована тенденция включать в прикладные системы пред-настроенные данные для анализа, что упрощает пользователям осуществление самостоятельного анализа данных.

Далее Алексей Халяко раскрыл основные направления развития Microsoft BI:

  •  «Appliances» – развитие программно-аппаратных решения, полностью настроенных и готовых к работе с определенной (большой) нагрузкой;
  •  «Функциональность Denali» — о новых функциях в разрабатываемой версии SQL Server, таких как column store indexes, количество секций до 15 тысяч, масштабируемость OLAP (Vertipaq), BISM и так далее;
  • «Microsoft Cloud» — о применении платформы данных в «облаке».

Игорь Подуков рассказал о подходе HP к разработке  программно-аппаратных решений для Microsoft BI и о трех аппаратных решениях, которые  были разработаны совместно компаниями Hewlett-Packard и Microsoft: FastTrack  Data Warehouse, HP Enterprise Data Warehouse Appliance (с использованием SQL  Server 2008 R2 PDW) и HP Business Decision Appliance (с использованием  PowerPivot для SharePoint 2010).

В следующей части Иван Косяков раскрыл детали некоторых новых функций в SQL Server Denali, таких как  Business Intelligence Semantic Model (BISM), расширениях DAX, предупреждения (Alerting) в SSRS, Crescent, отчетности в  SQL Azure и  Data Quality Services.

После этого Иван Косяков, являясь лидером Russian BI PASS Chapter, рассказал о  деятельности Professional Association for SQL Server (PASS) в России, организованных в  России пользовательских группах по теме SQL-BI, особенностях и  преимуществах программы Microsoft Valuable Professional  (MVP).

В заключение Андрей Коршиков поделился сведениями о  Краснодарском отделении PASS  и опытом организации региональной конференции по Microsoft BI.

Track 1. Хранилища данных и интеграция

В первом докладе первого трека Игорь Подуков рассказал об  аппаратных решениях HP FastTrack Data Warehouse, HP Enterprise Data Warehouse  Appliance (с использованием SQL Server 2008 R2 PDW) и HP Business Decision  Appliance (с использованием PowerPivot для SharePoint 2010).

Во втором докладе Алексей Халяко рассказал об основных  подходах к конфигурированию, тестированию и построению хранилищ данных на базе  рекомендуемых конфигураций FastTrack DW и конфигураций на базе SQL Server 2008  R2 Parallel Data Warehouse.

В рамках этого доклада Иван Косяков продемонстрировал экземпляр  Parallel Data Warehouse,  находящийся в Технологическом центре Microsoft в Нью-Йорке.

Следующий доклад Алексея Халяко был посвящен методикам  построения больших хранилищ данных, таким как промежуточная область для  загрузки данных, подходы Инмона и Кимбалла, сбор требований, масштабирование,  стратегиях секционирования и опыт реальных проектов. В ходе доклада возникла  интересная методологическая дискуссия, преимущественно с Александром Гвоздевым,  отчего доклад получился особенно интересным.

В заключение представители компании Навикон Дмитрий Мартыненко и Татьяна Хачапуридзе подробно рассмотрели пример реализации задачи анализа вторичных продаж с использованием SQL Server 2008 R2 (в том числе, Master Data Services).

Track 2. OLAP и инструменты визуализации

В первом докладе второго трека Виктор Меркушов раскрыл  способы выполнения и отображения в Excel произвольных MDX запросов, возможности  расширения функционала сводных таблиц Excel, организация взаимодействия отчетов  на базе Excel с пользователем, создание гибридных отчетов и ряд других тем.

Роман Кузнецов поделился сведениями о вариантах реализации  анализа «что-если» с помощью функции обратной записи в куб.

Максим Гончаров сделал краткий обзор задач интеллектуального  анализа данных (Data Mining) и рассказал про технологии Web Mining и Web Usage  Mining.

Андрей Коршиков сделал обзор PowerPivot и рассказал о некоторых сценариях практического использования DAX (Data Analysis Expressions).

Свободное общение

 «SQL-клиника»

В качестве третьего трека Алексей Халяко провел сессию наподобие  «круглого стола», где отвечал на вопросы участников по организацию больших  хранилищ данных и оптимизации их быстродействия. Приятно отметить, что дискуссия  проходила на высочайшем уровне технической компетенции.

Заключение

Можно с уверенностью сказать, что данное мероприятие  позволит расширить сообщество разработчиков аналитических решений и  сгенерировать интерес к аналитическим решениям Microsoft (в том числе и за счет  региональных пользовательских групп – участников PASS).

Дополнительные материалы

  1. Презентации конференции размещены по адресу https://microsoftbi.ru/presentations/. Позже презентации и веб-касты будут доступны на сайте http://techdays.ru.
  2. Программа конференции
  3. Андрей Коршиков: Фото-отчёт

Презентации и материалы по результатам Russian Microsoft BI Technical Conference 2010

Коллеги, презентации докладов Russian Microsoft BI Technical Conference 2010 размещены на сайте Russian Business Intelligence User Group (в каждом из соответствующих докладов).

Также я выложил исходные файлы по своим демонстрациям:

Видео-записи пока готовим.

Отзывы по докладам предлагаю размещать на сайте Russian Business Intelligence User Group или в форуме на facebook.com. В частности, хотелось бы услышать комментарии по моим докладам – как улучшить (готовлюсь к Платформе 2011).

Более подробную информацию по результатам конференции выложу чуть позже.

Еще раз спасибо всем докладчикам, участникам и Microsoft!

Финальное обновление обучающих материалов по SQL Server 2008 R2

Сегодня стало доступно для скачивания новое (финальное) обновление Пакета обучающих материалов по SQL Server 2008 R2.

Новые презентации (10):

  • What’s New in the Excel 2010 Client
  • Loading and Preparing Data for Analysis in SQL Server PowerPivot for Excel 2010
  • Creating Reports with SQL Server PowerPivot for Excel 2010
  • Defining DAX Calculations with PowerPivot for Excel 2010
  • Introducing SharePoint 2010 Insights
  • What’s New in SharePoint 2010 Excel Services
  • What’s New in SharePoint 2010 PerformancePoint Services
  • Developing KPI’s and Scorecards with SharePoint 2010 PerformancePoint Services
  • Developing Reports and Dashboards with SharePoint 2010 PerformancePoint Services
  • Managing PowerPivot for Excel 2010 Solutions in SharePoint 2010

Новые демонстрации (10):

  • What’s New in the Excel 2010 Client
  • Loading and Preparing Data for Analysis in SQL Server PowerPivot for Excel 2010
  • Creating Reports with SQL Server PowerPivot for Excel 2010
  • Defining DAX Calculations with SQL Server PowerPivot for Excel 2010
  • Introducing SharePoint 2010 Insights
  • What’s New in SharePoint 2010 Excel Services
  • What’s New in SharePoint 2010 PerformancePoint Services
  • Developing KPI’s and Scorecards with SharePoint 2010 PerformancePoint Services
  • Developing Reports and Dashboards with SharePoint 2010 PerformancePoint Services
  • Managing Excel 2010 PowerPivot Solutions in SharePoint 2010

Новые лабораторные работы (6):

  • Loading and Preparing Data for Analysis in SQL Server PowerPivot for Excel 2010
  • Creating Reports with SQL Server PowerPivot for Excel 2010
  • Defining DAX Calculations with Excel 2010 PowerPivot
  • Developing KPI’s and Scorecards with SharePoint 2010 PerformancePoint Services
  • Developing Reports and Dashboards with SharePoint 2010 PerformancePoint Services
  • Managing Excel 2010 PowerPivot Solutions in SharePoint 2010

Новые видео-записи и презентации (20):

  • What’s New in the Excel 2010 Client
  • Loading and Preparing Data for Analysis in SQL Server PowerPivot for Excel 2010
  • Creating Reports with SQL Server PowerPivot for Excel 2010
  • Defining DAX Calculations with SQL Server PowerPivot for Excel 2010
  • Introducing SharePoint 2010 Insights
  • What’s New in SharePoint 2010 Excel Services
  • What’s New in SharePoint 2010 PerformancePoint Services
  • Developing KPI’s and Scorecards with SharePoint 2010 PerformancePoint Services
  • Developing Reports and Dashboards with SharePoint 2010 PerformancePoint Services
  • Managing Excel 2010 PowerPivot Solutions in SharePoint 2010

Источник: Roger Doherty’s Blog

Вебкасты о нововведениях в SQL Server 2008 R2 и PowerPivot для Excel и SharePoint

Коллеги, наконец-то я записал два долгожданных вебкаста для проекта TechDays.ru:

Обновление обучающих материалов по SQL Server 2008 R2 для разработчиков (Март 2010, обновление 2)

Появилась новая версия (март 2010, обновление 2) обучающих материалов по SQL Server 2008 R2 для разработчиков, которая содержит дополнительный модуль по технологии SQL Server 2008 R2 StreamInsight, позволяющей строить приложения обработки сложных событий.

Скачать обучающие материалы можно по ссылке: http://go.microsoft.com/?linkid=9710868.

Новый релиз содержит следующие материалы:

Новые презентации (4):

  • Introducing SQL Server 2008 R2 StreamInsight
  • Querying Events in SQL Server 2008 R2 StreamInsight
  • Designing SQL Server 2008 R2 StreamInsight Event Models and Adapters
  • Installing, Deploying and Maintaining the SQL Server 2008 R2 StreamInsight Runtime Engine

Новые демонстрации (7):

  • Introducing SQL Server 2008 R2 StreamInsight
  • Querying SQL Server 2008 R2 StreamInsight Using LINQ
  • Advanced SQL Server 2008 R2 StreamInsight Event Queries
  • Working with SQL Server 2008 R2 StreamInsight CTI Events and Advance Time Settings
  • Creating a SQL Server 2008 R2 StreamInsight Input Adapter
  • Choosing a SQL Server 2008 R2 StreamInsight Development Model
  • Using the SQL Server 2008 R2 StreamInsight Event Flow Debugger

Новые лабораторные работы — Hands-on Labs (3):

  • Querying Events in SQL Server 2008 R2 StreamInsight using LINQ
  • Working with the SQL Server 2008 R2 StreamInsight Samples
  • Working with the SQL Server 2008 R2 StreamInsight Event Flow Debugger

Новые видео (18):

  • Presentation: Introducing SQL Server 2008 R2 StreamInsight (Part I)
  • Presentation: Introducing SQL Server 2008 R2 StreamInsight (Part II)
  • Demo: Introducing SQL Server 2008 R2 StreamInsight
  • Presentation: Querying Events in SQL Server 2008 R2 StreamInsight (Part I)
  • Presentation: Querying Events in SQL Server 2008 R2 StreamInsight (Part II)
  • Demo: Querying SQL Server 2008 R2 StreamInsight Using LINQ
  • Presentation: Querying Events in SQL Server 2008 R2 StreamInsight (Part III)
  • Demo: Advanced SQL Server 2008 R2 StreamInsight Event Queries
  • Presentation: Designing SQL Server 2008 R2 StreamInsight Event Models and Adapters (Part I)
  • Presentation: Designing SQL Server 2008 R2 StreamInsight Event Models and Adapters (Part II)
  • Demo: Working with SQL Server 2008 R2 StreamInsight CTI Events and Advance Time Settings
  • Presentation: Designing SQL Server 2008 R2 StreamInsight Event Models and Adapters (Part III)
  • Demo: Creating a SQL Server 2008 R2 StreamInsight Input Adapter
  • Presentation: Installing, Deploying and Maintaining the SQL Server 2008 R2 StreamInsight Runtime Engine (Part I)
  • Presentation: Installing, Deploying and Maintaining the SQL Server 2008 R2 StreamInsight Runtime Engine (Part II)
  • Demo: Choosing a SQL Server 2008 R2 StreamInsight Development Model
  • Presentation: Installing, Deploying and Maintaining the SQL Server 2008 R2 StreamInsight Runtime Engine (Part III)
  • Demo: Using the SQL Server 2008 R2 StreamInsight Event Flow Debugger

Источник: Блог Roger’а Doherty.

Обучающие материалы по SQL Server 2008 R2 для разработчиков

На сайте Microsoft Download Center открыты для общего доступа материалы по SQL Server 2008 R2 для разработчиков, которые хотели бы использовать преимущества и узнать о наиболее важных улучшениях в SQL Server 2008 и SQL Server 2008 R2, а также для разработчиков, для которых тема SQL Server является не изученной. Материалы подготовлены командой под названием «Microsoft Developer and Platform Evangelism».

Состав обучающих материалов:

  • Видео (8)
    • SQL Server 2008 R2 Update for Developers Overview Part I — SQL Server 2008 Review
    • SQL Server 2008 R2 Update for Developers Overview Part II — Introducing SQL Server 2008 R2
    • Introducing SQL Server 2008 R2 StreamInsight
    • Demo: Real Time Analytics with SQL Server 2008 R2 StreamInsight
    • Introducing SQL Server 2008 R2 Application and Multi-Server Management
    • Introducing SQL Server 2008 R2 Reporting Services
    • Introduction To SQL Server 2008 R2 StreamInsight and Complex Event Processing
    • Introducing PowerPivot for Excel 2010 and SharePoint 2010
  • Презентации (8)
    • SQL Server 2008 R2 Update for Developers Overview Part I — SQL Server 2008 Review
    • SQL Server 2008 R2 Update for Developers Overview Part II — Introducing SQL Server 2008 R2
    • SQL Server 2008 Filestream
    • SQL Server 2008 Spatial
    • SQL Server 2008 T-SQL
    • SQL Server 2008 Date and Time Types
    • SQL SErver 2008 SQLCLR
    • SQL Server 2008 Reporting Services
  • Демонстрации (13)
    • AdventureWorks Racing All-Up SQL Server 2008 Demo
    • SQL Server 2008 All-Up Spatial Demo
    • SQL Server 2008 Spatial Types Demo
    • Intro to SQL Server 2008 Filestream Demo
    • SQL Server 2008 SQL CLR Nullable Types Demo
    • Programming with SQL Server 2008 Filestream Demo
    • SQL Server 2008 Reporting Services Web Application Integration Demo
    • Date and Time Support in SQL Server 2008 Demo
    • SQL Server 2008 T-SQL Table-Valued Parameters Demo
    • SQL Server 2008 T-SQL Row Constructors Demo
    • SQL Server 2008 T-SQL Grouping Sets Demo
    • SQL Server 2008 T-SQL Merge Demo
  • Лабораторные работы (8)
    • How to build your first Web Application with SQL Server and ASP.NET
    • Using SQL Server 2008 Spatial Data in TSQL
    • Using SQL Server 2008 Spatial Data in Managed Code
    • Using SQL CLR in SQL Server 2008
    • PowerPivot in SQL Server 2008 R2
    • Using the New Features of Reporting Services 2008 R2
    • Introduction To SQL Server 2008 R2 StreamInsight and Complex Event Processing
    • Data-tier Applications in SQL Server 2008 R2 and Visual Studio 2010

Вебкаст «Введение в Master Data Services»

На сайте TechDays.ru выложили видео и презентацию подготовленного мною доклада «Введение в Master Data Services». В докладе дается базовая информация о Master Data Services — компоненте SQL Server 2008 R2 (ноябрьский CTP). Рассказывается о предназначении MDS, какие проблемы решает компонент, описаны базовые объекты системы, рассматриваются и демонстрируются вопросы управления измерениями, импорта и экспорта мета-информации, создания бизнес-правил, управления версиями и другие вопросы.

Комплексное BI-решение с использованием технологий компаний Panorama и Microsoft

Два дня назад (15.09.2009) состоялся веб-семинар компаний Microsoft и Panorama, посвященный комплексному BI-решению с ипользованием технологий этих компаний.

Основной акцент семинара был сделан на том, что решение компании Panorama под названием «Panorama NovaView 6» значительно расширяет платформу Business Intelligence компании Microsoft за счет:

  • дополнительных возможностей для аналитиков благодаря приложениям презентационного уровня (в том числе, средство интерактивного анализа с использованием технологии Flash);
  • возможностей интеграции для пользователей SAP;
  • автоматизации создания OLAP-кубов с использованием компонента Universal Data Connector, который позволяет офисным пользователям самостоятельно создавать многомерные модели на основании подключенных источников данных.

Рассмотрим архитектуру решения NovaVIew. Стандартными компонентами решения с точки зрения использования платформы Microsoft BI являются реляционные источники данных, на основании которых формируются аналитические кубы SSAS. 

 20090917-panorama-architect

20090917-panorama-udc

Компонент NovaVIew Universal Data Connector позволяет бизнес-пользователям самостоятельно строить аналитические кубы на основании подключенных источников, которыми могут быть реляционные базы, плоские файлы, приложения, веб-сервися и кубы SSAS.

NovaView BI Server содержит мета-информацию об используемых кубах, отвечает за формирование MDX-запросов к SSAS от приложений презентационного уровня, администрирование, безопасность, кэширование результатов запросов.

Далее рассмотрим приложения презентационного уровня.

20090917-panorama-module-a

NovaView Analytics позволяет производить простые запросы и анализ с использованием простого интерфейса. В числе функций компонента:

  • «мгновенные» расчетные показатели;
  • продвинутая обработка исключений;
  • «скользящие» фильтры;
  • анализ «что-если»;
  • интерактивное создание графиков;
  • продвинутые мастеры MDX;
  • переход к созданию регламентированной отчетности за один клик мыши;
  • географическая визуализация;
  • управление большими измерениями.

NovaView Flash Analytics является дружественным пользователю аналитическим клиентом, обладающим следующими характеристиками:

  • анимированное исследование данных;
  • интуитивный интерфейс и интерактивная помощь;
  • интерактивный анализ;
  • простота публикации и совместной работы;
  • дружественный и изысканный пользователский интерфейс;
  • полная интеграция с Panorama NovaView Dashboards.

 20090917-panorama-flash-ana

Следует также заметить, что решение интегрировано в MOSS 2007.

20090917-panorama-module-od

NovaView Operational Dashboards позволяет создавать приборные панели с графиками и ключевыми показателями эффективности. Созданные приборные панели могут быть интегрированы в Sharepoint Server.

 

20090917-panorama-module-sr

NovaView Smart Reporting позволяет создавать и форматировать отчеты для печати. Переход в режим создания отчета производится одним кликом мыши. Отчеты остаются полностью интерактивными, позволяют оперативно добавлять в отчет объекты визуализации. Имеются возможности задани расписания и распространения отчетов.

20090917-panorama-report

20090917-panorama-module-ed

NovaView Executive Dashboards предоставляет пользователям, принимающим решения, высоко интерактивные приборные панели, работающие на технологии Flash. Есть возможность загрузки шаблонов приборных панелей с сайта онлайн-сообщества Panorama.

20090917-panorama-module-sv

NovaView SharedViews – это новый продукт, которые позволяет пользователям и организациям осуществлять совместную работу с людьми в том числе и за пределами firewall’ов , ровно как и публиковать информацию для поставщиков и партнеров в более налаженным и контролируемым путем. Опубликованные отчеты могут затем отображаться веб-браузером с помощью интуитивного flash-интерфейса.

20090917-panorama-module-sl

NovaView Spotlight позволяет добавлять наиболее важные показатели и ключевые индикаторы эффективности в Outlook.

 

 

20090917-panorama-module-sc

NovaView Scorecards позволяет создавать карты показателей и осуществлять детализацию ключевых показателей эффективности до влияющих на них первичных данных, что позволяет понять причины текущего значения показателя.

 

20090917-panorama-module-av

NovaView Advanced Visuals – это непосредственно различные графики и средства визуализации данных, в том числе построенные с использованием технологии Flash.

 

Таким образом, можно сделать вывод, что решение Panorama NovaView 6 позволяет значительно расширить платформу Microsoft BI в составе SQL Server (Integrations Services, Database Engine, Analysis Services, Reporting Services), Microsoft Excel, Microsoft Office Sharepoint Server 2007.

В первую очередь решается проблема сложности использования офисными пользователями MOSS 2007 для интерактивного анализа информации и публикации результатов анализа на портале. Понятно, что все это связано с тем, что MOSS 2007 является серьезным портальными решением с большим набором функций. Но в результате процесс подготовки аналитических запросов и их публикации на портале в MOSS 2007 сложен для офисных пользователей (для некоторых компаний это может быть важно). NovaView позволяет решить эту проблему.

Далее, благодаря NovaView Smart Reporting появляется возможность более интуитивной подготовки регламентированной отчетности, чем это делается в SSRS.

NovaVIew Universal Data Connector на мой взгляд является приятным дополнением в сторону развития Self Service BI…

Источник: материалы сайта http://www.panorama.com