Третья онлайн-конференция 24 Hours of PASS

19 и 20 марта состоится третья онлайн-конференция 24 Hours of PASS полностью на русском языке. Более чем 20 специалистов по SQL Server, живущие от Сиднея до Редмонта, поделятся своими знаниями. Среди докладчиков 2 MCM, 8 MVP, 5 сотрудников Microsoft. Не упустите уникальный шанс получить уникальные знания.

Регистрация будет открыта 19 февраля.

Расписание докладов

* Чтобы уточнить время начала доклада в вашем часовом поясе вы можете обратиться к руководству

19 марта

01. 09:00 Всё о соединениях Докладчик: Олонцев Сергей (Москва)

02. 10:00 SQL Server в гибридных средах Докладчик: Кривошеев Евгений (Сиэтл)

03. 11:00 Горизонтальное масштабирование MS SQL для OLTP – систем Докладчик: Баркетов Павел (Москва)

04. 12:00 Microsoft SQL Server: Лицензирование продукта. Или как «Поверить алгеброй гармонию»*. (*А. С. Пушкин) Докладчик: Кривозубова Жанна (Москва)

05. 13:00 Data Warehouse in the Cloud – маркетинговый гэг или реальность? Докладчик: Халяко Алексей (Мюнхен)

06. 14:00 SQL Server Reporting Services — дюжина советов Докладчик: Коршиков Андрей (Краснодар)

07. 15:00 Кластерные Колоночные Индексы Докладчик: Нойгебауэр Нико (Лиссабон)

08. 16:00 SQL Server в Microsoft Windows Azure — платформа для современных бизнес приложений «1С» Докладчик: Лемешко Максим (Москва)

09. 17:00 Вечная История о Преходящем Докладчик: Короткевич Дмитрий (Тампа)

10. 18:00 Обзор Power BI и примеры использования Докладчик: Косяков Иван (Москва)

11. 19:00 План восстановления баз данных Докладчик: Панов Кирилл (Екатеринбург)

12. 20:00 Внутри оптимизатора: кардинальность и планы выполнения Докладчик: Пилюгин Дмитрий (Москва)

20 марта

13. 09:00 Использование CDC для  хранилищ данных с помощью SSIS Докладчик: Полоничко Евгений (Москва)

14. 10:00 Новые возможности Entity Framework 6 Докладчик: Матеев Михаил (София)

15. 11:00 Deadlocks 2.0 или с чем ещё можно столкнуться Докладчик: Резник Денис (Киев)

16. 12:00 Конкуретный доступ к структурам даных в памяти. Latch’и. Докладчик: Хабаров Евгений (Москва)

17. 13:00
18. 14:00 BigData — NoSQL — MongoDB Докладчик: Малая Виктория (Днепропетровск)

19. 15:00 Новые возможности использования Data Quality Services в SSIS  Докладчик: Хомяков Константин (Сидней)

20. 16:00 Многомерная модель данных в SSAS Докладчик: Хомяков Константин (Сидней)

21. 17:00 Все, что вы хотели узнать об объектах БД, но всегда боялись спросить Докладчик: Короткевич Дмитрий (Тампа)

22. 18:00 Delayed Durability: чем вы готовы пожертвовать ради производительности Докладчик: Гурьянов Михаил (Москва)

23. 19:00 SQL Server 2014. Resource Governor. Докладчик: Князев Алексей (Екатеринбург)

24. 20:00 Внутри оптимизатора: стоимость и планы выполнения Докладчик: Пилюгин Дмитрий (Москва)

24HOPRU2014

Анализ данных в «реальном времени» с помощью SQL Server StreamInsight

Введение в StreamInsight

StreamInsight является одним из компонентов SQL Server или облачным сервисом Windows Azure для обработки сложных событий (Complex
Event Processing, CEP).

cep

На схеме на оси абсцисс отражена совокупная скорость передачи данных, событий в секунду, а на оси ординат – характерное время задержки при выдаче результата запроса для той или иной задачи.

Цветные области на графике показывают, какие требования существуют у тех или иных приложений к скорости передачи данных и обработки запросов.

Видно, что технология сложной обработки событий предназначена для решения задач с высокой скоростью передачи данных и низкой задержкой.

Особенность технологии состоит в том, что при ее использовании устанавливаются постоянные запросы, на вход которых подается поток постоянно меняющихся данных из различных источников. Благодаря этому результаты постоянных запросов выдаются с близкой к нулю задержкой.

Отраслевые примеры использования StreamInsight

Сложная обработка событий (CEP) может использоваться в следующих отраслях и задачах:

  • финансы – для алгоритмизации торговли и обнаружения мошенничества;
  • телекоммуникации – для мониторинга сети и качества сервиса;
  • производство – для мониторинга материалов (RFID), агрегирования данных от сенсоров и генерация тревоги в случае ошибок;
  • веб-приложения — для анализа трафика сайта и обнаружения нежелательного поведения;
  • здравоохранение – для анализа состояния здоровья пациента;
  • логистика – для прогнозирование и отслеживание цепочки поставок и GPS-трэкинга.

Разумеется, возможно и многие другие примеры применения данной технологии.

Архитектура StreamInsight

Схема платформы обработки сложных событий приведена на следующем рисунке.

cep_platform

Сервер (CEP-движок) постоянно держит в оперативной памяти и обрабатывает постоянные (декларированные) запросы. Эти запросы по виду похожи на T-SQL запросы и могут определенным образом преобразовывать и агрегировать данные со входящих адаптеров. Постоянные запросы могут быть вложены друг в друга, и также могут подтягивать статические данные из традиционных баз данных (SQL Server). На выходе CEP-движка в результате обработки появляются только интересующие нас агрегированные события.

Входящие адаптеры отвечают за передачу событий с источников.

Источниками данных могут выступать различные устройства, сенсоры, веб-сайты и прочие системы, генерирующие события.

Исходящие события, полученные в результате обработки CEP-движком, передаются в выходные (исходящие) адаптеры.

Данные от исходящих адаптеров отражаются целевыми системами, такими как пейджеры, устройства мониторинга, карты ключевых показателей эффективности и диаграммы, а также могут сохраняться в системы хранения событий и базы данных.

Демонстрация. Пример разработки приложения StreamInsight

В качестве примера использования технологии StreamInsight предлагаю вам посмотреть пример приложения анализа трафика на многополосной автомагистрали.

Демонстрация визуализации в портале SharePoint

Аналогичные приложения можно создать непосредственно на портале SharePoint. Пример подобного решения по анализу «реального времени» сообщений в Twitter (по определенным ключевым терминам) есть в Московском технологическом центре Microsoft (MTC Moscow). Снимок экрана – ниже.

twitter-analytics

Дополнительные ресурсы по технологии StreamInsight

Доклад о SQL Server Data Quality Services от 18 декабря 2013

Вот и начала приносить плоды организованная Андреем Коршиковым Russian Virtual PASS Chapter. Первый доклад по BI-тематике посвящен сервису SQL Server Data Quality Services (DQS) — одному из главных механизмов нормализации данных, удаления дубликатов и наполнения базы знаний.

В докладе рассказывается о новых контролах DQS Domain Value Import и DQS Matching Transformation. Важный акцент сделан на автоматизацию процесса импорта доменных сущностей, включая синонимы, в существующую базу знаний, а так же использование механизма удаления дубликатов, полагаясь на возвращаемые весовые коэффициенты между каждым набором сравниваемых записей. В результате будет создан SSIS пакет в котором будет реализован весь процесс получения качественных данных.

Докладчик: Константин Хомяков (MVP SQL Server) специализируется в Microsoft Business Inteligence: разработка SSIS пакетов, построение кубов и анализ данных в SSAS. Последние несколько лет занимается интеграцией данных.

Запись: загрузить файл

Проекту MicrosoftBI.ru 5 лет!

Анализ «больших данных» для финансового сектора

Публикую демонстрационный сценарий анализа «больших данных» (Big Data) для компаний финансового сектора. В сценарии будут проанализированы полу-структурированные данные по стоимости акций и дивидендам в разрезе соответствующих отраслей экономики за 30 лет (на основании данных Нью-Йоркской фондовой биржи). Аналогичные задачи могут быть актуальны для участников рынка ценных бумаг включая частных и институциональных инвесторов, таких как пенсионные фонды, банки, страховые компании, а также корпорации, размещающие на рынке собственные ценные бумаги.

В этой демонстрации команда компании, торгующей ценными бумагами, совместно производит анализ данных из Hadoop:

  1. Архитектор данных собирает информацию и делает ее доступной для других участников. Он использует Hadoop в Windows Azure и запросы Hive для агрегирования (укрупнения) стоимости акций и дивидендов по годам.
  2. Финансовый аналитик анализирует данные по стоимости акций и готовит отчеты для поддержки задач торговли и управления. Она использует надстройку Power Query для Excel для объединения данных из Hadoop с дополнительным набором данных по 500 наиболее крупным компаниям из Azure Marketplace Datamarket. Дополнительно она формирует модель данных Power Pivot и создает примеры отчетов Power View.
  3. Начальник управления ценных бумаг отвечает за формирование предложения по составу портфелей ценных бумаг для клиентов. Он самостоятельно производит изменения в отчеты Power View, полученные от финансового аналитика.

Ниже приведены некоторые снимки экрана из демонстрационного сценария.

role1-rus

role1-1

role1-2

role2-rus

role2-1

role2-2

role3-rus

role3-1

role3-2

 

 

Презентация для Открытого университета Сколково

Выкладываю презентацию по теме «Новые методы хранения, обработки и передачи данных», по которой я вчера делал доклад для Открытого университета Сколково.

Иван Косяков – Новые способы хранения обработки и передачи данных

SQLSaturday #261 в Москве

Сообщество PASS и компания Microsoft рады пригласить вас на конференцию SQLSaturday #261, которая пройдет в Москве в субботу 30 ноября 2013 г. с 10.00  до 19.00 в главном офисе Microsoft по адресу Крылатская ул., 17, к. 1. Участие в мероприятии абсолютно бесплатно, но вам необходимо зарегистрироваться по указанной ссылке. Конференция рассчитана на администраторов, разработчиков и BI-специалистов, которые работают с платформой для хранения и обработки данных компании Microsoft. Посетив ее, вы узнаете о новом прогрессивном функционале, который появляется в версии SQL Server 2014, эффективных способах хранения и обработки данных, типичных проблемах, с которыми приходится сталкиваться и различных способах их решения. И самое главное у вас будет уникальная возможность обменяться мнениями с коллегами и пообщаться с лучшими экспертами в отрасли, которые будут готовы ответить на ваши вопросы.

Выступать будут ведущие докладчики России, Украины, а также других стран мира. Несколько докладов пройдут на английском языке.

В программе:

  • Анонс выхода новой версии SQL Server 2014
  • Обзор нового механизма Buffer Pool Extension в SQL2014
  • Подробный рассказ о технологии In-Memory OLTP (Hekaton) в SQL Server 2014
  • Колоночные индексы в SQL Server 2014
  • Расширение возможностей отчётов в SQL Server Reporting Services
  • Конкуренция за ресурсы в многоядерных системах
  • Архитектура и функциональность аналитических хранилищ SQL Server Parallel Data Warehouse 2012
  • Внутри оптимизатора: кардинальность и планы выполнения
  • Очень частые ошибки, которые допускаются при написании запросов на T-SQL
  • Советы для администраторов БД, как повысить производительность сервера
  • Master Data Services и Data Quality Services
  • Все, что необходимо знать о взаимоблокировках
  • Повышение отказоустойчивости с помощью технологии AlwaysOn

Окончательная программа будет опубликована 20 ноября на официальном сайте конференции. Мы пока держим в секрете некоторые доклады, но надеемся в скором времени их анонсировать.

Чтобы оставаться на связи, вы можете вступить в группы Russian SQL Server User Group и Russian BI PASS Chapter на Facebook.

Официальный хэш-тэг в Twitter #sqlsatMoscow.

Со схемой проезда к месту проведения мероприятия вы сможете ознакомиться по следующей ссылке. Ждем вас!

sqlsaturday261

Клиентская аналитика для банков

В демонстрационном сценарии по клиентской аналитике для банков представлено решение следующих задач.

  1. Для заместителя директора региональной сети — развитие более прибыльных взаимоотношений с клиентами:
    1. Привлечение и сохранение наиболее прибыльных клиентов
    2. Анализ результативности по сегментам и направлениям
    3. Оптимизация продуктовой стратегии и ценообразования
  2. Для заместителя директора по маркетингу — анализ и улучшение восприятия бренда на основании различных источников данных:
    1. Выявление отношения клиентов к торговой марке
    2. Понимание предпочтений клиентов
    3. Идентификация источников влияния и каналов СМИ
  3. Для оператора телефонного центра — предоставление поддержки с учетом полной информации о клиенте:
    1. Предоставление лучшего качества обслуживания клиентов
    2. Одновременный анализ лояльности и прибыльности клиентов
    3. Отслеживание собственных результатов
  4. Для заместителя директора по клиентскому обслуживанию — сохранение клиентов и повышение их лояльности через улучшение обслуживания:
    1. Улучшение качества обслуживания клиентов
    2. Отслеживание работы телефонного центра
    3. Сводный анализ лояльности и прибыльности клиентов

Более подробно сценарий можно посмотреть в технологическом центре Microsoft.

Роли демонстрационного сценарияРоль 1

role1-1

role1-2

role1-3Роль 2

role2-1

role2-2Роль 3

role3-1Роль 4role4-1

Демонстрация аналитики для здравоохранения – Часть 3

В третьей части демонстрационного сценария главный врач клиники производит (в Excel на основании аналитической модели PowerPivot) анализ деятельности по лечению сердечно-сосудистых заболеваний. Анализируется общая информация о деятельности клиники по данному направлению (поступление клиентов, стоимость лечения, заявки, дни пребывания, лучшие и худшие процедуры по длительности), детализируется информация об использовании ресурсов клиники с уровня типов процедур до уровня поступлений (количество поступлений, дней лечения, сравнение со средним количеством дней лечения по отрасли, стоимость лечения), интерактивный анализ соотношения количества дней лечения и использования ресурсов клиники, анализ географии расположения клиентов клиники.

Третья часть демонстрационного сценария с участием главного врача клиники. Источник: Microsoft

Подробнее: Microsoft BI для здравоохранения (сети клиник)

Демонстрация аналитики для здравоохранения — Часть 2

Во второй части демонстрационного сценария по здравоохранению финансовый директор сети клиник анализирует информацию о влиянии прибыльности в зависимости от задержек проведения операций в разрезе лечебных учреждений и докторов, доходы и себестоимость, количество процедур разного типа в разрезе докторов и подразделений, а меняет отчет Power View, чтобы проанализировать прибыльность не только в разрезе докторов, но и в разрезе типов процедур.

Задачи финансового директора сети клиник в демонстрационном примере. Источник: Microsoft

Подробнее: Microsoft BI для здравоохранения (сети клиник)