Обсуждение технического SQL-BI мероприятия в России на FaceBook.com

Коллеги, с целью привлечь больше посетителей, обсуждение ближайшего технического мероприятия по теме Microsoft BI проводится в социальной сети FaceBook.com.

Пожалуйста, присоединяйтесь и делитесь ссылками со своими коллегами!

В России впервые планируется проводить масштабное техническое мероприятие (с уровнем докладов 300 и выше) по теме Microsoft BI, и вы имеете возможность влиять на темы докладов!

Ссылки:

Опрос «Неформальная часть Microsoft BI-мероприятий — какой ей быть?»

Анонс встречи групп пользователей «Russian BI» и «Russian SQL Server»

Коллеги, есть планы по проведению большой технической встречи Russian Business Intelligence User Group совместно или параллельно с Russian SQL Server User Group продолжительностью 4-8 часов. В связи с этим, если у кого-нибудь есть возможность сделать интересный технический доклад, прошу мне написать на i-ivanko@microsoft.com .

Встречу планируем проводить ориентировочно 15 октября.

Со стороны Microsoft обещаны призы и общественное признание!

С уважением, Иван Косяков.

24 часа бесплатного обучения SQL Server

Не пропустите бесплатное обучение SQL Server в виде 24 часовых онлайновых вебкастов по наиболее актуальным темам SQL Server, которые также будут представлены на конференции PASS Summit 2010 в Сиэтле в ноябре 2010 года.

Обучение пройдет 15 и 16 сентября 2010 года. Зарегистрируйтесь сейчас.

По теме Microsoft BI в общем списке присутствуют следующие доклады:

Session 03 (BI) – Start time 14:00 GMT on September 15
Why Data Warehousing Projects Fail (And What You Can Do About It)
Presenter: Craig Utley

Session 07 (BI) — Start time 18:00 GMT on September 15
Intro to MDX
Presenter: Stacia Misner

Session 12 (BI) – Start time 23:00 GMT on September 15
Delivering KPIs with Analysis Services
Presenter: Peter Myers

Session 13 (BI) – Start time 12:00 GMT on September 16
Upgrading DTS Packages to SSIS
Presenter: Brian Knight

Session 15 (BI) – Start time 14:00 GMT on September 16
SQLBI Methodology
Presenters: Alberto Ferrari and Marco Russo

Session 22 (BI) – Start time 21:00 GMT on September 16
Zero to Cube: Fast Track to Analysis Services Development
Presenter: Adam Jorgensen

Источник: http://www.sqlpass.org/24hours/fall2010/

Результаты тестирования PowerPivot в Московском Технологическом центре Microsoft

Коллеги, я хотел бы поделиться результатами проведения сессии по тестированию (PoC – Proof of Concept) PowerPivot для Excel 2010 на 32-битной и 64-битной платформах, которую проводил с 3 по 16 августа 2010 года в Московском Технологическом центре Майкрософт.

Сразу обращаю ваше внимание, что результаты приведены для конкретной базы данных (ContosoRetailDW), которая была размножена искусственным способом. Для вашего источника результаты могут быть другими.

Целью проведения PoC было выявление объемов данных, с которыми можно работать в PowerPivot на 32-битной и 64-битной платформах.

Тестирование производилось с использованием Hyper-V (Windows Server 2008 Enterprise) на сервере Dell PowerEdge 2950.

Использовались две виртуальные машины с 32-битными и 64-битными Windows 7 Enterprise и Excel 2010.

В качестве тестовой базы использовалось хранилище данных ContosoRetailDW из виртуальной машины R9.2.

Данные загружались из таблицы фактов FactSales (19 столбцов, 10 столбцов типа Int, 3 столбца типа DateTime, 6 столбцов типа Money) и из связанных с этой таблицей справочников.

Сводная таблица результатов тестирования 32-битной платформы

Кол-во строк в таблице фактов, Млн. строк ОЗУ, Гбайт Результат Размер Excel в ОЗУ, Кбайт Размер файла на диске, Кбайт
17 2 Успешно 686 172 423 955
27 8 Ошибка выделения памяти

 

Сводная таблица результатов тестирования 64-битной платформы

Кол-во строк в таблице фактов, Млн. строк ОЗУ, Гбайт Результат Размер Excel в ОЗУ, Кбайт Размер файла на диске, Кбайт
34 2 Успешно 1 230 340 841 020
68 2 Не хватило ОЗУ на этапе подготовки данных
68 4 Успешно 2 375 180 961 401
136 4 Не хватило ОЗУ на этапе подготовки данных
136 8 Успешно 4 635 188 3 404 280
146 8 Успешно 4 821 564 3 636 556
153 30 Ошибка выделения памяти

 

Выводы

На основании проведенных тестов видно, что для объемов данных в таблице фактов более17 миллионов строк (ориентировочно) необходимо использовать 64-битную версию PowerPivot для Excel 2010.

Для базы данных Contoso DW на 64-битной платформе удалось загрузить 146 миллионов строк.

Источник: http://blogs.msdn.com/b/sqlbi_ru/archive/2010/08/17/powerpivot.aspx

Примеры внедрений Microsoft BI

Последнее обновление: 31.05.2012

Очень часто задают вопрос о наиболее интересных примерах внедрений Microsoft BI. В этой заметке я напишу о примерах, которые показались мне наиболее интересными.

Хранилище данных на базе SQL Server DB + загрузка данных

Социальная сеть «MySpace»

MySpace Uses SQL Server Service Broker to Protect Integrity of 1 Petabyte of Data

  • 1 Пбайт данных управляется SQL Server
  • 827 миллиардов строк данных
  • 440 экземпляров SQL Server
  • 130 миллионов активных пользователей ежемесячно
  • 300 тысяч новых пользователей в день
  • 4.4 миллиона конкурентных пользователей в моменты пиковой нагрузки
  • 18 тысяч сообщений сервис-брокера в секунду (при тестировании)

Хранилище данных на базе SQL Server DB + загрузка данных с помощью SSIS + аналитические кубы SSAS + отчеты SSRS

Сеть отелей «Hilton»

  • Система прогнозирования резервирований комнат
  • Полный пакет SQL-продуктов (SQL, AS, IS, RS)
  • Разнесение экземпляров Analysis Services и Reporting Services на отдельные сервера (scale out)
  • Балансировка нагрузки на сервера Analysis Services (чтение)
  • От 40 до 50 конкурентных пользователей на сервер Reporting Services
  • Сложные запросы
  • Большие наборы данных возвращаются на множество клиентов
  • Сервера IBM xSeries и IBM Blade Center

http://www.microsoft.com/casestudies/casestudy.aspx?casestudyid=49192

Хранилище данных на базе SQL Server DB с использованием FastTrack Data Warehouse

Stein Mart

  • Первый пример внедрения FastTrack DW
  • Сэкономлено $50,000 в месяц после миграции AS/400
  • Ускорение работы – 3 часа обработки вместо 14 часов
  • Меньше людей поддерживает решение
  • Пользователи полюбили новые инструменты!
  • Хранилище данных объемом 4 Тбайт

http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000007013

Хранилище данных на базе Parallel Data Warehouse (PDW)

Hy-Vee (сеть супермаркетов в США) внедрили хранилище данных на базе PDW (официальная информация доступна на сайте Microsoft).

Характеристики проекта:

  • до внедрения — 11 Тбайт данных в хранилище данных (данные за 7 лет, объемы постоянно растут; после внедрения объемы данных были увеличены в несколько раз)
  • ежедневная загрузка более 800 тысяч строк (после внедрения, очевидно, в разы больше) •OLAP-кубы
  • регламентированная отчетность Reporting Services

Результаты:

  • увеличение производительности до 100 раз
  • возможность просмотра данных за вчерашний день для реагирования на тренды (до внедрения PDW могли лишь посмотреть данные двухнедельной давности)
  • стало возможным выполнять значительно более сложные запросы к данным.

Информационные панели, карты показателей и отчетность

ООО «РН-Юганскнефтегаз»

Внедренные продукты:
Microsoft Office SharePoint Server
2007, с использованием таких инструментов, как PerformancePoint, SQL Server SSAS, SSRS, SSIS

В результате проведенных работ была внедрена система, обеспечивающая возможность одновременной работы более 180 подразделений Общества, работающих в локальной сети Общества. При разработке Системы была предусмотрена возможность последующего расширения пользователей системы до 2 000 человек.

Внедрение Системы позволило достичь следующих результатов:

  1. Увеличение прозрачности картины по результативности работы подразделений за счет ведения рейтингов эффективности;
  2. Упрощение анализа эффективности деятельности Общества за счет структурирования информации и отображения ее в оптимальном для восприятия виде;
  3. Обеспечение перехода к управлению по показателям в соответствии с современными стандартами Управления эффективностью деятельности (Business Performance Management).

http://www.microsoft.com/rus/casestudies/Case_Study_Detail.aspx?casestudyid=4000008236

Интеллектуальный анализ данных (SQL Server Analysis Services Data Mining)

Максим Гончаров посмотрел имеющиеся примеры и выбрал наиболее интересный вариант (первый в таблице). Остальные примеры Максим порекомендовал взять из заметки Data Mining Case Studies в блоге главного (бывшего) архитектора Jamie MacLennan.

Страна Отрасль Пример внедрения
США Финансовые сервисы Внедрение аналитической системы по оптимизации страховых фондов и риск-менеджмента на платформе Analysis Services в страховой компании EMC партнером PolyVista. Используется OLAP и Data Mining (предиктивные модели, формирующие правила и обнаруживающие шаблоны для оптимизации размеров страховых взносов; формирование оптимальных размеров запасов; управление рисками).Страховая компания использует BI для улучшения управления финансовыми сервисами
Филиппины Развлечения Wireless Services Firm Doubles Response Rates with SQL Server 2005 Data Mining 10/23/05
Канада Профессиональные сервисы Microsoft Partner Helps Internet-Monitoring Company Crawl 750 Million Pages Monthly 01/17/07
Франция Профессиональные сервисы E-Commerce Provider Boosts Competitiveness with Microsoft Technology and Partnership 02/04/07
Франция Торговля French Retailer Deploys Powerful Solution to Handle 1 Million Orders a Day 09/04/06
Израиль Здравоохранение Microsoft SQL Server 2005 Data Mining Helps Clalit Preserve Health and Save Lives 11/03/05
Франция Производство New Business Intelligence Solution Reduces Customer Churn by 25 to 30 Percent 03/16/06
США Правительство The Illinois Department of Transportation Saves Lives with Microsoft Business Intelligence Solution 21-Apr-08
Германия Перевозки и логистика Global Air Freight Company Analyzes Mission Critical Logistics Data with SQL Server 2005 02/01/06
Великобритания Развлечения Scalable Data Warehouse Helps U.K. Lifestyle Group Consolidate Multiple Data Sources in Just Three Months 11/07/06
Италия Финансовые сервисы New Information System Increases Efficiency and Helps Double Profits at Italian Bank 02/16/07
Великобритания Образование Analytical Tools Help Research Group Provide New Insight Into How Darwin Developed His Theory of Evolution 11/07/06
Великобритания Образование Research Group Unlocks the Secrets of Darwinian Research with Mapping and Database Software 18-Mar-08
США Производство Xerox Develops Scalable, Hosted Solution to Optimize Global Print Fleet Management 11/11/05
США Профессиональные сервисы Database Products Help Real Estate Service Evaluate Millions of Homes Daily, Cut Costs 08/24/06
США Финансовые сервисы Zurich in North American Anticipates U.S.$25 Million Gain with SQL Server 2005 Solution 01/22/07

По России есть множество успешных внедрений, но примеров для публикации пока нет (многие компании стараются не афишировать внедрения интеллектуального анализа данных, видимо, из конкурентных соображений)… Повод для размышлений… 😉

Приложение PivotViewer для SQL Server Reporting Services

Команда разработки BI-решений Microsoft выпустила прототип приложения PivotViewer для SQL Server Reporting Services, который является концептуальным расширением Silverlight-элемента управления PivotViewer.

Видео-демонстрацию работы PivotViewer для SSRS можно посмотреть по ссылке.

Источник: SQL Server Team Blog: PivotViewer extension for SQL Server Reporting Services