Fala galera, este foi meu primeiro TechEd North America, apesar de ter participado em algumas outras edições do evento no Brasil, de 2006 a 2011, o evento nos Estados Unidos é muito maior e com muito mais atividades…
Tive a oportunidade de trabalhar no stand de SQL Server, conversando com congressistas e palestrantes sobre ambientes de Missão Crítica para SQL Server 2012 e 2014. Abaixo tem uma foto que o Rodolfo Fadino (blog|twitter) registrou durante um dos meus turnos no stand.
Como prometido, segue um resumo (bem resumido mesmo) das coisas que ví nas sessões. Espero publicar posts mais detalhados com assuntos específicos de cada coisa interessante que ví. Não está em ordem de sessoões assistidas, está na ordem que o Evernote escolheu. rss
Keynote
windows 8.1 – Personalização de Desktop
Agora é possivel exportar as configurações de um desktop através do PowerShell e então criar uma política de personalização no Windows Server, e aplicar todos os apps configurados nos desktops das outras máquinas (botões de acesso). Também é possivel criar botões menores, como no Windows Phone 8. Também é permitido mudar o background (à sua escolha, não apenas templates) da região onde ficam os botões do desktop.
windows server 2012 r2
Em um site restrito é possivel identificar um erro de acesso negado, informando o usuário do problema e então pedindo para se juntar ao AD, e assim o acesso não será mais negado.
Quando se junta a um rede com domínio, você pode customizar os desktops dos funcionários em seus proprios devices automaticamente. Quando estes funcionarios saírem da empresa, você pode remover os apps sem precisar zerar a maquina.
WINDOWS AZURE
Agora as máquinas virtuais (VHD) que estão paradas no Azure não são cobradas pelo processamento (só o armazenamento da máquina). Isso é algo que impacta diretamente no uso de Cloud por empresas que precisam usar a tecnologia, mas não possuem infra-estrutura necessária para manter um ambiente de teste ou homologação. Agora estes ambientes podem estar na nuvem, e só “ligar” quando for usar.
Enterprise Social Media
Office 365 + Yammer
Numa pesquisa sobre redes sociais com quase 10.000 pessoas em 32 países, 53% de entrevistados entre 18 a 24 anos responderam que as redes sociais ajudam no dia-a-dia, mas apenas 41% de pessoas entevistadas com mais de 45 anos tem a mesma visão.
Nota mental: Estudar isso, não conheço nada do assunto!
BISM Tabular Mode
- Meu Contexto: Excel PowerPivot
- Contexto Colaborativo: Sharepoint PowerPivot
- Contexto Corporativo: SSAS
Nota mental: Estudar isso, não conheço nada do assunto!
How present your data
Apresentar os dados com numeros é importante pela precisão, mas conseguir representar com imagens (graficos, desenhos, etc.) fica muito mais expressivo e fácil de identificar e comparar os dados.
Nota mental: Estudar isso, não conheço nada do assunto!
Do you have BigData?
Os 3 Vs do BigData:
- Volume (Small e Large)
- Variedade (PK/FK e Chave/Valor)
- Velocidade (Push e Post)
Recomendar à pessoa somente o que realmente é pertinente à ela. Mesmo que o produto/vídeo ou artigo faça sentido para você, pode não fazer para o usuário.
O Hadoop é mais lento que o SQL realcional para criar e trabalhar no dia a dia, porque o propósito é completamente outro.
1) Criar o Cluster do HDInsight
2) *** Ter a tabela no Azure Tables, para consumir os dados
3) Criar a base e a tabela em HIVE para interagir com os dados
4) Criar uma outra tabela com particionamento, com a mesma estrutura da anterior mas com a partição
5) Criar uma tabela e já popular, com base em outra.
6) Para fazer o ETL, usar o SQOOP – SQL and Hadoop
7) Executar o PIG para criar os jobs e rodar com o mapeamento do MapReduce
8) A maioria da interação é feita através do painel de JavaScript do HDInsight e algumas coisas com o painel do Hive, também no HDInsight
Procurar a ferramenta –> CloudXplorer e NodeXL (ADD-ONs do Excel)
Nota mental: Estudar isso, não conheço nada do assunto!
PowerPivot in Excel 2013 – Action!
Basicamente tudo sobre PivotTable
Para ordenar os meses, é só ir aos dados de origem (PowerPivot) e ordenar por meses de forma numerica. Isso irá ordenar o resultado dos dados da camada de apresentação.
Usar o CustomerField para criar um campo calculado com base em informações vindas do Data Model, e não alteramos mais nada no Data Model, só a camada de apresentação.
Aprender a usar o comando CALCULATEextremamente útil e completo (complexo támbém)
Nota mental: Estudar isso, não conheço nada do assunto!
Hekaton
Tecnologia In-Memory para soluções OLTP
1) Memória otimizada para Tabelas e Índices
2) Compilação nativa de lógicas de negócios dentro de Procs (Não é mais interpretado, é código nativo compilado)
3) Sem Latch e Lock nas estruturas de dados
4) Não é um produto separado, é uma forma de trabalhar com o SQL Server
5) Aplicado à tabela ou índice em questão, não no contexto de Database ou Instância
— Memória de Tabela e Índice
Na criação da tabela, especifica o Index na coluna e informa que é de HASH com Buckets (tipo um buffer com espaço)
INDEX [nome] HASH WITH (BUCKET_COUNT = 1000000)
Também usa um hint na criação dizendo que é
WITH (MEMORY_OPTIMIZED = ON, DURABILITY = SCHEMA_AND_DATA)
Não tem DML Trigger
Não tem XML ou CLR Datatype
Não tem FK
— Compilação
Usar o Hint
WITH NATIVE_COMPILATION, SCHEMABINDING, EXECUTE AS OWNER
para compilar e não somente interpretar os códigos das procs. Também precisa criar uma tansação atomica (conceito ACID)
NA teoria, um acesso à tabela convencional acessa memória e disco e pode ser “full T-SQL”, já com Hekaton a tabela acessa somente a memória e tem um “limited T-SQL”, mas entrega uma performance muito melhor que a tabela convencional.
É adequado usar tabela convencional quando se usa AD-HOC ou consultas “reporting-style”, já para procs compiladas (com as regras de negócios) funciona muito melhor com o Hekaton pois já está compilado.
— Latch e Lock
> Multi-Version dos dados armazenados… utiliza Snapshot Transaction Isolation Level, mas não usa o TempDB
> Sem lock ou latch evitando block e wait… possui um controle interno de detecção de conflito que elimina os Dead Locks
Nota mental: Estudar isso, não conheço nada do assunto!
KPI with SSAS (Multidimentional and Tabular)
Os dados preditivos do Data Mining são usados para criar os KPIs e saber se os números serão atingidos ou não (projeção).
Data Mining é extremamente importante para estas predições.
Função importante –> CUBEKPIMEMBER e CUBEMEMBER
Estudar MDX e integração com Excel
Usar estes conceitos inclusive no Dashboard Design
Nota mental: Estudar isso, não conheço nada do assunto!
HDInsight – Hadoop with Windows
BigData não significa somente Grande quantidade de Dados. É um conceito que olha para o lado de Transações + Interações + Observações. A idéia junta informações de ERP, CRM e Web, consolidando em um outro nivel, BigData.
HDInsight Service –> Solução do Windows Azure
HDInsight Server –> Para soluções on-premisse
Hadoop é uma tecnologia distribuida para storage e processamento de grande escala.
HDFS é um acronimo (Hadoop Distributed File System) e usado para distribuir arquivos de sistemas não estruturados, quebrando em blocos e redundante entre os servers.
MapReduce é a tecnologia que executa e processa grande volume de dados em jobs paralelos em diversos nós do cluster, e depois combina os resultados.
Oozie é o workflow que organiza as execuções de SQOOP, HIVE, PIG, MapReduce e cria um fluxo de execução controlado e ordenado.
Integration Services e Excel se conectam no Hadoop através de conectores ODBC
Estudar –> .Net MapReduce for Hadoop [.Net Hadoop SDK (Visual Studio)]
Nota mental: Estudar isso, não conheço nada do assunto!
Enriching Big Data for Analysis
Pensar em BigData fica mais simples fazendo uma analogia com uma caixa de sapatos… Você guarda as coisas que um dia vai usar lá, mas não é usado regularmente. Comparar essa caixa com o armazenamento de BigData fica bem simples para entender. Com BigData você armazena tudo o que achar importante, mesmo não sabendo como e porque usá-lo hoje.
Algumas formas de interação:
1) Aquisição de dados –> Streaming, Trickle, Bulk Transfer
– Menos arquivos com tamanho maior é muito melhor do que varios arquivos com pouco tamanho cada;
– Teste diferentes formatos de arquivos para encontrar o mais adequado para você;
– Quanto mais contas de armazenamento (nós do cluster) é melhor, pois consegue mais concorrência (parelelismo);
– Mover dados pra nuvem já compactado, pode ser Gzip, BZ2 ou Deflate (HIVE). Azure tem suporte nativo para ler arquivos nestes formatos;
– AzCopy é tipo um Robocopy, mas apontando para Azure (usado para movimentar dados);
2) Refinar –> Agregações, Sumarizações, Transformações
3) Consumir os dados –> Relatorios, Análises, Planilhas
Nota mental: Estudar isso, não conheço nada do assunto!
Querying in DAX
DAX é a solução para descomplicar o MDX e permitir que Data Model possa ser rápido para ser escrito, mas não necessariamente é fácil, podendo existir muita complexidade e resolução de problemas… Podemos pensar em DAX como um facilitador completo 🙂
Nas execuções de DAX, a ordem dos filtros é diferente da ordem convencional do SQL.
Quando estamos consultando algo assim:
(
( TABELA, FILTRO DE CODIGO > 0 E < 20)
FILTRO DE CODIGO > 5 E < 10
)
Primeiro é executado o filtro de 5 e 10, e depois de 0 e 20, sobresaindo o resultado mais interno do contexto de filtro.
Baixar –> DaxStudio (daxstudio.codeplex.com)
Nota mental: Estudar isso, não conheço nada do assunto!
FIM DE EVENTO
O encerramento do evento foi outro marco pra mim, fomos para o Mercedes-Benz Superdome, onde ocorreu o Superbowl 2013 (em Fevereiro). Eu que sou fã de NFL, fiquei bastante emocionado. Nesta festa exclusiva para participantes do evento e seus convidados, tivemos um show curtinho da Tina Tuner, como também a presença do Quarter-Back do NEW ORLEANS SAINTS. Impagável!
Se eu puder deixar um recado para quem costuma frequentar eventos, é esse: Conheça eventos de fora do Brasil, você ficará impressionado 🙂
