Em dezembro de 2007, a equipe digital da campanha de Barack Obama tinha certeza de que um vídeo do candidato converteria mais visitantes em ...
Hipótese 01
Todos os vídeos perderam
No fim de 2007, quem chegava ao site da campanha de Barack Obama via primeiro uma página de entrada: uma imagem ou um vídeo, um botão e um formulário pedindo e-mail e CEP. Dan Siroker, recém-saído do Google para dirigir a análise de dados da campanha, decidiu tratar aquela página como uma pergunta, não como uma peça de arte. A equipe montou 24 versões, combinando quatro textos de botão (de "Inscreva-se" a "Saiba mais") com seis mídias — três fotografias e três vídeos. Cada um dos 310 382 visitantes do período do teste viu, ao acaso, uma dessas combinações. A página original convertia 8,26% dos visitantes em cadastros; a melhor combinação, uma foto do candidato com a família e o botão "Saiba mais", converteu 11,6% — uma melhora de 40,6% (Siroker, 2010).
O detalhe que faz o caso valer a aula é o palpite da equipe. A maioria apostava num vídeo, o "vídeo do Sam", uma peça bem produzida e emocionante. Nas palavras de Siroker, "todos os vídeos foram piores do que todas as imagens" (Siroker, 2010, tradução nossa). A extrapolação que deu título ao relato é da própria equipe: cerca de 10 milhões de pessoas se cadastraram por aquela página ao longo da campanha; com 40,6% a mais, foram aproximadamente 2,88 milhões de e-mails adicionais, e cada endereço cadastrado ali doou, em média, 21 dólares — perto de 60 milhões de dólares que, pela conta deles, não existiriam se a opinião da sala tivesse vencido.
Mesma campanha, mesmo período, visitantes sorteados: só o que muda na tela é a mídia e o texto do botão. A comparação é justa porque o acaso distribuiu todo o resto. Ilustração gerada por IA.
Uma campanha eleitoral é comunicação digital em estado puro: mensagem, canal, público, chamada para ação. E a lição do caso não é "foto ganha de vídeo" — em outra campanha, com outro público, pode ser o contrário. A lição é o método: uma hipótese explícita, uma comparação controlada, uma métrica combinada antes de olhar os resultados e uma decisão tomada pelos dados em vez de pela opinião da pessoa mais bem paga da sala — o HiPPO, na sigla irônica que a equipe de experimentação da Microsoft popularizou (Kohavi; Henne; Sommerfield, 2007).
Esta postagem continua a conversa de Design thinking: origens e como usar, que acompanhou um grupo de estudantes do pedido "façam um aplicativo" até um dispensador de remédios de papelão testado na mesa da cozinha de dona Neusa. Aquele texto parou no protótipo. Este começa exatamente aí — e responde à pergunta que fica no ar quando a oficina termina: e agora, como saber se funciona no mundo real? Faz parte da série sobre comunicação digital iniciada em Afinal, o que é comunicação digital?.
Hipótese 02
Onde o design thinking para — e por quê
O design thinking, como visto no post anterior, é um modo de resolver problemas em cinco movimentos: empatia, definição, ideação, prototipagem e teste. Tim Brown o descreve como a busca do ponto de encontro entre três restrições — o que é desejável para as pessoas, o que é tecnicamente possível e o que é viável como negócio (Brown, 2020). O protótipo de papelão responde muito bem à primeira pergunta, e cedo: dona Neusa entendeu o dispensador, gostou dele e apontou o que faltava. É um resultado enorme para uma tarde de trabalho.
Mas repare no que esse teste não disse. Cinco pessoas na mesa da cozinha revelam se a ideia é compreendida e desejada — é a lógica dos cinco usuários de Nielsen, ótima para achar problemas de uso. Elas não dizem quantas das 20 mil pessoas com o mesmo problema vão adotar a solução, se vão continuar usando depois da novidade nem se o custo de entregar aquilo se paga. Há um segundo limite, mais sutil: o que as pessoas dizem num teste e o que fazem na vida real são coisas diferentes. Elogiar um protótipo diante de quem o fez é quase um gesto de educação; instalar, abrir, clicar e voltar na semana seguinte, não.
Na comunicação, esse intervalo entre a opinião e o comportamento é o terreno de trabalho. Assis e Emerim aplicaram duas ferramentas do design thinking — o mapa da jornada e o mapa de empatia — para entender como pessoas consomem notícias em plataformas efêmeras como os Stories do Instagram, com o objetivo de orientar a produção de conteúdo jornalístico para esse formato (Assis; Emerim, 2019). É o design thinking fazendo o que faz de melhor: descobrir o que perguntar. O passo seguinte, saber se um formato novo de Story retém mais leitores do que o antigo, já não se resolve com mapa de empatia — resolve-se publicando as duas versões e medindo.
Mil e duzentas ligações por dia
Um caso brasileiro mostra a mesma passagem. Entre outubro de 2017 e abril de 2018, o laboratório de inovação GNova, da Escola Nacional de Administração Pública, trabalhou com a Anvisa para entender por que a central de atendimento da agência recebia cerca de 1 200 ligações por dia, se a informação procurada estava, em tese, no site. A equipe cruzou os dados da central com entrevistas etnográficas a "usuários extremos" — pessoas dos setores de cosméticos, medicamentos, alimentos e produtos para a saúde que faziam cerca de oito contatos diários, por e-mail e telefone. Descobriu que não havia harmonização nas respostas: a mesma pergunta recebia respostas diferentes conforme o atendente, e os usuários aprendiam a usar "atalhos" para chegar a quem respondia melhor. Descobriu também que a linguagem do site era excessivamente técnica para o público em geral, e recomendou linguagem simples, melhoria da busca e reorganização do conteúdo (Ferrarezi; Lemos; Brandalise, 2018).
Um problema de atendimento que era, no fundo, um problema de comunicação: linguagem técnica no site e respostas desalinhadas no telefone. A pesquisa qualitativa achou a causa; só a medição depois da mudança diz se a solução funcionou. Ilustração gerada por IA.
Esse é um diagnóstico de comunicação obtido por design thinking, e um bom exemplo de por que a etapa de empatia vale o tempo que consome. Mas observe o formato do que ele entrega: recomendações. "Se simplificarmos a linguagem das páginas mais buscadas, as ligações vão cair" é uma hipótese — plausível, bem fundamentada, e ainda assim uma hipótese. Só a série histórica de chamadas, comparada antes e depois (ou, melhor, entre páginas alteradas e páginas ainda não alteradas), transforma a recomendação em aprendizado. O quadro abaixo resume a divisão de trabalho entre as três abordagens deste texto.
Quadro 1 — Design thinking, startup enxuta e experimentação controlada: o que cada abordagem pergunta e que tipo de evidência produz
| Aspecto | Design thinking | Startup enxuta (MVP) | Experimentação controlada (teste A/B) |
|---|---|---|---|
| Pergunta central | Qual é o problema certo, e para quem? | Alguém quer isto de verdade — a ponto de usar, voltar ou pagar? | Esta versão é melhor do que aquela, nesta métrica? |
| Unidade de trabalho | Entrevista, mapa de empatia, protótipo de baixa fidelidade | Produto mínimo viável posto em uso real | Duas ou mais variantes servidas ao acaso, ao mesmo tempo |
| Tipo de evidência | Qualitativa: falas, reações, observação | Comportamental em escala pequena: cadastros, uso, retenção | Quantitativa em escala: diferença medida com incerteza conhecida |
| Escala típica | Cinco a vinte pessoas | Dezenas a poucos milhares | Milhares a milhões |
| Risco que reduz | Resolver o problema errado | Construir algo que ninguém usa | Escolher a pior versão por opinião |
| Limite | Opinião não é comportamento; não mede escala | Não separa causa de coincidência | Não explica o porquê; exige volume |
Fonte: elaborado pelo autor com base em Brown (2020), Ries (2019) e Kohavi, Tang e Xu (2020).Nota: as escalas são ordens de grandeza típicas, não regras; o Quadro 4 e o laboratório desta postagem mostram como estimar o volume necessário para um teste.
As três abordagens não competem: revezam-se. O design thinking descobre o que vale a pena tentar; o MVP verifica, barato, se alguém quer; o teste controlado escolhe entre versões quando já há gente suficiente para comparar. Um time de comunicação maduro transita entre elas várias vezes por ano — e, às vezes, dentro de uma mesma campanha.
Hipótese 03
Construir, medir, aprender
Em 2011, o empreendedor Eric Ries reuniu num livro o que vinha ensinando em seu blog desde 2008: uma disciplina para criar produtos em condições de incerteza extrema, batizada de startup enxuta (lean startup), em homenagem à produção enxuta da Toyota. A definição de startup que ele adota é ampla de propósito — "uma instituição humana projetada para criar novos produtos e serviços sob condições de extrema incerteza" — e cabe numa equipe de comunicação de faculdade, numa redação ou numa secretaria de governo tanto quanto numa empresa nascente (Ries, 2019). A unidade de progresso, para Ries, não é o produto entregue nem o número de seguidores: é o aprendizado validado, a comprovação empírica de que a equipe descobriu algo verdadeiro sobre as pessoas a quem serve.
O motor desse aprendizado é o ciclo construir-medir-aprender: ideias viram um produto (construir), o produto em uso gera dados (medir), os dados confirmam ou derrubam a hipótese (aprender) — e o que se aprendeu vira a próxima ideia. A recomendação central é minimizar o tempo total de uma volta completa, não otimizar cada etapa. Steve Blank, professor de Ries e criador do "desenvolvimento de clientes" que inspirou o método, resume a atitude numa regra: não há fatos dentro do prédio, então saia dele (Blank; Dorf, 2014). Clique nas etapas para ver o ciclo aplicado à comunicação digital:
O ciclo construir-medir-aprender na comunicação digital
Construir — o menor produto que testa a hipótese
Na comunicação: em vez de lançar "o novo canal" completo, produzir a menor peça capaz de gerar comportamento observável — uma landing page, uma newsletter de três itens, uma lista de transmissão, um único formato de vídeo. A pergunta que guia a construção é "que hipótese isto testa?", não "o que mais podemos incluir?".
Erro comum: confundir mínimo com malfeito. Erros de revisão, links quebrados e identidade visual improvisada não testam a hipótese — testam a paciência do público.
Duas hipóteses merecem nome próprio no método. A hipótese de valor pergunta se o produto entrega algo que as pessoas queiram de fato; a hipótese de crescimento pergunta como novas pessoas o descobrem — por indicação, por conteúdo, por mídia paga. Quando os dados derrubam uma delas, a equipe enfrenta a decisão mais difícil do método: perseverar, ajustando detalhes, ou fazer um pivô, uma mudança estruturada de estratégia que preserva o que foi aprendido (Ries, 2019). Em comunicação, pivôs são frequentes e pouco reconhecidos como tal: o podcast que vira newsletter, o canal no YouTube que vira série de cortes, o aplicativo institucional que vira lista de transmissão.
Um caso para acompanhar
Para não ficar no abstrato, este texto acompanha daqui em diante uma situação fictícia, montada a partir de casos reais de instituições de ensino. A coordenação de comunicação de uma faculdade privada — chamemos de Faculdade Ipê — recebe da direção a encomenda que os leitores do post anterior vão reconhecer: "os alunos não leem os e-mails; façam um aplicativo". O aplicativo custaria seis meses e um orçamento que a coordenação não tem. Antes de gastar, a equipe faz uma pergunta enxuta: o que, de menor, testaria a hipótese de que os alunos leem avisos se eles chegarem pelo canal certo, no formato certo?
Hipótese 04
MVP: o menor experimento que ainda é produto
O termo produto mínimo viável (MVP, de minimum viable product) é anterior a Ries: a consultoria SyncDev, de Frank Robinson, o define como "o produto único que maximiza o retorno sobre o risco, tanto para o fornecedor quanto para o cliente" (SyncDev, [2026], tradução nossa). Foi Ries, porém, quem lhe deu o sentido hoje corrente. Na formulação do blog que antecedeu o livro, o MVP é "aquela versão de um novo produto que permite a uma equipe coletar a quantidade máxima de aprendizado validado sobre os clientes com o menor esforço" (Ries, 2009, tradução nossa). No livro, a definição se apoia no ciclo: é a versão que permite dar uma volta completa em construir-medir-aprender com o mínimo de esforço e o menor tempo de desenvolvimento (Ries, 2019).
Repare no que a definição não diz. Não diz "produto com menos funcionalidades para vender logo", nem "versão tosca que a gente arruma depois". O MVP é um experimento cuja finalidade é aprender; o produto é o instrumento, não o fim. Se ninguém precisar aprender nada — se a demanda já for evidente e o formato já for conhecido —, não há por que fazer um MVP. Dois exemplos narrados por Ries viraram clássicos justamente porque quase não tinham produto:
- Zappos. Antes de montar uma loja de calçados on-line, Nick Swinmurn fotografou sapatos em lojas físicas de sua cidade, publicou as fotos num site simples e, quando alguém comprava, ia à loja, comprava o par pelo preço de varejo e o enviava. Sem estoque, sem sistema, sem escala: a hipótese testada era uma só — pessoas compram sapatos sem experimentar? — e a resposta veio de clientes reais pagando dinheiro real (Ries, 2019).
- Dropbox. Com um produto tecnicamente difícil e ainda inacabado, Drew Houston gravou um vídeo de poucos minutos demonstrando a sincronização de arquivos e o publicou para uma comunidade de entusiastas. A lista de espera passou de 5 mil para 75 mil pessoas de um dia para o outro (Ries, 2019). O vídeo — uma peça de comunicação — era o MVP.
Alberto Savoia, ex-engenheiro do Google, foi ainda mais longe e cunhou pretótipo (pretotype) para a versão que finge ser o produto antes de qualquer produto existir. Seu exemplo favorito é dos anos 1980: para saber se pessoas usariam um sistema de ditado por voz, a IBM sentou usuários diante de um microfone e de uma tela em que o texto falado aparecia digitado — só que, na sala ao lado, havia uma pessoa datilografando às escondidas. Ninguém precisou escrever uma linha de reconhecimento de voz para descobrir que, depois de algumas horas, os usuários ficavam roucos e preferiam o teclado. Outro: Jeff Hawkins carregou por meses no bolso um bloco de madeira do tamanho do futuro Palm Pilot, fingindo consultá-lo, para saber se usaria um computador daquele tamanho (Savoia, 2011).
O ditado por voz que era uma datilógrafa escondida e o computador de bolso que era um bloco de madeira: nenhum dos dois funcionava, e os dois responderam à pergunta que importava. Ilustração gerada por IA.
Seis jeitos de testar antes de construir. Em comum, todos produzem comportamento observável — um clique, um cadastro, uma resposta — em vez de opinião. Ilustração gerada por IA.
Na comunicação digital, quase tudo pode ser pretotipado, porque o "produto" costuma ser uma mensagem, um canal ou um serviço de informação. O quadro reúne os formatos mais usados, com o que cada um mede e um exemplo aplicado à Faculdade Ipê. Bland e Osterwalder catalogam 44 experimentos desse tipo, do cartão de visitas fictício ao piloto pago, organizados por custo, tempo e força da evidência (Bland; Osterwalder, 2020).
Quadro 2 — Tipos de MVP e pretótipo aplicados à comunicação digital, com a evidência que produzem
| Formato | Como funciona | O que mede | Exemplo na Faculdade Ipê |
|---|---|---|---|
| Página de fumaça | Uma página descreve o serviço que ainda não existe e pede um cadastro | Interesse: taxa de cadastro por visitante | "Receba os avisos da semana no WhatsApp" — antes de existir a lista |
| Porta falsa | Um botão ou item de menu para um recurso inexistente leva a um aviso de "em breve" | Demanda: cliques por exibição | Botão "Baixar o app" no portal do aluno, que abre uma explicação e um formulário |
| Vídeo explicativo | Um vídeo mostra o serviço funcionando, mesmo que ainda não funcione | Interesse qualificado: inscrições na lista de espera | Vídeo de 60 segundos mostrando como seria o aviso no celular |
| Concierge | A equipe presta o serviço manualmente, para poucas pessoas, sem automação | Valor percebido e retenção; aprendizado qualitativo denso | Um estagiário monta e envia à mão, toda segunda, os avisos de uma turma |
| Mágico de Oz | Parece automático para o usuário, mas há pessoas operando por trás | Perguntas reais, tom, horários de pico | "Assistente virtual" da secretaria respondido por duas pessoas durante duas semanas |
| Piloto de um canal | O serviço real, em versão mínima, para um recorte do público | Comportamento: abertura, clique, resposta, permanência | Lista de transmissão para 60 alunos de um curso, três avisos por semana, quatro semanas |
| Protótipo clicável | Telas navegáveis sem código (Figma e similares), testadas com usuários | Compreensão e navegação; não mede adoção | Cinco alunos tentam achar o calendário de provas numa maquete do app |
Fonte: elaborado pelo autor com base em Ries (2019), Savoia (2011) e Bland e Osterwalder (2020).Nota: os exemplos da Faculdade Ipê são fictícios. Os nomes dos formatos foram traduzidos pelo autor; os originais constam do glossário.
Mínimo não é malfeito
"Mínimo" refere-se ao escopo: o menor conjunto de coisas capaz de testar a hipótese. Não se refere ao cuidado. Uma newsletter piloto com erro de ortografia e link quebrado não testa se os alunos querem uma newsletter — testa se toleram descuido, e a resposta já se sabe. "Viável", por sua vez, significa que a pessoa consegue obter valor de verdade: a lista de transmissão precisa avisar de fato o que precisa ser avisado, na hora certa. Pequeno no escopo, inteiro no cuidado é a fórmula.
Há também um limite ético, que a comunicação sente mais do que a engenharia: uma porta falsa deve dizer "em breve" e explicar, não fingir que o serviço existe; um mágico de Oz não pode prometer sigilo automático se há pessoas lendo. Testar com gente exige a mesma honestidade que se espera do produto final — e, no Brasil, o mesmo respeito à LGPD em cada cadastro coletado.
A Faculdade Ipê escolheu o piloto de canal. Em vez do aplicativo, uma lista de transmissão no aplicativo de mensagens que os alunos já usam, com três avisos por semana, para os 60 alunos de um curso, durante quatro semanas. O "produto" é o serviço de avisos; a hipótese de valor é "os alunos leem e agem sobre avisos recebidos por mensagem"; a métrica combinada de antemão é a proporção de alunos que clicam no link do aviso e concluem a ação pedida — inscrever-se num evento, responder a um formulário, confirmar presença. Custo: um estagiário, uma tarde por semana. Se der certo, a coordenação terá algo que nenhuma reunião produziria: números para decidir se um aplicativo vale seis meses.
Hipótese 05
Métricas de vaidade e a métrica que decide
Ries dedica um capítulo ao que chama de métricas de vaidade: números que crescem, fazem a equipe se sentir bem e não sustentam nenhuma decisão — total de usuários cadastrados, visualizações acumuladas, seguidores. Contra elas, propõe métricas acionáveis, que precisam ser três coisas: acionáveis (mostram causa e efeito claros, ligados a uma ação da equipe), acessíveis (qualquer pessoa da equipe entende) e auditáveis (é possível conferir os dados na origem) (Ries, 2019). A comunicação digital é o habitat natural das métricas de vaidade, porque as plataformas as exibem em letras grandes: curtidas, alcance, impressões. Nenhuma delas diz se alguém fez o que a mensagem pedia.
O que a plataforma mostra em letras grandes raramente é o que decide. Métrica de vaidade sobe sozinha; métrica acionável só sobe quando alguém faz o que a mensagem pediu. Ilustração gerada por IA.
A tradição dos experimentos on-line tem um nome para a métrica que decide: OEC, o critério geral de avaliação (overall evaluation criterion), uma medida quantitativa do objetivo do experimento, de preferência única ou combinada por pesos, definida antes de rodar o teste (Kohavi; Henne; Sommerfield, 2007). Na literatura de crescimento, Ellis e Brown falam em métrica estrela-guia (North Star Metric): o único número que melhor captura o valor entregue às pessoas, ao qual todos os experimentos da equipe se reportam (Ellis; Brown, 2018). Para a Faculdade Ipê, a estrela-guia não é "alunos na lista" nem "mensagens lidas": é "ações concluídas a partir de um aviso".
Um segundo e oito décimos
O caso mais eloquente de métrica bem escolhida em comunicação vem da Netflix. Em 2016, a empresa relatou que a arte de capa de cada título — a imagem que aparece na tela inicial — não só era o maior fator na decisão de assistir, como respondia por mais de 82% do foco dos assinantes enquanto navegavam, e que cada título recebia, em média, 1,8 segundo de atenção (Nelson, 2016). A capa é comunicação: uma imagem tentando convencer alguém, em menos de dois segundos, a dar uma chance a uma história.
Seis capas para a mesma história. A que vence não é a mais bonita na opinião da equipe: é a que faz mais pessoas assistirem — e continuarem assistindo. Ilustração gerada por IA.
A equipe de engenharia explicou como escolhia entre as capas: testes controlados em que assinantes sorteados viam artes diferentes para o mesmo título, com a métrica principal chamada take rate — reproduções divididas por exibições. O detalhe metodológico que importa aqui é a segunda métrica: a Netflix verificou que as capas vencedoras aumentavam as horas totais de streaming, e não apenas deslocavam cliques de um título para outro (Krishnan, 2016). Sem essa guarda, um teste de capas premiaria o equivalente visual da manchete caça-cliques: a imagem que atrai o clique e decepciona em seguida. Os achados de conteúdo também ensinam: rostos com emoções complexas venceram expressões neutras, imagens com mais de três pessoas perderam desempenho, e a capa vencedora variou de país para país (Nelson, 2016) — a regra "os resultados vão variar", que volta na próxima seção.
Quadro 3 — Métricas de vaidade e métricas acionáveis em canais comuns de comunicação digital
| Canal | Métrica de vaidade (sobe sozinha) | Métrica acionável (exige ação do público) | Pergunta que a acionável responde |
|---|---|---|---|
| Redes sociais | Seguidores, alcance, curtidas | Cliques no link, salvamentos, respostas a uma chamada para ação | O post moveu alguém a fazer algo? |
| Newsletter e e-mail | Tamanho da lista, aberturas brutas | Cliques únicos por destinatário, respostas, descadastros por envio | O conteúdo vale a caixa de entrada? |
| Mensageria (WhatsApp, Telegram) | Membros da lista, mensagens entregues | Cliques, confirmações, ações concluídas, saídas da lista | O aviso chegou e produziu a ação? |
| Site e landing page | Visitas, tempo médio na página | Taxa de conversão (cadastro, download, contato), abandono do formulário | Quem chegou fez o que a página pedia? |
| Vídeo | Visualizações, inscritos | Retenção por minuto, cliques na descrição, retorno na semana seguinte | As pessoas ficaram — e voltaram? |
| Atendimento e chatbot | Conversas iniciadas | Resolução sem transbordo, recontato em 7 dias, chamadas telefônicas evitadas | A dúvida foi resolvida de verdade? |
Fonte: elaborado pelo autor com base em Ries (2019), Ellis e Brown (2018) e Kohavi, Tang e Xu (2020).Nota: "sobe sozinha" indica que a métrica cresce com o tempo ou com o gasto em mídia mesmo sem melhora do conteúdo; a classificação depende do objetivo — inscritos são vaidade para quem quer matrículas e acionáveis para quem vende audiência.
Hipótese 06
O teste A/B: o experimento controlado chega à comunicação
O teste A/B é a versão digital do experimento controlado que a medicina usa há décadas: as pessoas são divididas ao acaso entre um grupo de controle (A, a versão atual) e um ou mais grupos de tratamento (B, C…, as versões novas), expostas ao mesmo tempo, e a métrica combinada é comparada entre os grupos (Kohavi; Tang; Xu, 2020). O sorteio é o coração do método. Ele garante que os grupos sejam parecidos em tudo — horário, dispositivo, humor, notícia do dia —, de modo que a única explicação sistemática para uma diferença seja a mudança testada. Por isso o teste A/B supera a comparação "antes e depois", tão comum em relatórios de comunicação: o post de terça pode ter ido melhor do que o de sexta por causa do formato… ou porque na terça choveu.
A cultura em torno desse método foi construída em boa parte por Ron Kohavi e colegas, primeiro na Amazon, depois na Microsoft. Um episódio contado por eles resume o embate entre dados e hierarquia: na Amazon, Greg Linden criou um protótipo de recomendações baseadas no conteúdo do carrinho de compras; um executivo sênior de marketing se opôs, temendo distrair o cliente na hora de fechar a compra. Linden rodou um experimento controlado, e a funcionalidade venceu por margem tão larga que não tê-la no ar estava custando dinheiro (Kohavi; Henne; Sommerfield, 2007). O título do artigo em que a história aparece é um manifesto: "ouça seus clientes, não o HiPPO" — a opinião da pessoa mais bem paga (highest paid person's opinion).
O HiPPO não é vilão: em geral tem experiência e boas intenções. O problema é quando a opinião dele encerra uma discussão que um experimento de duas semanas resolveria. Ilustração gerada por IA.
Só um terço acerta
O dado mais humilhante — e mais útil — dessa literatura veio de três anos de experimentos na Microsoft. Avaliando experimentos bem projetados e bem executados, criados para melhorar uma métrica-chave, apenas cerca de um terço conseguiu melhorá-la (Kohavi; Crook; Longbotham, 2009). Não eram ideias de estagiário: eram funcionalidades aprovadas por gerentes de produto experientes, com estudos e reuniões atrás. Dois terços delas não faziam diferença ou pioravam a métrica. A equipe distribuiu milhares de hipopótamos de borracha antiestresse com o endereço da plataforma de experimentos para espalhar a mensagem pela empresa.
Anos depois, com Bing, LinkedIn e outras empresas rodando milhares de experimentos por ano, Kohavi e colegas condensaram o que aprenderam em sete regras práticas (Kohavi et al., 2014). Traduzidas para a comunicação:
- Mudanças pequenas podem ter impacto grande. No Bing, alterar a cor de partes do texto dos resultados — uma mudança que o designer considerou irrelevante — aumentou a receita em mais de 10 milhões de dólares por ano, resultado replicado com 32 milhões de usuários. O texto de um botão, a primeira linha de um e-mail e a imagem de capa são candidatos naturais.
- Mudanças raramente têm impacto grande e positivo. No Bing, talvez um experimento em quinhentos atinja retorno alto e replicável; a maioria fracassa, e os que dão certo melhoram as métricas em 0,1% a 1%. Desconfie de relatos de "+300%".
- Seus resultados vão variar. O que funcionou para a campanha de Obama, para a Netflix ou para o concorrente é hipótese para você, não conclusão.
- Velocidade importa muito. Páginas, vídeos e aplicativos lentos perdem público de forma mensurável; antes de testar o texto, teste o tempo de carregamento.
- Reduzir abandono é difícil; deslocar cliques é fácil. Mover a atenção de um link para outro é trivial; fazer mais gente ficar é o que vale — daí a métrica de horas assistidas da Netflix.
- Evite desenhos complexos; itere. Um teste com uma variável clara ensina mais do que dez variáveis cruzadas cujo resultado ninguém consegue interpretar.
- Tenha usuários suficientes. Sem volume, o teste não distingue efeito de ruído — o assunto da próxima seção.
Tabela 1 — Resultados do teste da página de entrada da campanha presidencial de Barack Obama, Estados Unidos, dezembro de 2007
| Indicador | Valor |
|---|---|
| Combinações testadas (4 botões × 6 mídias) | 24 |
| Visitantes incluídos no experimento | 310 382 |
| Taxa de cadastro da página original (%) | 8,26 |
| Taxa de cadastro da combinação vencedora (%) | 11,60 |
| Melhora relativa (%) | 40,6 |
| Cadastros pela página ao longo da campanha (milhões, aprox.) | 10 |
| Cadastros adicionais atribuídos ao teste (milhões, estimativa da equipe) | 2,88 |
| Doação média por e-mail cadastrado na página (US$) | 21 |
| Doações adicionais estimadas (US$ milhões) | ≈60 |
Fonte: elaborado pelo autor com base em Siroker (2010).Nota: as três últimas linhas são extrapolações da própria equipe da campanha, não medições do experimento; o produto 2,88 milhões × US$ 21 foi conferido pelo autor (≈ US$ 60,5 milhões).
Hipótese 07
Quantas pessoas eu preciso?
Eis a pergunta que separa quem faz teste A/B de quem faz teatro de teste A/B. Imagine a Faculdade Ipê testando duas aberturas de mensagem com 30 alunos em cada grupo: 4 cliques de um lado, 6 do outro. "B venceu por 50%", diria o relatório. Mas dois alunos a mais, em 30, é o tipo de diferença que aparece sozinha, sem nenhuma causa, quando se joga uma moeda 60 vezes. O teste não tinha poder estatístico para ver o que procurava.
Kohavi, Tang e Xu oferecem uma regra de bolso para a amostra necessária por variante: n ≈ 16σ²/δ², em que σ² é a variância da métrica e δ é a menor diferença absoluta que se quer detectar, para os níveis usuais de 5% de significância e 80% de poder (Kohavi; Tang; Xu, 2020). Para uma taxa de conversão p, a variância é p(1 − p). Com a taxa de 8% da Faculdade Ipê e a intenção de detectar uma melhora relativa de 20% (isto é, de 8% para 9,6%, δ = 0,016), a conta dá cerca de 4 600 alunos por variante. A faculdade inteira não tem isso. A Tabela 2 mostra o padrão: quanto menor a taxa de base e quanto mais sutil o efeito, mais gente é preciso.
Tabela 2 — Amostra aproximada necessária por variante em um teste A/B, segundo a taxa de conversão de base e a melhora relativa mínima a detectar
| Taxa de conversão de base (%) | Detectar +10% | Detectar +20% | Detectar +50% |
|---|---|---|---|
| 2 | 78 400 | 19 600 | 3 136 |
| 5 | 30 400 | 7 600 | 1 216 |
| 8 | 18 400 | 4 600 | 736 |
| 10 | 14 400 | 3 600 | 576 |
| 20 | 6 400 | 1 600 | 256 |
Fonte: elaborado pelo autor pela regra n ≈ 16p(1 − p)/δ² de Kohavi, Tang e Xu (2020), com δ = p × melhora relativa.Nota: valores por variante, para significância de 5% (bilateral) e poder de 80%; a regra é uma aproximação, e ferramentas de cálculo exato podem divergir em alguns pontos percentuais.
Isso tem três consequências práticas para quem comunica com públicos pequenos — uma turma, um bairro, os servidores de um órgão. Primeira: audiências pequenas só conseguem detectar efeitos grandes; para diferenças sutis, o teste A/B não é a ferramenta certa, e as cinco entrevistas do design thinking rendem mais. Segunda: a amostra é de pessoas expostas, não de dias — uma newsletter para 400 assinantes precisa de muitos envios para acumular volume, e o público que recebe a versão A hoje não pode receber a B na semana seguinte. Terceira: como a regra depende da variância, a métrica escolhida muda a conta — proporções (clicou ou não) são mais econômicas do que médias com cauda longa (tempo assistido).
Com pouca gente, o acaso desenha diferenças que parecem vitórias. Com gente suficiente, o acaso se dilui e a diferença que sobra é a que a mudança causou. Ilustração gerada por IA.
O laboratório abaixo deixa você sentir isso. Escolha a taxa de conversão atual, quanto a versão B é melhor de verdade (algo que, na vida real, ninguém sabe — é o que se quer descobrir) e quantas pessoas cada variante recebe. "Rodar 1 teste" sorteia uma campanha inteira e aplica o teste estatístico usual; "Rodar 100 testes" repete cem vezes e conta quantas o teste acertou. Experimente com B igual a A (melhora real de 0%) e veja com que frequência o teste declara um vencedor que não existe.
Laboratório · sinal ou ruído?
Para detectar uma melhora de 20% sobre 8% (de 8% para 9,6%), a regra de bolso pede cerca de 4 600 pessoas por variante. Você está usando 500.
Ajuste os controles e rode um teste. O veredito usa o teste de duas proporções com nível de significância de 5%.
Três padrões costumam aparecer em poucos minutos de uso. Com melhora real de 0%, o teste declara vitória em cerca de 5 de cada 100 rodadas — é o preço do nível de significância, e é por isso que não se pode rodar dez testes e comemorar o único que "deu". Com melhora real de 20% e 500 pessoas por variante, o teste deixa passar a maioria dos efeitos verdadeiros: B é melhor e ninguém descobre. E, com poucas pessoas, a diferença observada oscila tanto que ora B parece 60% melhor, ora pior do que A — o que Kohavi, Tang e Xu chamam, citando Twyman, de a lei dos números interessantes: qualquer número que pareça interessante ou diferente provavelmente está errado (Kohavi; Tang; Xu, 2020).
Três armadilhas além da amostra
Espiar o resultado. Olhar o painel todo dia e parar o teste no primeiro momento em que a diferença fica "significativa" infla muito a taxa de falsos positivos: cedo ou tarde, o acaso cruza a linha. Defina a duração antes e espere.
Efeito novidade. Um formato novo atrai cliques na primeira semana só por ser novo; um layout mudado irrita quem estava acostumado. Testes curtos capturam a reação à mudança, não o valor da mudança. Rode ao menos uma ou duas semanas completas, cobrindo os ciclos do seu público.
Fatiar depois. Se o resultado geral decepciona, é tentador procurar o segmento em que B venceu — "entre os alunos do noturno funcionou!". Com segmentos suficientes, algum sempre vence por acaso. Segmentos são hipóteses para o próximo teste, não conclusões deste (Kohavi; Tang; Xu, 2020).
Hipótese 08
Ritmo: sprints, marketing ágil e a ficha do experimento
Se a unidade de progresso é o aprendizado, a variável que importa é o ritmo com que a equipe aprende. Três tradições convergiram para dar cadência a isso. A primeira é o design sprint, criado por Jake Knapp na Google Ventures: cinco dias para ir de um problema a um protótipo testado. Segunda-feira, mapear o problema e escolher um alvo; terça, esboçar soluções; quarta, decidir e roteirizar; quinta, construir um protótipo realista o bastante para enganar por quinze minutos; sexta, testá-lo com cinco clientes em entrevistas individuais (Knapp; Zeratsky; Kowitz, 2017). O sprint é, na prática, uma ponte entre o design thinking e a startup enxuta: comprime os cinco modos numa semana e termina com evidência qualitativa antes de qualquer MVP.
A segunda tradição vem do marketing. Kotler, Kartajaya e Setiawan dedicam um capítulo do Marketing 5.0 ao marketing ágil: equipes pequenas e multidisciplinares, ciclos curtos, análise em tempo real, testes rápidos de mensagens e ofertas em vez de campanhas anuais planejadas em detalhe e lançadas de uma vez (Kotler; Kartajaya; Setiawan, 2021). A terceira é o growth hacking de Ellis e Brown: um processo semanal de analisar dados, gerar ideias, priorizá-las e testar, com uma reunião fixa de crescimento e uma pontuação simples para escolher o próximo teste — impacto esperado, confiança na hipótese e facilidade de execução (Ellis; Brown, 2018). O que os três têm em comum é a recusa do grande lançamento: comunicação como fluxo de experimentos, não como sequência de eventos.
O instrumento que torna esse ritmo possível é humilde: uma ficha por experimento, escrita antes e preenchida depois. Ela obriga a equipe a dizer o que espera, como vai medir e o que fará com cada resultado — e transforma o histórico de campanhas num acervo de aprendizado, em vez de numa pasta de relatórios. O Quadro 4 apresenta a ficha com o piloto da Faculdade Ipê preenchido.
Quadro 4 — Ficha de experimento em comunicação digital, com o exemplo do piloto de avisos da Faculdade Ipê
| Campo | O que escrever | Exemplo (Faculdade Ipê) |
|---|---|---|
| Hipótese | "Acreditamos que [mudança] para [público] resultará em [efeito]." | Acreditamos que avisos por mensagem, três vezes por semana, para os alunos do curso X, aumentarão a proporção de alunos que concluem a ação pedida |
| Métrica (OEC) | Uma métrica acionável, com a forma de cálculo | Alunos que concluíram a ação ÷ alunos que receberam o aviso, por aviso e no acumulado |
| Linha de base | O valor atual, pelo canal atual | E-mail institucional: 6% de conclusão nas últimas oito ações pedidas |
| Variantes | O que muda e o que fica igual | Piloto de canal (não é A/B): mesmo conteúdo do e-mail, novo canal; abertura "Oi, [nome]" em metade da lista como subteste exploratório |
| Público e amostra | Quem entra, quantos, como são escolhidos | 60 alunos de uma turma; no subteste, 30 e 30, sorteados |
| Duração | Definida antes; não se para no meio | Quatro semanas, doze avisos |
| Critério de decisão | O que cada resultado implica, decidido antes | Conclusão ≥ 15%: ampliar para o campus; entre 8% e 15%: iterar formato; < 8%: encerrar e voltar às entrevistas |
| Resultado | Os números, sem adjetivos | (preenchido ao fim) 23% no acumulado; subteste com 30 e 30 sem poder para concluir |
| Aprendizado e próxima ação | O que passou a ser verdade; qual é o próximo experimento | O canal muda o comportamento; o app não é a pergunta certa agora. Próximo: horário de envio, com toda a faculdade |
Fonte: elaborado pelo autor com base em Ries (2019), Ellis e Brown (2018) e Bland e Osterwalder (2020).Nota: exemplo fictício. Repare que o piloto de canal não é um teste A/B — não há sorteio entre e-mail e mensagem — e por isso seu resultado é evidência de MVP, não de experimento controlado; o subteste A/B interno foi mantido de propósito como exemplo de amostra insuficiente.
Aplicação prática
Seis conferências antes de chamar de experimento
Na sala de aula, esta sequência rende um projeto de semestre: cada grupo escolhe um canal real — de uma associação, de um pequeno negócio, de uma iniciativa da própria instituição —, entrevista o público (design thinking), monta um MVP de comunicação, roda-o por três semanas com uma ficha de experimento e apresenta o que aprendeu, inclusive o que deu errado. A avaliação recai sobre a qualidade da hipótese, da métrica e do aprendizado, não sobre o tamanho do resultado. Antes de chamar qualquer campanha de experimento, confira:
O quadro de três colunas é o produto do semestre. Um grupo que aprende que a hipótese estava errada entregou mais do que um grupo que fez um post bonito. Ilustração gerada por IA.
0 de 6 — comece escrevendo a hipótese.
Aprendizado validado
De volta a dezembro de 2007
Releia o caso da abertura com o vocabulário deste texto. A equipe de Obama tinha uma hipótese forte — o vídeo emociona, logo converte — sustentada por gente experiente e por um instinto que qualquer comunicador reconhece. Estava errada. Não descobriu isso por humildade, e sim porque tinha montado uma máquina de errar barato: uma página em 24 versões, um sorteio, uma métrica combinada antes e 310 mil pessoas. O erro custou duas semanas; o acerto rendeu, pelas contas deles, 60 milhões de dólares.
Esse é o fio que une as três abordagens. O design thinking ensina a ouvir antes de construir, e ele é a razão pela qual a hipótese da Faculdade Ipê não foi "façam um aplicativo". A experimentação ensina a duvidar depois de construir, porque um terço de acerto é o que os melhores conseguem. E o MVP é a menor coisa que se pode colocar entre as duas — pequena o bastante para ser testada em semanas, inteira o bastante para produzir comportamento real. Comunicação digital, vista assim, deixa de ser a arte de acertar de primeira e passa a ser a disciplina de errar rápido, em pequeno e com método.
Qual é a certeza mais cara da sua equipe de comunicação hoje — e qual seria o menor experimento capaz de derrubá-la em duas semanas?
Leia também
Para continuar no Brasil Acadêmico:
- Design thinking: origens e como usar — o post anterior, com os cinco modos, o roteiro de oficina e o caso de dona Neusa.
- Afinal, o que é comunicação digital? — o ponto de partida da série.
- Redes sociais: estrutura, algoritmos e economia da atenção — por que as plataformas mostram métricas de vaidade em letras grandes.
- Tecnologias emergentes na comunicação — IA, mídias vestíveis, jogos e conteúdo imersivo como novos canais a experimentar.
- Afinal, o que é inovação? e Dinâmica tecnológica e inovação — a curva S, a difusão e o perfil em T por trás de cada pivô.
- Modelo ágil Lean e Metodologias ágeis: Scrum e Kanban — as raízes da produção enxuta e dos sprints.
- Privacidade hackeada: o escândalo da Cambridge Analytica — o que acontece quando experimentar com pessoas perde a honestidade.
- Pesquisa aplicada: método científico, fontes e normas — hipótese, controle e evidência fora do marketing.
Nota do autor: a Faculdade Ipê, sua coordenação de comunicação e todos os números do piloto de avisos são fictícios, compostos a partir de situações recorrentes em instituições de ensino; qualquer semelhança com uma instituição real é coincidência. Os dados do teste da campanha de 2008 vêm do relato de Dan Siroker (2010), que dirigiu a análise de dados da campanha e depois fundou a Optimizely; as taxas de cadastro e o número de visitantes são medições do experimento, enquanto os 2,88 milhões de e-mails e os 60 milhões de dólares são extrapolações da própria equipe, reproduzidas aqui como tais e não auditadas de forma independente. Os textos dos botões testados foram traduzidos livremente. As citações de Ries (2009), SyncDev ([2026]), Siroker (2010) e Kohavi e colegas foram traduzidas pelo autor; a definição de MVP de Ries no livro é paráfrase da edição brasileira. A atribuição do termo "produto mínimo viável" a Frank Robinson, em 2001, é corrente na literatura, mas a página da SyncDev consultada traz apenas a definição, não a data; por isso o texto diz que o termo é anterior a Ries sem fixar o ano. Os casos Zappos e Dropbox são relatados conforme Ries (2019), que os narra a partir de conversas com os fundadores; os números da Netflix são os divulgados pela própria empresa em 2016. A Tabela 2 e o laboratório usam a regra de bolso 16σ²/δ² com σ² = p(1 − p), para significância bilateral de 5% e poder de 80%, conforme Kohavi, Tang e Xu (2020); o laboratório aplica, a cada rodada, o teste de duas proporções com variância agrupada (teste z bilateral, α = 0,05) a conversões sorteadas por computador, e os resultados variam a cada clique — o que é, justamente, a lição. Os artigos de Kohavi e colegas de 2007, 2009 e 2014 são citados pelas versões de acesso aberto mantidas pelos autores; o de 2007 e o de 2014 foram publicados nos anais da conferência KDD da ACM. A página da SyncDev não traz data; o ano indicado é o do acesso. As ilustrações foram geradas por IA com o Gemini (Nano Banana), em estilo de infográfico de revista, e conferidas visualmente; nenhuma retrata pessoa real, e a campanha ilustrada na segunda imagem usa silhuetas estilizadas.
Glossário
Termos técnicos em ordem alfabética. Os termos com sublinhado pontilhado no texto trazem até aqui; o botão ao lado do verbete leva de volta.
- Aprendizado validado
- Na startup enxuta, a unidade de progresso: a demonstração empírica, por meio de dados de clientes reais, de que a equipe descobriu algo verdadeiro sobre as pessoas a quem serve. Hipótese 03
- Chamada para ação (call to action, CTA)
- O pedido explícito que uma peça de comunicação faz ao público — inscrever-se, clicar, responder, comparecer. É o que transforma alcance em métrica acionável. Hipótese 05
- Concierge (MVP)
- Formato de MVP em que a equipe presta o serviço manualmente, para poucas pessoas, antes de automatizá-lo. Produz aprendizado qualitativo denso e mede retenção. Hipótese 04
- Construir-medir-aprender
- Ciclo central da startup enxuta: ideias viram produto, o produto em uso gera dados, os dados confirmam ou derrubam a hipótese e alimentam a próxima ideia. A meta é minimizar o tempo de uma volta completa. Hipótese 03
- Design sprint
- Processo de cinco dias criado na Google Ventures para ir de um problema a um protótipo testado com cinco clientes: mapear, esboçar, decidir, prototipar, testar. Hipótese 08
- Efeito novidade
- Reação temporária a uma mudança — curiosidade ou irritação — que infla ou deprime as métricas nos primeiros dias e não reflete o valor duradouro da mudança. Hipótese 07
- Espiar (peeking)
- Acompanhar o resultado de um teste enquanto ele roda e encerrá-lo assim que a diferença parece significativa. Aumenta muito a chance de declarar vencedor um efeito que não existe. Hipótese 07
- Growth hacking
- Abordagem de crescimento baseada em experimentação contínua e rápida ao longo de todo o funil (aquisição, ativação, retenção, receita, indicação), com equipes multidisciplinares e ritmo semanal de testes. Hipótese 08
- HiPPO (highest paid person's opinion)
- "Opinião da pessoa mais bem paga": sigla irônica para a decisão tomada por hierarquia em vez de por dados. Popularizada pela equipe de experimentação da Microsoft. Hipóteses 01 e 06
- Lei de Twyman
- Máxima atribuída ao pesquisador de mídia Tony Twyman e citada por Kohavi, Tang e Xu: qualquer número que pareça interessante ou diferente provavelmente está errado — e merece ser conferido antes de comemorado. Hipótese 07
- Mágico de Oz (MVP)
- Formato em que o serviço parece automático para o usuário, mas é operado por pessoas nos bastidores — como o "ditado por voz" da IBM digitado por alguém na sala ao lado. Hipótese 04
- Métrica de vaidade
- Número que cresce com o tempo ou com o gasto em mídia e faz a equipe se sentir bem, sem informar nenhuma decisão: seguidores, visualizações acumuladas, total de cadastros. Hipótese 05
- Métrica estrela-guia (North Star Metric)
- O único número que melhor captura o valor entregue ao público e ao qual todos os experimentos da equipe se reportam. Hipótese 05
- OEC (overall evaluation criterion)
- "Critério geral de avaliação": a métrica quantitativa — única ou combinada por pesos — que define o objetivo de um experimento, fixada antes de ele começar. Hipótese 05
- Página de fumaça (smoke test, landing page de teste)
- Página que descreve um produto ou serviço ainda inexistente e pede um cadastro, para medir interesse antes de construir. Hipótese 04
- Pivô
- Mudança estruturada de estratégia — de público, canal, formato ou proposta de valor — decidida quando os dados derrubam uma hipótese, preservando o que já foi aprendido. Hipótese 03
- Poder estatístico
- Probabilidade de um teste detectar um efeito que realmente existe. Com poder baixo (amostra pequena), efeitos verdadeiros passam despercebidos. O valor usual de referência é 80%. Hipótese 07
- Porta falsa (fake door)
- Botão, link ou item de menu para um recurso que ainda não existe, levando a um aviso de "em breve". Mede demanda pela proporção de pessoas que clicam. Hipótese 04
- Pretótipo (pretotype)
- Termo de Alberto Savoia para a simulação de um produto antes de qualquer produto existir — um bloco de madeira no bolso, uma pessoa digitando às escondidas —, feita para verificar se vale a pena construí-lo. Hipótese 04
- Produto mínimo viável (MVP, minimum viable product)
- A versão de um produto que permite dar uma volta completa no ciclo construir-medir-aprender com o mínimo de esforço; um experimento cuja finalidade é o aprendizado, não uma versão reduzida para venda. Hipótese 04
- Significância estatística (valor-p)
- Medida de quão improvável seria observar uma diferença igual ou maior que a encontrada se, na verdade, não houvesse diferença alguma. O limiar convencional é 5%: abaixo dele, a diferença é chamada "significativa". Não mede o tamanho nem a importância do efeito. Hipótese 07
- Taxa de conversão
- Proporção de pessoas expostas a uma mensagem ou página que realizam a ação pedida (cadastro, clique, compra). É a métrica mais comum em testes de comunicação. Hipótese 05
- Teste A/B (experimento controlado on-line)
- Comparação em que as pessoas são sorteadas entre a versão atual (A, controle) e uma ou mais versões novas (B, C…), expostas ao mesmo tempo, com a métrica de decisão fixada antes. O sorteio elimina explicações alternativas para a diferença. Hipótese 06
Referências
- ASSIS, Ingrid Pereira de; EMERIM, Cárlida. Jornalismo e design thinking: uma aproximação em busca de inovações no conteúdo. Animus: Revista Interamericana de Comunicação Midiática, Santa Maria, v. 18, n. 37, 2019. DOI: 10.5902/2175497737924. Disponível em: https://periodicos.ufsm.br/animus/article/view/37924. Acesso em: 26 set. 2026.
- BLAND, David J.; OSTERWALDER, Alexander. Testing business ideas: um guia de campo de experimentação rápida. Rio de Janeiro: Alta Books, 2020.
- BLANK, Steve; DORF, Bob. Startup: manual do empreendedor: o guia passo a passo para construir uma grande empresa. Rio de Janeiro: Alta Books, 2014.
- BROWN, Tim. Design thinking: uma metodologia poderosa para decretar o fim das velhas ideias. Rio de Janeiro: Alta Books, 2020.
- ELLIS, Sean; BROWN, Morgan. Hacking growth: a estratégia de marketing inovadora das empresas de crescimento mais rápido. Rio de Janeiro: Alta Books, 2018.
- FERRAREZI, Elisabete; LEMOS, Joselene; BRANDALISE, Isabella. Experimentação e novas possibilidades em governo: aprendizados de um laboratório de inovação. Brasília, DF: Enap, 2018. Disponível em: https://repositorio.enap.gov.br/handle/1/3691. Acesso em: 26 set. 2026.
- KNAPP, Jake; ZERATSKY, John; KOWITZ, Braden. Sprint: o método usado no Google para testar e aplicar novas ideias em apenas cinco dias. Rio de Janeiro: Intrínseca, 2017.
- KOHAVI, Ron; CROOK, Thomas; LONGBOTHAM, Roger. Online experimentation at Microsoft. In: WORKSHOP ON DATA MINING CASE STUDIES AND PRACTICE PRIZE, 3., 2009, Paris. Proceedings [...]. [S. l.: s. n.], 2009. Disponível em: https://exp-platform.com/Documents/ExP_DMCaseStudies.pdf. Acesso em: 26 set. 2026.
- KOHAVI, Ron; DENG, Alex; LONGBOTHAM, Roger; XU, Ya. Seven rules of thumb for web site experimenters. In: ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, 20., 2014, New York. Proceedings [...]. New York: ACM, 2014. p. 1857-1866. DOI: 10.1145/2623330.2623341. Disponível em: https://exp-platform.com/Documents/2014%20experimentersRulesOfThumb.pdf. Acesso em: 26 set. 2026.
- KOHAVI, Ron; HENNE, Randal M.; SOMMERFIELD, Dan. Practical guide to controlled experiments on the web: listen to your customers not to the HiPPO. In: ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, 13., 2007, San Jose. Proceedings [...]. New York: ACM, 2007. p. 959-967. DOI: 10.1145/1281192.1281295. Disponível em: https://exp-platform.com/Documents/GuideControlledExperiments.pdf. Acesso em: 26 set. 2026.
- KOHAVI, Ron; TANG, Diane; XU, Ya. Trustworthy online controlled experiments: a practical guide to A/B testing. Cambridge: Cambridge University Press, 2020.
- KOTLER, Philip; KARTAJAYA, Hermawan; SETIAWAN, Iwan. Marketing 5.0: tecnologia para a humanidade. Rio de Janeiro: Sextante, 2021.
- KRISHNAN, Gopal. Selecting the best artwork for videos through A/B testing. Netflix TechBlog, [s. l.], 3 maio 2016. Disponível em: https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6. Acesso em: 26 set. 2026.
- NELSON, Nick. The power of a picture. About Netflix, Los Gatos, 3 maio 2016. Disponível em: https://about.netflix.com/en/news/the-power-of-a-picture. Acesso em: 26 set. 2026.
- RIES, Eric. Minimum viable product: a guide. Startup Lessons Learned, [s. l.], 3 ago. 2009. Disponível em: http://www.startuplessonslearned.com/2009/08/minimum-viable-product-guide.html. Acesso em: 26 set. 2026.
- RIES, Eric. A startup enxuta: como usar a inovação contínua para criar negócios radicalmente bem-sucedidos. Rio de Janeiro: Sextante, 2019.
- SAVOIA, Alberto. Pretotype it: make sure you are building the right it before you build it right. 2. ed. [S. l.: s. n.], 2011. Disponível em: https://www.pretotyping.org/uploads/1/4/0/9/14099067/pretotype_it_2nd_pretotype_edition-2.pdf. Acesso em: 26 set. 2026.
- SIROKER, Dan. How Obama raised $60 million by running a simple experiment. Optimizely Blog, [s. l.], 29 nov. 2010. Disponível em: https://www.optimizely.com/insights/blog/how-obama-raised-60-million-by-running-a-simple-experiment/. Acesso em: 26 set. 2026.
- SYNCDEV. Minimum viable product. [S. l.]: SyncDev, [2026]. Disponível em: https://www.syncdev.com/minimum-viable-product/. Acesso em: 26 set. 2026.
Comentários