Como dados em tempo real no ponto de venda estão transformando experiência e estratégia
Janeiro de 2018. Seattle. Uma fila discreta se forma na esquina da 7ª Avenida com Blanchard Street. Não é o lançamento de um produto. É o primeiro dia de funcionamento público da Amazon Go, uma loja de conveniência de 167 metros quadrados que promete algo radical: comprar sem passar pelo caixa.
O conceito é simples. Abrir o aplicativo. Escanear o QR code na entrada. Pegar o que quiser. Sair. A cobrança acontece automaticamente. Nada de filas, cartões, interações forçadas. Apenas entrar, pegar, sair.
Mas a simplicidade esconde complexidade brutal. Acima das prateleiras, uma rede de câmeras rastreia cada movimento. Sensores de peso nas prateleiras registram o que sai e o que volta. Um modelo de inteligência artificial processa tudo em tempo real, diferenciando quem pegou o quê, quando devolveu, quantas unidades levou. A cada segundo, o sistema atualiza o carrinho virtual de cada cliente.
Amazon chamou a tecnologia de Just Walk Out. Em julho de 2024, apresentou a segunda geração: um modelo de fundação multi-modal baseado em arquitetura transformer, a mesma que sustenta grande parte da IA generativa atual. A diferença? Em vez de gerar texto, gera recibos de compra. Com precisão acima de 99%.
Hoje, a tecnologia opera em mais de 180 locais ao redor do mundo: estádios, aeroportos, campus universitários, hospitais, lojas de conveniência. E representa algo maior que automação de checkout. Representa a convergência entre experiência física e dados comportamentais em tempo real. Representa a nova fronteira do que chamamos de retail media.
A história do retail media começa analógica. Décadas antes de pixels e algoritmos, fabricantes pagavam varejistas por espaço privilegiado nas prateleiras. Pontas de gôndola. Displays promocionais. Ilhas temáticas. O princípio era direto: visibilidade gera vendas.
Depois vieram os programas de fidelidade. Cartões que rastreavam histórico de compra, permitindo segmentações básicas. Cupons personalizados. Ofertas por categoria. Nada em tempo real, mas já era dado estruturado.
A digitalização trouxe escala. Plataformas como Amazon, Alibaba, Mercado Livre transformaram o varejo em mídia programática. Cada clique virou sinal. Cada busca, intenção mensurável. Cada compra, conversão rastreável.
Surgiu o conceito de retail media network: varejistas monetizando seus dados de primeira mão, vendendo espaços publicitários dentro e fora de suas plataformas. Segundo a WARC, o investimento global em retail media atingiu $153,3 bilhões em 2024, crescimento de 13,7% em relação ao ano anterior. A Grand View Research projeta que o mercado chegará a $56,97 bilhões até 2030, com taxa de crescimento anual composta de 10,5%.
O diferencial? Dado de conversão real. Enquanto redes sociais vendem atenção e intenção, retail media vende transação. O anunciante sabe exatamente o que funcionou. O ROI é direto.
Agora, o digital volta ao físico. Só que desta vez trazendo consigo sensores, visão computacional, IA generativa, processamento de borda. O ponto de venda deixa de ser buraco negro de dados e se torna fonte rica de sinais comportamentais.
É aqui que entra o creative data: a capacidade de usar dados não apenas para medir, mas para criar experiências que geram mais dados, que refinam a experiência, num ciclo virtuoso. Não é automação fria. É inteligência aplicada ao momento de decisão, onde a maior parte das escolhas de compra ainda acontece.
Para entender a nova fronteira, precisamos mapear seus componentes fundamentais. Não se trata de tecnologia isolada, mas de sistemas integrados que criam ambientes inteligentes de compra.
A fundação é infraestrutura de dados. No caso do Just Walk Out, isso significa:
O sistema não funciona linearmente. A geração anterior processava eventos em sequência: detectar interação → rastrear item → identificar produto → contar unidades. A nova arquitetura processa tudo simultaneamente, usando um modelo multi-modal que analisa câmeras, sensores, planta digital e catálogo ao mesmo tempo.
A grande inovação técnica está no uso de foundation models especializados para ambientes físicos. Assim como LLMs geram texto a partir de padrões linguísticos, o modelo do Just Walk Out gera recibos a partir de padrões comportamentais.
A arquitetura é baseada em transformers, estrutura que permite atenção paralela a múltiplas fontes de dados. Os dados multi-modais (vídeo, peso, localização, imagem) são convertidos em tokens, unidades básicas que o modelo interpreta. Com esses tokens, o sistema:
O treinamento envolve data flywheel: cenários complexos alimentam o modelo, que melhora, identifica novos casos difíceis, que voltam ao treinamento. O ciclo é contínuo. A Amazon relata que focam em casos desafiadores (pequena fração do total, mas os mais valiosos para aprendizado).
Dados e modelos só importam se gerarem valor tangível. No retail media avançado, isso se manifesta em duas frentes:
Experiência do cliente:
Estratégia do varejista/marca:
O sistema não é estático. Cada sessão de compra gera dados que refinam o modelo. A Amazon treina sua IA com tarefas auxiliares: detecção, rastreamento, segmentação de imagem, grounding (ligar conceitos abstratos a objetos reais), reconhecimento de atividade. Tudo aprendido dentro de um único modelo.
O resultado: generalização. O sistema se adapta a novos formatos de loja, novos produtos, novos comportamentos de clientes sem reprogramação manual. Isso é crucial para escala.
Contexto:
180+ localizações globais (estádios, aeroportos, universidades, hospitais, lojas de conveniência). A tecnologia foi licenciada para varejistas terceiros, tornando-se produto AWS.
Funcionamento:
Cliente abre app → escaneia QR code → entra → pega itens → sai. Sistema detecta produtos via visão computacional e sensores, processa com modelo multi-modal, gera recibo automático.
Dado relevante:
Em julho de 2024, a Amazon lançou upgrade baseado em generative AI foundation model. A mudança permitiu processar todas as fontes de dados simultaneamente (antes era sequencial), reduzindo tempo de processamento e aumentando precisão. A empresa relata acurácia superior a 99% mesmo em cenários complexos (múltiplos clientes, itens similares, devoluções).
Implicação para retail media:
Cada interação vira sinal. Tempo de permanência em seção, produtos considerados mas não levados, ordem de escolha. Esse nível de granularidade permite marcas entenderem quase-conversões, varejistas otimizarem layout baseado em fluxo real, e mídia contextual ativada por comportamento em tempo real.
Contexto:
Serviço de entrega dentro de casa, incluindo direto na geladeira. Parte do programa Walmart+. Requer smart lock ou garage control compatível.
Funcionamento:
Cliente faz pedido → entregador Walmart (com câmera vest) acessa casa via código temporário → coloca produtos em locais especificados (despensa, geladeira) → cliente recebe notificação com vídeo da entrega.
Inovação em dados:
Em janeiro de 2025, Walmart anunciou Replenishment, powered by AI: algoritmo preditivo que analisa histórico de compras, sazonalidade, padrões de consumo e automaticamente adiciona itens ao carrinho do InHome. A ideia: antecipar necessidade antes que o cliente perceba.
Implicação para retail media:
Dado de consumo real em casa (não só compra, mas uso). Se o sistema sabe que você consome leite a cada 5 dias, pode sugerir marcas complementares no momento certo, oferecer upgrade baseado em perfil, e vender espaço publicitário para marcas disputando reposição automática.
Contexto:
Lançado em 2022 nos EUA, expandindo globalmente. Tecnologia desenvolvida pela Geomagical Labs (adquirida pela IKEA). Disponível via app iOS/Android e desktop.
Funcionamento:
Cliente escaneia ambiente com câmera do celular → IA gera modelo 3D do espaço → função "erase" remove móveis existentes virtualmente → cliente testa produtos IKEA no ambiente renderizado → adiciona ao carrinho o que gostar.
Dado relevante:
Segundo McKinsey, 71% dos consumidores esperam opções de personalização ao fazer compras. O Kreativ não só permite personalização, mas gera dados sobre preferências estéticas, ambientes reais dos clientes, e jornada de decisão.
Implicação para retail media:
Cada simulação é intenção explícita. Marcas podem patrocinar "looks" curados dentro do app, anunciar produtos complementares baseados no que foi testado, e oferecer descontos dinâmicos se o cliente hesita.
Nem toda iniciativa digital no varejo é retail media avançado. Para separar hype de substância, cinco critérios:
O que buscar: Dados proprietários, capturados diretamente do comportamento do cliente, processados com latência mínima (segundos, não dias).
Red flag: Dashboards que mostram "insights" de ontem.
O que buscar: Integração de fontes diversas: vídeo, sensores, localização, transação, catálogo. Quanto mais sinais, mais contexto.
Red flag: Soluções que dependem de um único tipo de dado.
O que buscar: Sistemas que aprendem com cada interação, refinam modelos, melhoram precisão sem intervenção manual constante.
Red flag: Modelos estáticos que requerem retreinamento manual trimestral.
O que buscar: Valor tangível para o cliente, não só para o varejista/marca. Conveniência, personalização, descoberta.
Red flag: Tecnologia que só serve para exibir mais anúncios.
O que buscar: Infraestrutura que pode crescer sem custo proporcional. Edge computing, modelos pré-treinados generalizáveis, APIs abertas.
Red flag: Soluções customizadas que requerem reengenharia para cada loja.
Retail media avançado não é ficção científica. É realidade operacional em centenas de locais. Mas ainda está no início.
Três tendências emergentes:
Edge computing permite processar dados localmente, na loja, sem enviar tudo para nuvem. Isso reduz latência, aumenta privacidade, viabiliza casos de uso em tempo real.
Assim como web aberta tem ad exchanges, o varejo físico terá marketplaces de mídia contextual. Telas digitais em lojas conectadas a plataformas DSP, comprando audiência baseada em presença física.
Modelos que não só recomendam, mas geram: layouts de loja otimizados, bundles personalizados, campanhas criativas adaptadas ao contexto local.
A diferença entre retail media tradicional e a nova fronteira está no creative antes do data. Não é apenas medir o que aconteceu. É criar experiências que geram dados melhores, que permitem experiências melhores, num ciclo virtuoso.
Amazon Just Walk Out não é só checkout eficiente. É laboratório de comportamento humano em escala. Walmart InHome não é só entrega. É mapeamento de consumo real no lar. IKEA Kreativ não é só AR. É janela para intenções estéticas de milhões de pessoas.
A oportunidade não está em replicar essas soluções (poucas empresas têm recursos da Amazon ou Walmart). Está em entender os princípios:
Retail media avançado é convergência. De físico e digital. De experiência e eficiência. De dados e criatividade. E quem dominar essa convergência não estará apenas vendendo melhor. Estará definindo como compramos.
January 2018. Seattle. A discreet line forms on the corner of 7th Avenue and Blanchard Street. This isn't a product launch. It's the first day of public operation for Amazon Go, a 1,800-square-foot convenience store promising something radical: shopping without checkout.
The concept is simple. Open the app. Scan the QR code at the entrance. Grab what you want. Leave. Charging happens automatically. No lines, no cards, no forced interactions. Just enter, grab, exit.
But simplicity hides brutal complexity. Above the shelves, a network of cameras tracks every movement. Weight sensors on shelves register what leaves and what returns. An artificial intelligence model processes everything in real time, differentiating who took what, when they returned it, how many units they took. Every second, the system updates each customer's virtual cart.
Amazon called the technology Just Walk Out. In July 2024, they introduced the second generation: a multi-modal foundation model based on transformer architecture, the same underlying much of today's generative AI. The difference? Instead of generating text, it generates shopping receipts. With accuracy above 99%.
Today, the technology operates in more than 180 locations worldwide: stadiums, airports, college campuses, hospitals, convenience stores. And it represents something bigger than checkout automation. It represents the convergence of physical experience and real-time behavioral data. It represents the new frontier of what we call retail media.
The history of retail media starts analog. Decades before pixels and algorithms, manufacturers paid retailers for privileged shelf space. End caps. Promotional displays. Thematic islands. The principle was direct: visibility generates sales.
Then came loyalty programs. Cards that tracked purchase history, enabling basic segmentation. Personalized coupons. Category offers. Nothing real-time, but it was structured data.
Digitalization brought scale. Platforms like Amazon, Alibaba, and others transformed retail into programmatic media. Every click became a signal. Every search, measurable intent. Every purchase, traceable conversion.
The concept of retail media network emerged: retailers monetizing their first-party data, selling advertising space inside and outside their platforms. According to WARC, global retail media investment reached $153.3 billion in 2024, growth of 13.7% over the previous year. Grand View Research projects the market will reach $56.97 billion by 2030, with a compound annual growth rate of 10.5%.
The differential? Real conversion data. While social networks sell attention and intent, retail media sells transaction. The advertiser knows exactly what worked. ROI is direct.
Now, digital returns to physical. Only this time bringing sensors, computer vision, generative AI, edge processing. The point of sale stops being a data black hole and becomes a rich source of behavioral signals.
This is where creative data enters: the ability to use data not just to measure, but to create experiences that generate more data, which refine the experience, in a virtuous cycle. It's not cold automation. It's intelligence applied to the decision moment, where most purchase choices still happen.
To understand the new frontier, we need to map its fundamental components. This isn't isolated technology, but integrated systems creating intelligent shopping environments.
The foundation is data infrastructure. In the case of Just Walk Out, this means:
The system doesn't work linearly. The previous generation processed events in sequence. The new architecture processes everything simultaneously, using a multi-modal model that analyzes cameras, sensors, digital floor plan, and catalog at the same time.
The major technical innovation lies in using foundation models specialized for physical environments. Just as LLMs generate text from linguistic patterns, the Just Walk Out model generates receipts from behavioral patterns.
The architecture is based on transformers, a structure that allows parallel attention to multiple data sources. Multi-modal data (video, weight, location, image) is converted into tokens, basic units the model interprets.
Training involves a data flywheel: complex scenarios feed the model, which improves, identifies new difficult cases, which return to training. The cycle is continuous.
Data and models only matter if they generate tangible value. In advanced retail media, this manifests on two fronts:
Customer experience:
Retailer/brand strategy:
The system isn't static. Each shopping session generates data that refines the model. Amazon trains its AI with auxiliary tasks, all learned within a single model.
The result: generalization. The system adapts to new store formats, new products, new customer behaviors without manual reprogramming. This is crucial for scale.
Context:
180+ global locations. The technology has been licensed to third-party retailers, becoming an AWS product.
How it works:
Customer opens app → scans QR code → enters → grabs items → exits. System generates automatic receipt.
Relevant data:
In July 2024, Amazon launched an upgrade based on generative AI foundation model. The company reports accuracy above 99% even in complex scenarios.
Implication for retail media:
Every interaction becomes a signal. This enables brands to understand near-conversions, retailers to optimize layout based on real flow, and contextual media activated by real-time behavior.
Context:
In-home delivery service, including directly into the refrigerator. Part of Walmart+ program.
Data innovation:
In January 2025, Walmart announced Replenishment, powered by AI: predictive algorithm that automatically adds items to InHome cart.
Implication for retail media:
Real consumption data at home enables brands to suggest complementary products at the right time and compete for automatic replenishment.
Context:
Launched in 2022 in the US. Technology developed by Geomagical Labs (acquired by IKEA).
How it works:
Customer scans environment → AI generates 3D model → "erase" function virtually removes existing furniture → customer tests IKEA products in rendered environment.
Implication for retail media:
Each simulation is explicit intent. Brands can sponsor curated "looks" within the app and advertise complementary products.
Not every digital retail initiative is advanced retail media. To separate hype from substance, five criteria:
Proprietary data, processed with minimal latency (seconds, not days).
Integration of diverse sources: video, sensors, location, transaction, catalog.
Systems that learn from each interaction without constant manual intervention.
Tangible value for the customer, not just for retailer/brand.
Infrastructure that can grow without proportional cost.
Advanced retail media isn't science fiction. It's operational reality in hundreds of locations. But it's still early.
Three emerging trends:
Edge computing enables local data processing, reducing latency and increasing privacy.
Physical retail will have contextual media marketplaces, buying audience based on physical presence.
Models that generate optimized store layouts, personalized bundles, creative campaigns adapted to local context.
The difference between traditional retail media and the new frontier lies in creative before data. It's not just measuring what happened. It's creating experiences that generate better data, which enable better experiences, in a virtuous cycle.
The opportunity isn't in replicating these solutions. It's in understanding the principles:
Advanced retail media is convergence. Of physical and digital. Of experience and efficiency. Of data and creativity. And those who master this convergence won't just be selling better. They'll be defining how we buy.