Mercado Livre: estratégia de dados com AWS 6t3b8

O Mercado Livre, uma das maiores empresas de e-commerce da América Latina, chegou à marca de 900 milhões de requisições por minuto entre todas as comunicações com os seus microsserviços na nuvem da Amazon Web Services.

Essas requisições são geradas por 17 mil bases de dados e 56 mil data services, com 24 mil serviços se comunicando internamente e externamente.

Para processar tudo isso, a companhia utiliza dezenas de serviços de base de dados da AWS, entre eles DynamoDB, RDS, S3 e CloudFront. 

“Lembro que, há uns seis anos, estávamos conversando muito sobre sair do on-premise e entrar de fato na nuvem. Não faz muito tempo, a nuvem era uma incógnita para muitas empresas. Hoje, ela é estratégica”, relembra Thiago Oliveira, diretor de engenharia de software, cloud e plataforma do Mercado Livre.

Oliveira conta que a estratégia de tecnologia da companhia começou com um sistema monolítico, ainda no final dos anos 90, considerando a facilidade, latência e quantidade de pessoas existentes na época.

Em 2007, a empresa entrou para a Nasdaq e, conforme a aplicação crescia, surgia a necessidade de um novo direcionamento. Foi só em 2010 que o Mercado Livre migrou para uma arquitetura orientada a microsserviços. 

“Isso trouxe benefícios, como o desacoplamento do que tínhamos com a aplicação monolítica e também a autonomia que os nossos desenvolvedores poderiam ter”, relembra Oliveira. 

Com o aumento da quantidade de aplicações dentro da empresa, surgiram problemas com a governança e a qualidade em termos de segurança. Consequentemente a companhia observou a necessidade de criar uma nova plataforma. 

Assim, a Fury, plataforma como serviço (PaaS) do Mercado Livre que fornece uma camada de abstração entre os desenvolvedores e a infraestrutura, foi criada em 2015.

Na prática, cada vez que um desenvolvedor implanta um novo aplicativo ou uma nova versão, a Fury cuida da criação de todos os componentes necessários. Assim, o profissional consegue efetuar seus deploys de forma automatizada.

A Fury é integrada com os serviços da AWS, usando o tipo de base de dados mais apropriado para resolver cada problema. 

“A AWS ajuda tendo uma variedade de serviços de dados, e a Fury também tem os seus serviços de dados, por onde am todas as transações de compra e venda do marketplace e do Mercado Pago, justamente para prover a melhor experiência para aquele que está do lado de comprar os nossos produtos”, explica Oliveira.

O Mercado Livre fechou o primeiro semestre de 2023 com 40 compras por segundo, gerando um total de US$ 10 bilhões transacionados entre 46 milhões de compradores e 3,5 milhões de vendedores. Nessas vendas, 53% dos envios aconteceram em até 24 horas e 80% em até 48 horas. 

Já no Mercado Pago, foram 230 transações por segundo e um total de U$S 7 bilhões transacionados.

A área de tecnologia liderada por Oliveira atende toda a América Latina, também com números expressivos: são 12 mil colaboradores utilizando a plataforma.

“A Fury tem uma parceria fortíssima sobre como compartilhar esse conhecimento com escala. O maior problema é a escala. Então esse apoio de parceiros é interessante até mesmo para disseminar, democratizar o conhecimento de forma homogênea”, destaca Oliveira. 

OLHO NA IA GENERATIVA

Atualmente, o Mercado Livre também está de olho na inteligência artificial generativa, tema em alta. A companhia fechou recentemente com a OpenAI, criadora do ChatGPT, em busca de uma melhor experiência para os desenvolvedores e novas soluções de experiência para os clientes. 

“Nesse mesmo período após a parceria, realizamos um hackathon interno com mais de 1,2 mil participantes, onde surgiram inúmeras ideias disruptivas. Agora, estamos em processo de especialização dessas ideias e construção de algumas situações que já aconteceram”, conta Oliveira.

A empresa também está experimentando o Pile, conjunto de dados de código aberto que contém informações de diversas fontes, para contribuir com a eficiência e o dia a dia dos desenvolvedores. 

Quanto ao Bedrock, serviço da AWS no qual é possível construir e escalar aplicações de IA generativa, a companhia deixou escapar que tratativas estão em andamento, mas ainda não há nada de concreto. 

“Os LLMs (modelos de linguagem grandes) surgiram de dezembro para cá, mas data science já existe há algum tempo. Há mais de 10 anos estamos atuando com data science, inteligência artificial e machine learning”, destaca Oliveira.

No mercado há 16 anos, a AWS tem mais de 200 serviços a partir de 102 zonas de disponibilidade em 32 regiões geográficas, com planos anunciados para mais 12 zonas de disponibilidade e mais quatro regiões da AWS no Canadá, Malásia, Nova Zelândia e Tailândia.  

A companhia tem milhões de clientes, desde startups a grandes empresas e agências governamentais. 

No Brasil, já investiu mais de US$ 3,8 bilhões e conta com nomes como Anima Educação, Arezzo&Co, iFood, Itaú, Grupo Boticário, Localiza, Mercado Livre, Nubank, Petrobras, hospitais Sírio-Libanês e Albert Einstein, e o Ministério da Saúde.