Para entender a IA tudo o que você precisa é de ... planilhas

Pelo menos se a sua intenção é entender como funciona a inteligência artificial generativa. Aquela por trás dos famoso chatbots inteligentes...

Pelo menos se a sua intenção é entender como funciona a inteligência artificial generativa. Aquela por trás dos famoso chatbots inteligentes como o ChatGPT, Gemini, Claude ou Mistral.

Spreadsheets Are All You Need.ai (Planilhas são tudo o que você precisa) é o nome de uma iniciativa para auxiliar você na compreensão de como funciona algo complexo como a lógica por trás de um ChatGPT, por exemplo.

O Spreadsheets-are-all-you-need é uma introdução inovadora e low-code – ou seja, que praticamente não precisa de entender de programação ou usar codificação – aos detalhes por trás das Large Language Models (LLMs) atuais. Ideal para executivos técnicos, profissionais de marketing, gerentes de produto, desenvolvedores, cientistas e formuladores de políticas de AI, esse recurso torna a AI acessível a qualquer um que consiga entender uma planilha. 🤖📊

Aprenda com um LLM Real

O Spreadsheets-are-all-you-need implementa a passagem forward do GPT-2, um antecessor do ChatGPT, inteiramente no Excel usando funções padrão de planilha. Essa arquitetura Transformer serve como base para vários LLMs, incluindo o ChatGPT da OpenAI, o Claude da Anthropic, o Bard/Gemini do Google e o Llama da Meta.

Além da planilha você tem à sua disposição algumas aulas (em inglês) sobre o modelo de IA representado na planilha.

Aula 1 – Desmistificando o GPT com o Excel

Este vídeo de 10 minutos apresenta a arquitetura de alto nível do GPT-2 trazendo À vida cada cada fase do algoritmo Transformer. 🎓📈

Aula 2 – Byte Pair Encoding & Tokenização

Nesta lição, mergulhamos na primeira fase do GPT, a fase de tokenização, e no algoritmo Byte Pair Encoding (BPE) usado em modelos como o ChatGPT. O vídeo aborda:

🤖 Uma explicação detalhada do algoritmo BPE, incluindo sua fase de aprendizado e aplicação na tokenização de dados linguísticos.

🤖 Simulação de Planilha: Uma demonstração prática do processo de tokenização do GPT-2 por meio de um modelo de planilha.

🤖  Limitações e Alternativas: Uma discussão sobre os desafios do BPE e uma olhada em outros métodos de tokenização.

Extra – Uma Visão Geral do Excel

Esta é uma visão geral de alto nível da implementação do Excel. É principalmente voltada para aqueles que já entendem os Transformers e desejam saber como a arquitetura padrão é mapeada para a planilha.

Experimente você mesmo

[ Baixe a Planilha ##download## ]

A planilha está disponível como um arquivo xlsb (binário do Excel) na seção Releases do repositório do GitHub. Você deve ser capaz de baixar e executar este arquivo no Excel para Mac ou PC.

Utilizando

Se você estiver tentando se orientar rapidamente na planilha, o vídeo de instruções acima pode ser útil, embora não seja direcionado a iniciantes. Para iniciantes, recomenda-se começar com os vídeos das lições.

É imprescindível ter em mente que a implementação é apenas suficiente para executar cargas de trabalho muito pequenas:

• Modelo GPT2 small (124M de parâmetros) completo, incluindo codificação em byte pair, embeddings, atenção multi-cabeçal e etapas de perceptron multicamada.
• Apenas inferência/passagem forward (sem treinamento).
• O contexto é limitado a 10 tokens de comprimento.
• Limite de 10 caracteres por palavra.
• Saída com temperatura zero apenas.

Esta planilha é muito grande, sendo bastante comum o Excel travar, especialmente no Mac, enquanto se usa esta planilha. É altamente recomendável usar o modo de cálculo manual no Excel e a versão do Windows do Excel (seja em um diretório Windows ou via Parallels em um Mac).

Este projeto começou no Google Sheets, mas o modelo completo de 124M era muito grande e mudou para o Excel. O autor ainda está explorando formas de fazer isso funcionar no Google Sheets, mas é improvável que caiba em um único arquivo como acontece com o Excel.

Não é possível conversar com o essa implementação de IA da mesma maneira que faríamos com o ChatGPT. Além do minúsculo tamanho do contexto, também falta a sintonia de instruções e o aprendizado por reforço com feedback humano (RLHF) que transformam um modelo de linguagem grande em um chatbot.

O nome é uma brincadeira com o título do famoso artigo “Attention Is All You Need”, que descreveu pela primeira vez a arquitetura de machine learning Transformer que fundamenta o ChatGPT, o Claude, o Bard e muitas das ferramentas de AI Gerativa mais recentes. 🤖📊

Com informações de Spreadsheets are all you need.ai
Visto no Brasil Acadêmico