Lig4

[full_width]

ou

Sem sessão Suas iniciais

Crie ou entre numa sessão para começar.

mostrar o que a coruja pensa animações

Partida

Exploração da coruja nas partidas (ε): 0,05

0Rubi

0Empates

0Coruja

O cérebro compartilhado

Partidas no cérebro: 0

O autojogo usa ε = 0,12 fixo; o controle acima vale só para as partidas.

Placar do dia na sessão

Treinadores conectados

Ninguém ainda

Diário de treino

Como a coruja aprende?

A coruja usa aprendizado por reforço, numa atualização de diferença temporal no estilo do Q-learning — a mesma ideia do labirinto do Laboratório 2 do post Aprendizado de máquina e computação evolucionária. Ninguém diz a ela qual lance é bom: o único sinal certo é o fim da partida.

O Ligue 4 tem trilhões de posições, então não cabe uma tabela. Para estimar o valor de cada lance, a coruja olha o tabuleiro depois do lance e mede 11 atributos definidos à mão (trincas e duplas abertas, centro, vitórias prontas, ameaças futuras), cada um entre 0 e 1. Ela soma esses atributos com pesos — os “botões” do painel — e passa o resultado por uma tangente hiperbólica, que o mantém entre −1 e +1:

Q(s, a) = tanh( w · φ(tabuleiro depois de a) )

Os estados finais não são estimados: vitória imediata vale exatamente +1 e empate vale 0. Essa regra tática é explícita, e esses estados não são aprendidos. Nos demais, como o jogo é de soma zero, o “melhor passo seguinte” é a melhor resposta do rival, com o sinal trocado:

w ← w + α · [ −γ · max_a′ Q_rival(s′, a′) − Q(s, a) ] · φ

O passo usa só o erro vezes os atributos, sem o fator 1 − tanh², para o aprendizado não travar quando a saída satura. Os pesos têm limite (cada um até ±6, e a soma dos módulos até 10). Por isso nenhum lance comum chega a empatar com uma vitória imediata.

No autojogo, o mesmo cérebro escolhe pelos dois lados. Samuel, ao contrário, mantinha Alfa e Beta como duas cópias separadas. Mais partidas também não garantem uma coruja melhor: os 11 atributos não enxergam tudo, como a paridade ou as sequências forçadas. Por isso há o botão Avaliar, que congela o cérebro (ε = 0) e o mede contra dois adversários fixos, alternando quem começa.

Sessão compartilhada: quem cria a sessão é o anfitrião e guarda o cérebro oficial. Cada partida jogada em outro aparelho recebe um identificador, fica guardada na “caixa de saída” desse aparelho e só sai dela quando o anfitrião confirma que a processou. Partidas repetidas são ignoradas. Enquanto isso, cada participante joga com uma cópia provisória: o cérebro oficial mais as próprias partidas ainda não confirmadas. Se o anfitrião sair, outro participante assume com a última cópia oficial que recebeu. Zerar ou importar abre uma nova geração do cérebro, e partidas de gerações anteriores são descartadas. A chave da sessão é um convite, não uma senha: qualquer pessoa com ela pode jogar e treinar.

O navegador guarda o cérebro no armazenamento local. Um cookie guarda só os pesos, como cópia de segurança parcial. A conexão entre aparelhos usa o PeerJS e o servidor público de sinalização dele, sem servidor central, e pode falhar entre algumas redes.