HarmonyFidelisHarmonyFidelis
Entrar
Ir ao conteúdo
AURA
AprenderConfigurarProgramas públicos
Aprender

Primeiros conceitos

AprendizagemInferência

Mecanismos

RepresentaçõesContexto e memóriaArquiteturasDifusão

Pesquisa avançada

Raciocínio e agentesModelos do mundoAGI e ASIAvaliação

Explore cada espaço livremente. Os detalhes estão sempre acessíveis.

Início do Aura
AuraEntender a IAArquiteturas

Transformers: entender a atenção

Compare arquiteturas, métodos e sistemas completos no nível correto.

O essencialExperimentarAprofundar
Fontes científicas

Simulação didática · valores fictícios

Exemplo numérico: uma consulta, três chaves

K = [[1,0],[0,1],[1,1]], V = [[1,0],[0,1],[1,1]], Q = [a,1] e dₖ = 2. Números escolhidos para o exercício.

Pesos de atenção

K₁24,8 %
K₂24,8 %
K₃50,3 %
0 %25 %50 %75 %100 %

Saída = [0,752 ; 0,752]

A máscara causal exclui posições futuras na previsão autorregressiva. Projeções, várias cabeças, camadas locais e conexões residuais completam o Transformer. Pesos de atenção isolados não provam uma explicação causal.

Verificar meu entendimento

Antes de responder, formule sua explicação.

Transformer, difusão e MuZero descrevem exatamente o mesmo nível de projeto.

Para lembrar

A difusão pode usar redes diferentes. DreamerV3 e MuZero organizam componentes em sistemas de aprendizagem e decisão. Esses nomes não são categorias intercambiáveis.

Aprofundar
Do conceito à práticaColocar em prática

Fontes científicas

  • Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023
    Publicação original
  • Hochreiter & Schmidhuber · 1997Long Short-Term Memory
    Publicação original
  • Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic Models
    Publicação original
  • Jain & Wallace · 2019Attention is not Explanation
    Publicação original

Síntese didática das fontes citadas. Os resultados dependem das tarefas, protocolos e recursos de cada publicação.

Explore tambémDifusãoInferência

Buscar Aura

18 resultados

AprenderAprender e depois usar um modeloSepare parâmetros aprendidos das informações fornecidas em uma solicitação.
AprenderDo contexto ao próximo tokenDiferencie probabilidades do modelo e regra de escolha da saída.
AprenderDo texto às representaçõesEntenda vetores sem equipará-los ao significado humano.
AprenderDe qual memória estamos falando?Separe contexto, estado recorrente, parâmetros e armazenamento persistente.
AprenderTransformers: entender a atençãoCompare arquiteturas, métodos e sistemas completos no nível correto.
AprenderGerar removendo ruídoDistinga corrupção durante a aprendizagem e geração progressiva.
AprenderDo modelo ao sistema que ageEntenda o ambiente de execução em torno do modelo e das ferramentas.
AprenderPrever para escolher uma açãoExplore horizontes longos e o risco de previsões incorretas.
AprenderDefinições, não um veredito únicoExamine generalidade, desempenho e adaptação antes de usar um rótulo.
AprenderO que um resultado permite concluirPasse de uma impressão convincente para uma comparação reproduzível.
ConfigurarPreparar um projeto ChatGPTUm objetivo claro, contexto útil e instruções que você pode usar.
ConfigurarEscolher para sua tarefaComece pela sua necessidade. Compare acessos e resultados, sem classificações universais de modelos.
ConfigurarTornar seu pedido verificávelTransforme uma intenção em objetivo, contexto e critérios de sucesso.
ConfigurarColocar a informação no lugar certoDiferencie regras de trabalho, recursos da tarefa e memória gerenciada pelo produto.
ConfigurarPreparar um ambiente de desenvolvimentoDefina o papel do modelo, as capacidades do ambiente e os acessos necessários.
ConfigurarCompor um procedimento de desenvolvimentoOrganize preparação, alterações, verificação e relato. Reutilize as etapas úteis.
ConfigurarPreparar uma missão e verificar o resultadoUm exemplo reproduzível, uma lista de verificação e um registro das suas observações.
Programas públicosTentacularUsos, funções e recursos disponíveis publicamente.