Treina LLMs a partir do zeroEtapa 1: Escolhe uma tarefaPasso 2: Prepara os dadosPasso 3: Decide sobre a arquitetura do modeloEtapa 4: Configurar a infraestrutura de treinamentoEtapa 5: Implementa o treinamentoAbordagens de agrupamento de modelosMédia e combinação de modelosEnsembling ponderadoEnsembling empilhado (modelo de duas fases)Conjuntos diversos para maior robustezMecanismos de descodificação e votação em várias etapasComposibilidadeCrítica suave do atorAdaptação do domínio do modeloEngenharia promptPrompting de uma só vezPrompting de poucos disparosPrompting de cadeia de pensamentoGeração aumentada por recuperaçãoNúcleo semânticoAjuste finoAjuste fino adaptativoAdaptadores (simples, paralelos e paralelos em escala)Ajuste fino comportamentalAfinação de prefixosAfinação eficiente de parâmetrosAfinação de instruções e aprendizagem por reforço a partir de feedback humanoEscolher entre afinação e engenharia promptMistura de especialistasOtimização de modelos para dispositivos com recursos limitadosLições para um desenvolvimento eficaz do LLMLei de escalonamentoModelos ChinchillaOtimização da taxa de aprendizagemAmostragem especulativaConclusãoReferências