Warum ist Alignment notwendig?RLHF: Der Durchbruch, der LLMs vertrauenswürdig machteProximale RichtlinienoptimierungDPOFallstudie: Anpassung eines LLM an eine RichtlinieAusrichtungs-ToolsAcmes BildungsrichtliniePräferenzdatensatz – Generierung synthetischer DatensätzeFeinabstimmungAusrichtungsbewertung: LLM als RichterZusammensetzung des DPO-DatensatzesUnsere Wahl des BasismodellsDie BewertungsmethodikDer Feinabstimmungsprozess und die ParameterauswahlEntwurf eines Sicherheits- und AngleichungsplansPhase 1: Definition der RichtlinienPhase 2: Nutzerforschung und RisikoidentifizierungPhase 3: BewertungsrahmenPhase 4: Entwurf der SicherheitsarchitekturPhase 5: Umsetzung und Auswahl der ToolsPhase 6: Reaktion auf VorfälleHäufige FallstrickeFazit