Zentrale Argumentation / Zitate
Guter Einstieg in die Frage der Nutzung von LLMs für Codebook-geleitete Analysen. Es werden konkrete Vorschläge für die Gestaltung von Codebooks gemacht und Evaluations-Systematiken für die Bewertung unterschiedlicher LLMs entwickelt.
However, using LLMs for codebook-based measurement is different than many other applications of LLMs: it requires the LLM to follow the lengthy and detailed operationalization of concepts in a codebook and to faithfully apply the provided coding criteria rather than solely relying on what it learned from pretraining. (22)
Ausführliche Quellenangabe
Halterman A, Keith KA. Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts. in: Political Analysis. Published online 2025:1-17. doi:10.1017/pan.2025.10017Schlagwörter
AI / KI, AI / KI und Diskursanalyse, Codebooks, Diskursanalyse, Evaluation von LLMs, Qualitative Methoden