Abstract
Krízu replikovateľnosti v psychológii prehlbuje aj netransparentný výber psychodiagnostických škál. Výskumníci často predpokladajú zameniteľnosť škál deklarujúcich meranie rovnakého konštruktu bez toho, aby overili ich skutočný obsahový prekryv, ktorého manuálna kvantifikácia expertmi je subjektívna, časovo náročná a neškálovateľná. Overovali sme, či veľké jazykové modely (GPT-5.1) a sémantické vektorovanie (text-embedding-3-large) dokážu posúdiť obsahovú podobnosť škál. Automatizovane sme replikovali tri expertné štúdie z domén depresie, mánie a traumy a porovnali štyri prístupy: sémantické vektorovanie, hybridnú metódu (extrakcia symptómov pomocou LLM a vektorovanie), zero-shot a chain-of-thought (CoT) prompting. Výsledky naznačujú, že LLM sa dokážu priblížiť expertnému úsudku, no ich úspešnosť nerastie so zložitosťou prístupu. Sémantické vektorovanie fungovalo najlepšie pri položkách s jednotným formátom; pri komplexných položkách extrakcia symptómov zlepšila poradie dvojíc škál, no prekryv nadhodnocovala. Najvýkonnejší bol zero-shot prompting, ktorý bez ohľadu na zložitosť textu dosiahol strednú až dobrú konzistenciu s expertným hodnotením (ICC: trauma 0.86, depresia 0.64, mánia 0.54). CoT prompting paradoxne zhodu znížil, možno v dôsledku „over-reasoningu“. Voľbu metódy odporúčame prispôsobiť dátam a zdrojom: sémantické vektorovanie je rýchle a lacné pri jednoduchých položkách, kým zero-shot prompting je univerzálny. Využitie vidíme ako podporný nástroj pri výbere a porovnávaní dotazníkov z hľadiska obsahovej validity.