درک ارزیابی شما

درک ارزیابی شما · ۰۱

پایایی، روایی و دقت: معنای واقعی آن‌ها چیست؟

زبان پژوهش باید به شما در ارزیابی یک پرسشنامه کمک کند. شناخت این سه اصطلاح که اغلب اشتباه گرفته می‌شوند، خواندن شواهد و سنجش ادعاها را آسان‌تر می‌کند.

۵ دقیقه مطالعه

ایده کلیدی

پایایی به همخوانی و دقت نمرات مربوط می‌شود. روایی به شواهدی ارتباط دارد که از یک تفسیر یا کاربرد خاص پشتیبانی می‌کنند. دقت تعیین تیپ نیز نیازمند مبنایی معتبر است تا بتوان قضاوت کرد که آیا تیپ مشخص‌شده درست است یا خیر. این مفاهیم را نمی‌توان به یک درصد واحد و قابل‌جایگزینی تقلیل داد؛ به همین دلیل، پژوهش‌های iEQ9 هر یک را به‌صورت جداگانه گزارش می‌کنند.

پایایی: نمرات چقدر همخوان هستند؟

هر ارزیابی، پاسخ‌ها را ترکیب می‌کند تا ویژگی‌ای را درباره یک فرد توصیف کند. پایایی این پرسش را مطرح می‌کند که نمرات چقدر رفتاری همخوان و یکدست دارند. معیارهای مختلف پایایی، انواع متفاوتی از این همخوانی را بررسی می‌کنند.

همسانی درونی به میزان هماهنگی پرسش‌های درون یک مقیاس با یکدیگر مربوط است. شواهد آزمون–بازآزمون به میزان توافق میان نتایج حاصل از نوبت‌های مجزای آزمون در شرایط کنترل‌شده می‌پردازد. یک مقیاس می‌تواند همسانی درونی بالایی نشان دهد، در حالی که نتایج آن در طول زمان تغییر کند؛ این دو یافته به پرسش‌های متفاوتی پاسخ می‌دهند.

در مطالعه ۲۰۲۶ پرسشنامه iEQ9، آلفای ترتیبی در ۹ مقیاس تیپ به ۵ زبان، بین ۰٫۷۴ تا ۰٫۸۷ با میانگین ۰٫۸۰ متغیر بود. این نتیجه، همسانی درونی را نشان می‌دهد. [۱] برای iEQ9 هنوز مطالعه بازآزمون کنترل‌شده‌ای انجام نشده است؛ صفحه پژوهش‌ها اطلاعات موجود درباره افرادی را که آزمون را مجدداً انجام داده‌اند توضیح می‌دهد.

یک نمونه عملی: مقیاس تیپ ۸

مقیاس چالشگر فعال آلفای ترتیبی ۰٫۸۵ دارد.

این موضوع چه چیزی را به شما می‌گوید: پرسش‌های موجود در آن مقیاس ارتباط نزدیکی با یکدیگر دارند. فردی که با یک مورد موافق است، معمولاً با موارد دیگر نیز موافقت می‌کند، و نمره نهایی تحت تأثیر یک یا دو سؤال نامتعارف قرار نمی‌گیرد.

این موضوع چه چیزی را به شما نمی‌گوید: این‌که ۸۵٪ از هشت‌ها به‌درستی تعیین تیپ شده‌اند، یا نمره فرد در سال آینده هم دقیقاً یکسان خواهد بود. این‌ها پرسش‌های دیگری هستند و به شواهد متفاوتی نیاز دارند.

روایی: شواهد از چه تفسیری پشتیبانی می‌کنند؟

روایی به این مسئله می‌پردازد که آیا شواهد موجود، از معنای نسبت‌داده‌شده به نمرات و نحوه استفاده از آن‌ها پشتیبانی می‌کنند یا خیر. پرسش‌های کلیدی در این زمینه عبارتند از اینکه آیا مقیاس‌ها ساختار مورد انتظار را دارند، چگونه با سایر سنجه‌ها ارتباط برقرار می‌کنند، و آیا تفسیر ارائه‌شده با افراد و هدف مورد نظر متناسب است یا نه.

شواهد مربوط به یک تفسیر، به‌طور خودکار هر نوع کاربردی را اعتبارسنجی نمی‌کند. پژوهش درباره ساختار مقیاس‌های یک پرسشنامه، پیش‌بینی‌کننده بودن آن برای عملکرد شغلی را ثابت نمی‌کند. استانداردهای آزمون‌گیری منتشرشده توسط AERA، APA و NCME خواستار شواهدی متناسب با هر کاربرد مورد نظر هستند. [۲]

آزمون iEQ9 برای مربیگری، رشد و خودآگاهی در نظر گرفته شده است، و پژوهش‌های آن نیز باید در همین چارچوب بررسی شوند.

دقت: درست بر اساس چه معیاری؟

هرگونه ادعا درباره دقت تعیین تیپ نیازمند یک مقایسه است: روشی برای تشخیص تیپ شخص که مستقل از پرسشنامه تحت آزمایش باشد. هیچ معیار طلایی مطلقی برای انیاگرام، یا برای بخش عمده‌ای از روانشناسی روانی شخصیت، وجود ندارد. انگیزه درونی را نمی‌توان از آزمایش خون خواند.

به همین دلیل باید با درصد واحد دقت با احتیاط برخورد کرد، و هرگز نباید عدد پایایی را به عنوان دقت در نظر گرفت. کاری که یک ناشر می‌تواند انجام دهد، گردآوری انواع مختلفی از شواهد است که هر کدام به این پرسش می‌پردازند. [۱]

میزان تکرار ارزیابی توسط افراد
در سال پژوهشی ۲۰۲۶، حدود ۲٪ از افراد برای بار دوم ارزیابی iEQ9 را انجام دادند. این شاخص، معیاری برای دقت نیست، اما پرسشنامه‌ای که مرتباً تیپی غیرقابل‌تشخیص به افراد بدهد، شاهد موارد بسیار بیشتری خواهد بود. اکنون در دسترس است.
یافته‌های متخصصان هنگام بررسی کردن
متخصصان دارای اعتبارنامه هر نتیجه را با فرد مورد نظر بررسی می‌کنند و چنانچه تیپ همخوانی نداشته باشد، می‌توانند درخواست تکرار ارزیابی را بدهند. در پژوهش سال ۲۰۲۶، مواردی که متخصصان گزارش کردند معمولاً مربوط به پرونده‌هایی بود که نمایه فرد در آن‌ها وضوح کمتری داشت. اکنون در دسترس است.
میزان توافق هنگام تکرار ارزیابی
در میان افرادی که ارزیابی iEQ9 را دوباره انجام دادند و نتیجه اول آن‌ها کاملاً مشخص بود، ۶۳٫۴٪ همان تیپ را دریافت کردند. این گروه خود تصمیم به تکرار گرفتند و نماینده کل کاربران iEQ9 نیستند. یک مطالعه بازآزمون کنترل‌شده در دست برنامه‌ریزی است.
مقایسه با تعیین تیپ مستقل
مطالعه‌ای که نتایج iEQ9 را با تیپ‌های تعیین‌شده به‌صورت مستقل (مثلاً از طریق مصاحبه‌های ساختاریافته) مقایسه کند، هنوز انجام نشده است.

اصطلاحات صفحه پژوهش به زبان ساده

اصطلاحمعنای آن
آلفای ترتیبی (α)میزان همخوانی پرسش‌ها در یک مقیاس با یکدیگر، از ۰ تا ۱. مقدار ۰٫۷۰ حداقل معمول است؛ ۰٫۸۰ و بالاتر قوی به شمار می‌رود.
امگا (ω)سنجه‌ای دیگر برای سنجش همین مفهوم که از یک مدل آماری مقیاس محاسبه می‌شود. مانند آلفا تفسیر می‌شود.
مدل عاملیآزمونی برای بررسی این‌که آیا پاسخ‌های افراد در قالب الگوهای پیش‌بینی‌شده توسط نظریه دسته‌بندی می‌شوند یا خیر. در iEQ9، این تعداد ۹ الگو است.
شاخص CFIمیزان برازش مدل عاملی با داده‌ها. مقدار ۰٫۹۰ و بالاتر قابل‌قبول است؛ ۰٫۹۵ و بالاتر خوب محسوب می‌شود.
شاخص‌های RMSEA و SRMRمیزان فاصله یا خطای مدل نسبت به داده‌ها. مقدار کمتر بهتر است و مقادیر کمتر از ۰٫۰۵ خوب تلقی می‌شوند.
شاخص ICCمیزان همسویی و توافق دو دسته نمره از افراد یکسان، از ۰ تا ۱.
کاپا (κ)دفعاتی که دو نتیجه، پس از تعدیل توافق تصادفی، یک فرد را در طبقه‌ای یکسان قرار می‌دهند.
پنج عامل بزرگ شخصیتمدلی از صفات شخصیتی با بیشترین پیشینه پژوهشی که به عنوان نقطه مرجع برای سایر سنجه‌ها به کار می‌رود.

۴ پرسش هنگام بررسی یک ادعا

  1. چه چیزی اندازه‌گیری شده است؟ به دنبال نام شاخص آماری و مفهوم آن باشید.
  2. چه کسانی بررسی شده‌اند؟ نمونه آماری، نسخه زبانی و ویرایش ارزیابی را بررسی کنید.
  3. از چه کاربردی پشتیبانی می‌شود؟ مربیگری، تشخیص بالینی و تصمیم‌گیری‌های استخدامی نیازمند شواهد متفاوتی هستند.
  4. محدودیت‌ها کدامند؟ وضعیت داوری، نمونه‌گیری و محدودیت‌های گزارش فردی باید در کنار یافته‌ها آورده شوند.

چکیده‌های پژوهشی روشنگر، این تفاوت‌ها را آشکار می‌سازند. آن‌ها به جای آنکه از شما بخواهند به یک عدد چشمگیر تکیه کنید، راهی برای درک شواهد پیش رویتان می‌گذارند.

منابع و دامنه

  1. شرکت Integrative Enneagram Solutions Limited. راهنمای آماری iEQ9، نگارش ۲۰۲۶٫۰۷، بخش‌های پایایی، ثبات زمانی و محدودیت‌ها. برای مشاهده یافته‌های مطالعه و وضعیت پژوهش، چکیده پژوهش‌های عمومی را ببینید.
  2. AERA، APA و NCME (۲۰۱۴). استانداردهای آزمون‌گیری آموزشی و روانی. راهنمای عمومی تفسیر نمرات، روایی و پایایی.
Dirk Cloete
نویسنده iEQ9

Dirk Cloete

Dirk Cloete بنیان‌گذار Integrative Enneagram Solutions و طراح iEQ9 است. او به مدت ۳ سال به‌صورت حضوری نزد دکتر Claudio Naranjo آموزش دید و همچنین نزد Cynthia Merchant، دکتر Beatrice Chestnut، Ginger Lapid-Bogda، دکتر Jerry Wagner، Russ Hudson، Kathleen Stinnett، دکتر Lee Kingma، دکتر R. Karl Hebenstreit و دکتر Robert Barnes آموزش دیده است.

او در هیئت مدیره جهانی انجمن بین‌المللی انیاگرام (IEA) فعالیت داشته و مقالاتی در نشریه IEA منتشر کرده است. نمایه کامل Dirk را بخوانید.

به کاوش خود ادامه دهید

پژوهش‌های iEQ9 را با تعاریف نمونه، سنجه‌های مجزا و محدودیت‌های ذکرشده مطالعه کنید.

شواهد را بررسی کنید

تیپ خود را با iEQ9 بشناسید · اعتباربخشی متخصصان · تیم‌ها و سازمان‌ها