آکادمی و موسسه علمی پژوهشی ابن سینا

5- بحث و نتیجه گیری از انجام رساله دکتری سنجش و اندازه گیری حاضر

مقدمه

شش مولفه‌ی عمده‌ی CAT که عبارتند از: خزانه‌ی سؤال، شیوه‌ی انتخاب سؤال، شیوه‌ی نمره‌دهی یا برآورد توانایی، قاعده‌ی اتمام آزمون (ریکیسی، 1989)، کنترل مواجهه سؤال و تعادل محتوایی (برگستروم و لانز، 1999)، بر روی نحوه‌ی طراحی الگوریتم‌های CAT تاثیر فزاینده‌ای دارند. مفهوم خزانه‌ی سؤال یکی از مولفه‌های جالب توجه مرتبط به CAT می‌باشد که مطالب محدودی در مورد آن وجود دارد. با‌ این‌وجود، می‌دانیم که ویژگی‌های جذاب روان سنجی CAT، در صورتی تحقق می‌یابد که سؤالات آزمونی که برای اجرا به کار می‌روند مناسب باشند (ریکیسی، 2010). مولفه‌ی خزانه‌ی سؤال بهینه باید بر اساس مولفه‌های دیگر CAT یعنی، طول آزمون، توزیع مورد انتظار جامعه‌ی آزمودنی، برآورد توانایی و شیوه‌ی انتخاب سؤال، نرخ‌های همپوشی و مواجهه هدف سؤال طراحی شود. بنابراین، هدف اصلی از انجام رساله دکتری سنجش و اندازه گیری حاضر، بررسی خزانه‌ی سؤال به عنوان یکی از مولفه‌ای مهم در حوزه‌ی تحقیقاتی سنجش انطباقی کامپیوتری بود، حوزه‌ای که تحقیقات اندکی در مورد آن وجود دارد.
در این فصل از انجام رساله دکتری سنجش و اندازه گیری حاضر ابتدا، تعریف خلاصه‌ای از "بهینه‌گی" در طراحی خزانه‌ی سؤال را ارائه می‌کنیم و در مورد این‌که چگونه در این مطالعه به‌طور موفقیت آمیزی ملاک‌های بهینه بودن برقرار شد، بحث خواهیم کرد. در مرحله‌ی دوم، رویکرد ریکیسی را در مقابل رویکرد برنامه‌نویسی ریاضی بررسی کرده و تلفیقی که از این دو رویکرد در مورد ساخت خزانه‌های سؤال و نگهداری از خزانه‌ها را به همراه نتایجی که در پژوهش حاضر به آن رسیدیم را بررسی خواهیم کرد. در مرحله‌ی سوم، سؤالات تحقیق مطرح شده و بر اساس نتایج به‌دست آمده، پاسخ هر یک از آنها ارائه خواهد شد. در مرحله چهارم، تلویحاتی که از نتایج این پژوهش بدست آمده است، مورد بررسی قرار می‌گیرد و در پایان محدودیت‌های موجود در انجام رساله دکتری سنجش و اندازه گیری حاضر و پیشنهادات پژوهشی برای آینده را بحث خواهیم کرد.

تعریف بهینه بودن 

در انجام رساله دکتری سنجش و اندازه گیری حاضر، از رویکرد اکتشافی برای ایجاد خزانه‌ی سؤال بهینه برای CAT و با استفاده از روش انتخاب سؤال WDM در تعیین محتواهای سؤالات استفاده شد. در پایان دوازده الگوی طراحی خزانه‌ی سؤال به عنوان محصول نهایی رویکرد اکتشافی و شش الگو به عنوان محصول نهایی ترکیب دو رویکرد اکتشافی و برنامه‌نویسی ریاضی ایجاد شد، که می‌تواند ویژگی‌های آماری (روان‌سنجی) و غیر آماری سؤال‌های مورد نیاز در خزانه را توصیف ‌کند. این الگوها اطلاعات مهمی در مورد ویژگی‌های خزانه‌های بهینه‌ی سؤال آشکار می‌کنند. این اطلاعات شامل: توزیع پارامترهای سؤالات، شاخص‌های آماری پارامترهای خزانه‌ها، نحوه‌ی عملکرد این خزانه‌ها در اجرای شبیه‌سازی شده‌ی CAT، میزان تخطی از قیود محتوایی برای آزمون‌هایی که از این خزانه‌ها ساخته می‌شود و در پایان اندازه‌ی خزانه سؤال می‌باشد. در این پژوهش، از طریق سه روش متفاوت (R، MRP، MTI) پارامترهای بهینه سؤال، شبیه‌سازی شدند. مک‌برید و وایس، (1977) از روش R، و P برای پیش‌بینی و برآورد پارامترهای سؤالات، بر اساس نظریه‌ی IRT در آزمون‌های غیر CAT استفاده کردند. گو و ریکیسی (2007) از دو روش P و MTI برای طراحی پارامترهای بهینه خزانه‌ی سؤال در CAT استفاده کردند. همچنین، هی و ریکیسی (2010)، نیز از سه روش R، MRP، MTI با در نظر گرفتن پهناهای متفاوت b-bin و تغییرات آگاهی که سؤال ایجاد می‌کند، استفاده کردند، امّا، هیچ پژوهشی تعامل این روش‌ها را با شیوه‌های کنترل مواجهه‌ی سؤال و ایجاد تعادل محتوایی مورد بررسی قرار نداده است. در مجموع، تا به امروز پژوهشی که بتواند به تمام جنبه‌های طراحی یک خزانه‌ی سؤال بهینه برای بهبود عملکرد سنجش انطباقی کامپیوتری توجه کند، به چشم نخورده است. در این پژوهش ما برای طراحی خزانه‌های سؤال "ایده‌آل" یا "کامل"، برای CAT، از تلفیق دو رویکرد مهم و شناخته شده‌ی اکتشافی و برنامه‌نویسی ریاضی در ساخت خزانه‎‌های سؤال استفاده کردیم. همچنین، با کنترل و دستکاری متغیرهای اساسی که بر عملکرد خزانه‌ها تاثیر می‌گذارد، مدل‌های مختلفی ایجاد کردیم که نتایج آنها در فصل چهارم بیان شد. در این پژوهش با دستکاری چهار عامل: روش ایجاد سؤال بهینه (R، MRP، MTI)، پهنای b-bin (2/0 و 4/0)، کنترل یا عدم کنترل مواجهه‌ی بیش از حد سؤال با روش سیمپسون-هتر (S-H) و ایجاد یا عدم ایجاد تعادل محتوایی برای اجرای CAT، 18 مدل طراحی خزانه‌ی سؤال بهینه (ROP_1, ROP_2, ROP_3, …., ROP_18) ایجاد شد.

جهت دانلود فایل کامل کلیک کنید

در صورت داشتن هرگونه سوال و یا نیاز به مشاوره در زمینه آموزش نحوه انجام رساله دکتری سنجش و اندازه گیری با ما در ارتباط باشید.