پیش‌نهادی برای نحوه‌ی داوری در کنفرانسهای بزرگ داخلی
محمد قدسی | دوشنبه, ۲۵ شهریور ۱۳۸۷
یکی از مشکلات ادامه دار ما در کنفرانسهای بزرگ داخلی سازوکار داوری است که دکتر جلالی در پست خود به آن اشاره کردند. انتخاب داوران برای هر مقاله چندان مناسب نیست. تعداد مقاله‌ی ارسالی به برخی از داوران هم خیلی زیاد (گاهی بیش از ۲۰) است. عده‌ای هم حال و حوصله‌ی کافی برای خواندن دقیق مقالات ندارند. این منجر میشود که در هفته‌ی آخر دفتر کنفرانس مجبور شود با تلفن به تک تک داوران پیگیری کند؛ بعضی‌ها هم تازه یادشان می‌افتد که ۲۰-۱۰ مقاله را باید داوری کنند. به‌علت انتخاب‌های نادرست خیلی از مقالات در زمینه‌ی اصلی داور نیستند و در نتیجه داور یا با دقت کم آنها را داوری میکند یا خیلی از آنها را در آخرین فرصت‌ها پس می‌فرستد. البته در این میان هم‌کارانی هستند که با دقت فراوان و به‌صورت حرفه‌ای و بدون چشم‌داشتی مقالات زیادی را به‌نحو خوبی داوری میکنند که واقعا کنفرانسهای ما مدیون این افراد است.
همه‌ی این‌ها موجب میشود که چند صد مقاله‌ی داوری نشده تا نزدیکی‌های اعلام نتایج---با وجود تمدید احتمالی---روی دست برگزارکنندگان کنفرانس تل‌انبار شود که بالاخره باید جوابی به آنها داد. در نتیجه چند جلسه با تعداد کمی از هم‌کاران گذاشته میشود تا هم تکلیف این مقالات را مشخص کنند تا هر مقاله‌ای دست‌کم یک داور داشته باشد و هم مقالات پذیرفته شده، رد شده، یا پوستری را مشخص کنند.
در سال گذشته در کنفرانس انجمن کامپیوتر حدود ۱۵۰۰ مقاله ارسال شده بود که نیاز به ۴۵۰۰ داوری داشت. اگر هم ۲۰۰ داور باشد--- که نیست--- به هرکدام حدود ۱۳ مقاله می‌رسد. کلاً حجم کار بسیار بسیار بالا است و به همین دلیل هم با کیفیت پایینی انجام میشود. در نتیجه مقاله‌های ضعیفی قبول می‌شوند. یا تعداد خیلی زیادی مقاله از برخی نویسندگان پذیرفته میشود. البته در این‌جا هم بدنیست حجم کاری که مجاناً انجام میشود به نویسندگان مقالات ، به خصوص آن‌هایی که مرتب زنگ می‌زنند و چواب مقاله‌اشان را می‌خواهند گوشزد شود.
اما آیا راه‌های بهتری برای انجام با کیفیت این‌کار نیست؟ به‌نظر من هست. این پیش‌نهاد برای کنفرانسهای بزرگی مانند کنفرانس کامپیوتر است و البته نیاز به طراحی یک سیستم کامپیوتری مناسب دارد که بک‌بار برای همیشه باید به‌صورت حرفه‌ای تهیه شود (نه اینکه هر سال مجری یک سیستم ناقص فقط برای خود تولید کند). البته پیش نهاد دکتر جلالی برای برگزاری چند کنفرانس تخصصی به صورت سالانه و یک کنفرانس عمومی (بدون مجموعه‌ی مقالات) هر ۳-۲ سال یکبار خیلی جالب است و من با آن کاملاً موافقم.
۱- از داوران بالقوه به صورت ایمیل دعوت شود و ازآن‌ها خواسته شود که در صورت تمایل به داوری صفحه‌ای را پر کنند که در آن علاوه بر درج مشخصات، و اینکه حداکثز چند تا مقاله را می‌توانند داوری کنند، با دقت کافی از لیستی از زمیته‌ها، چندتا از آن‌هایی که تخصص کافی دارند و مایلند داوری کنند را علامت بزنند. این لیست توسط برگزارکنندگان به صورت لیستی سلسله‌مراتبی از زمینه‌هایی که کنقرانس مقاله می‌پذیرد تهیه میشود. تهیه‌ی این لیست باید با دقت کافی انجام شود و از عناوین کلی مانند مثلاً فناوری اطلاعات (درمورد کنفرانس کامپیوتر) اجتناب شود.
۲- از ارسال کنندگان خواسته شود تا دو گونه از مقاله با اسم و بی اسم نویسندگان ارسال کنند و علاوه بر کلمات کلیدی، یک یا چند زمینه را خود انتخاب کنند. همچنین چکیده‌ی مقاله‌ی خود را در سیستم وارد کنند.
۳- فهرستی از مقالات و نیزچکیده‌ی آنها در وب تهیه شود تا فقط داوران بتوانند آنها را ببینند. track chair ها با خواندن این چکیده‌ها مقالاتی که به آن track متعلق است را انتخاب کنند. در این انتخاب نظر نویسنده هم در نظر گرفته می شود. ولی ممکن است او دقت کافی نکرده باشد.
۴- track chair بر اساس اطلاعات موجود از داوران (به‌خصوص داوران جدید که ممکن است اطلاعات قبلی در ذهن افراد نباشد) داوران هر مقاله را تعیین و از طریق سیستم به آنها ارسال میکند و می‌تواند از طریق ایمیل پیگیری نماید.
البته اگر کنفرانسهای تخصصی کوچک برگزار شود، کار بسیار جمع‌وجو و ساده‌تر است و نیازی به این پیچیدگی‌ها نیست.
همه‌ی این‌ها موجب میشود که چند صد مقاله‌ی داوری نشده تا نزدیکی‌های اعلام نتایج---با وجود تمدید احتمالی---روی دست برگزارکنندگان کنفرانس تل‌انبار شود که بالاخره باید جوابی به آنها داد. در نتیجه چند جلسه با تعداد کمی از هم‌کاران گذاشته میشود تا هم تکلیف این مقالات را مشخص کنند تا هر مقاله‌ای دست‌کم یک داور داشته باشد و هم مقالات پذیرفته شده، رد شده، یا پوستری را مشخص کنند.
در سال گذشته در کنفرانس انجمن کامپیوتر حدود ۱۵۰۰ مقاله ارسال شده بود که نیاز به ۴۵۰۰ داوری داشت. اگر هم ۲۰۰ داور باشد--- که نیست--- به هرکدام حدود ۱۳ مقاله می‌رسد. کلاً حجم کار بسیار بسیار بالا است و به همین دلیل هم با کیفیت پایینی انجام میشود. در نتیجه مقاله‌های ضعیفی قبول می‌شوند. یا تعداد خیلی زیادی مقاله از برخی نویسندگان پذیرفته میشود. البته در این‌جا هم بدنیست حجم کاری که مجاناً انجام میشود به نویسندگان مقالات ، به خصوص آن‌هایی که مرتب زنگ می‌زنند و چواب مقاله‌اشان را می‌خواهند گوشزد شود.
اما آیا راه‌های بهتری برای انجام با کیفیت این‌کار نیست؟ به‌نظر من هست. این پیش‌نهاد برای کنفرانسهای بزرگی مانند کنفرانس کامپیوتر است و البته نیاز به طراحی یک سیستم کامپیوتری مناسب دارد که بک‌بار برای همیشه باید به‌صورت حرفه‌ای تهیه شود (نه اینکه هر سال مجری یک سیستم ناقص فقط برای خود تولید کند). البته پیش نهاد دکتر جلالی برای برگزاری چند کنفرانس تخصصی به صورت سالانه و یک کنفرانس عمومی (بدون مجموعه‌ی مقالات) هر ۳-۲ سال یکبار خیلی جالب است و من با آن کاملاً موافقم.
۱- از داوران بالقوه به صورت ایمیل دعوت شود و ازآن‌ها خواسته شود که در صورت تمایل به داوری صفحه‌ای را پر کنند که در آن علاوه بر درج مشخصات، و اینکه حداکثز چند تا مقاله را می‌توانند داوری کنند، با دقت کافی از لیستی از زمیته‌ها، چندتا از آن‌هایی که تخصص کافی دارند و مایلند داوری کنند را علامت بزنند. این لیست توسط برگزارکنندگان به صورت لیستی سلسله‌مراتبی از زمینه‌هایی که کنقرانس مقاله می‌پذیرد تهیه میشود. تهیه‌ی این لیست باید با دقت کافی انجام شود و از عناوین کلی مانند مثلاً فناوری اطلاعات (درمورد کنفرانس کامپیوتر) اجتناب شود.
۲- از ارسال کنندگان خواسته شود تا دو گونه از مقاله با اسم و بی اسم نویسندگان ارسال کنند و علاوه بر کلمات کلیدی، یک یا چند زمینه را خود انتخاب کنند. همچنین چکیده‌ی مقاله‌ی خود را در سیستم وارد کنند.
۳- فهرستی از مقالات و نیزچکیده‌ی آنها در وب تهیه شود تا فقط داوران بتوانند آنها را ببینند. track chair ها با خواندن این چکیده‌ها مقالاتی که به آن track متعلق است را انتخاب کنند. در این انتخاب نظر نویسنده هم در نظر گرفته می شود. ولی ممکن است او دقت کافی نکرده باشد.
۴- track chair بر اساس اطلاعات موجود از داوران (به‌خصوص داوران جدید که ممکن است اطلاعات قبلی در ذهن افراد نباشد) داوران هر مقاله را تعیین و از طریق سیستم به آنها ارسال میکند و می‌تواند از طریق ایمیل پیگیری نماید.
البته اگر کنفرانسهای تخصصی کوچک برگزار شود، کار بسیار جمع‌وجو و ساده‌تر است و نیازی به این پیچیدگی‌ها نیست.
Mohammad