انجمن انفورماتیک ایران انجمن انفورماتیک ایران انجمن انفورماتیک ایران
گزارش کامپیوتر شماره 234, ویژه مرداد و شهریور ماه 96 منتشر شد. دوشنبه  ٢٩/٠٨/١٣٩٦ ساعت ١١:٠٦
 

بازی با اعداد را متوقف کنید
ترجمه ابراهیم نقیب‌زاده مشایخ

پست الکترونیکی: mashayekh@isi.org.ir


من به‌عنوان یک پژوهشگر ارشد، بسیار متأسفم که می‌بینم بنگاه‌های سرمایه‌گذاری، رؤسای دانشکده‌ها و کمیته‌های ارتقاء، پژوهشگران جوان را تشویق به انجام پژوهش‌های سطحی و کم مایه می‌کنند. من به عنوان خواننده مجلات علمی، متأسفانه شاهدم که این‌گونه مجلات در حوزه دانش رایانه پر شده است از مقالاتی که ارزش علمی کمی دارند. من به عنوان ویراستار یا داور مقالات در کنفرانس‌های علمی، باید با کمال تأسف اذعان کنم که مجلات علمی بیشتر در خدمت نویسندگان درآمده‌اند تا خوانندگان. تاجایی‌که با دیگر خوانندگان مجلات علمی تماس داشته‌ام آن‌ها نیز همچون من از این وضعیت ناراحتند و خواهان تغییر آن می‌باشند.
علّت همه این مشکلات، سیاست فراگیر ارزیابی پژوهشگران بر حسب تعداد مقالات منتشر شده به جای صحّت، اهمیت یا نوآوری مقاله و نیز میزان مشارکت واقعی فرد در تهیه آن است. سیاست شمارش مقالات بدون خواندن و داوری آن‌ها، اساساً به دلایل زیر مردود است:

1.  تشویش به پژوهش‌های سطحی و ظاهری
کسانی‌که مقالات بیشتری منتشر کرده باشند، هرچند کم عمق و گاهی اوقات نادرست، رتبه بالاتری از کسانی‌که سال‌ها وقت صرف مطالعه مسائل مهم نموده‌اند، به دست می‌آورند. به عبارت دیگر، تعداد مقالات صرفاً یک معیار کمّی است تا کیفی و ارزشی.

2.  تشویق به کار کردن با گروه‌های بزرگتر
اعضای هیأت علمی که گروه‌های بزرگتری از دانشجویان را سرپرستی می‌کنند و وقت کمتری را به هر دانشجو اختصاص می‌دهند ولی درعوض نامشان را بالای مقالات همه دانشجویان قرار می‌دهند، در رتبه‌بندی بالاتراز کسانی‌که با چند دانشجوی معدود به کار عمیق و سخت می‌پردازند، قرار می‌گیرند.

3.  تشویق به تکرار
پژوهشگرانی که با به‌کارگیری الگوی «کپی کن ـ بچسبان ـ تغییر شکل بده»، یک ایده را در تعداد زیادی کنفرانس و مجله ارائه می‌کنند، امتیاز بیشتری به دست می‌آورند تا کسانی‌که فقط هنگامی‌که ایده یا نتایج جدیدی داشته باشند مقاله می‌نویسند.

4.  تشویق به مطالعات کوچک و کم اهمیت
کسانی‌که به انتشار «مطالعات تجربی» براساس مشاهدات سطحی سه یا چهار دانشجو می‌پردازند در رتبه‌بندی بالاتراز کسانی‌که به تجربیات طولانی مدت و عمیق می‌پردازند، قرار می‌گیرند.

5. تشویق به انتشار ایده‌های نپخته
پژوهشگرانی که زبان‌ها و سیستم‌هایی را توصیف می‌کنند امّا به‌طور واقعی آن‌ها را نمی‌سازند و به‌کار نمی‌گیرند امتیاز بیشتری از کسانی‌که اهل تجربه و عمل هستند به دست می‌آورند.
الگوی رتبه‌بندی و امتیازدهی براساس شمارش مقالات هم برای خود مدافعانی دارد. آن‌ها معمولاً این الگو را به‌عنوان یک الگوی «عینی» معرفی می‌کنند، ضمن آن‌که کم هزینه‌تر و سریعتر از رویه‌هایی است که مستلزم خواندن دقیق مقالات می‌باشد. طرفداران ارزیابی شمارشی چنین استدلال می‌کنند که فقط مقالات «خوب» در مجلات «خوب» چاپ می‌شوند و نیازی به دوباره‌خوانی آن‌ها نیست. امّا هرکسی که تجربه ویراستاری و سردبیری یک مجلّه علمی را داشته باشد می‌داند که اختلاف فاحشی از لحاظ دقت، عینیت، سختگیری و ارزش‌گذاری در بین داوران مقالات علمی وجود دارد. آن‌ها غالباً اظهارنظرهای متضادی می‌کنند و گاهی اوقات خودشان هم دچار خطا می‌شوند. بسیاری‌از سردبیران زحمت بررسی دقیق نظرات داوران را به خود نمی‌دهند و فقط میانگین نمرات داده شده را محاسبه می‌کنند. به همین دلیل، مقالاتی که در یک کنفرانس یا مجلّه علمی مورد پذیرش قرار نگرفته‌اند غالباً (حتی بدون تغییر) در کنفرانس یا مجله دیگری قبول می‌شوند. مقالاتی را می‌شناسم که برای چاپ در یک مجلّه علمی مورد پذیرش قرار نگرفته‌اند ولی بعداً برنده جایزه شده‌اند و همچنین مقالاتی بوده‌اند که در یک مجلّه علمی چاپ شده‌اند و بعداً نادرست بودن آن‌ها مشخص گشته است. حتی داوران و ویراستاران دقیق و موشکاف نیز تنها یک مقاله را بررسی می‌کنند و ممکن است خبر نداشته باشند که همین نویسنده، مقالات متعدد دیگری را بر پایه همین ایده، با عناوین و چکیده‌های مختلف، به چاپ رسانده است. اعتماد کردن به این فرایند، خطاست.
ارزیابی عملکرد یک پژوهشگر از طریق شمارش تعداد مقالات منتشره، پیشرفت علمی را کند می‌سازد. پژوهشگر برای بالا بردن امتیازش به سراغ مسایل مشکل و زمانبر که به سال‌ها صرف وقت نیاز داشته باشد نمی‌رود و درعوض، به‌کار کردن بر روی مسایل ساده‌تر می‌پردازد.
ارزیابی عملکرد یک پژوهشگر از طریق شمارش تعداد مقالات منتشره، پژوهشگران را «فاسد» می‌کند. آن‌ها بادانستن این‌که تنها تعداد مقاله اهمیت دارد به تاکتیک‌های زیر روی می‌آورند:

  • انتشار توافقی
    «من نام تو را در مقاله خود می‌گذارم اگر تو هم نام مرا در مقاله‌ات قرار دهی.» این توافق خصوصاً هنگامی‌که چهار تا شش پژوهشگر در قالب یک تیم کار می‌کنند بسیار مؤثر است. من «نویسندگانی» را می‌شناسم که مقاله خودشان را حتی یکبار هم نخوانده‌اند.
  • ارسال مقاله به هر صورت
    پژوهشگران مقالاتی را برای چاپ ارسال می‌کنند که می‌دانند ممکن است اشتباه، قدیمی یا نامربوط باشند. آن‌ها می‌دانند که مقاله‌شان در‌صورتی‌که از زیر دست داوران رد شود برای آن‌ها امتیاز به همراه خواهد آورد.

  • پژوهش‌های سفارشی
    پژوهشگران، کنفرانس‌ها و فراخوان ویژه‌نامه‌های علمی را دیده‌بانی می‌کنند و مقالاتشان را برای آن‌ها مناسب‌سازی می‌نمایند.
  • چاپ تدریجی
    بسیاری‌از پژوهشگران پس‌از تکمیل یک مطالعه عمیق و اساسی، نتایج آن‌را به‌گونه‌ای قسمت‌بندی می‌کنند که بتوانند حداکثر تعداد مقالات ممکن را بر پایه آن انتشار دهند. در هر مقاله، فقط مقدار کمی اطلاعات جدید، تاحدّی‌که توجیه‌گر چاپ آن باشد، به‌همراه مطالب تکراری قبلی قرار می‌دهند. بنابراین، مقاله‌ای که می‌توانست یکجا چاپ شود و باعث پیشرفت سریعتر علم گردد، به‌صورت قطره چکانی در اختیار خوانندگان علاقه‌مند قرار داده می‌شود.
  • سازماندهی کنفرانس و کارگاه آموزشی
    سازماندهی کنفرانس‌ها و کارگاه‌های آموزشی خاص، باعث می‌شود که مقالات سازمان دهندگان آن‌ها به احتمال قریب به یقین در مجموعه مقالات کنفرانس چاپ گردد.

نتیجه این بازی‌ها را به هنگام حضور در کنفرانس‌ها می‌توان مشاهده کرد. افراد برای صحبت کردن می‌آیند نه گوش کردن. ارائه‌ها غالباً در سالن‌های خالی از جمعیت صورت می‌گیرد. برخی از ثبت‌نام کنندگان اصلاً درهیچیک از جلسات کنفرانس شرکت نمی‌کنند.
برخی ارزیابان سعی می‌کنند خطاهای آشکار سیستم شمارش مقالات را با در نظر گرفتن تعداد ارجاعات به مقاله کاهش دهند. امّا این نیز چیز زیادی را عوض نمی‌کند. من همچنان عقیده دارم که باید مقاله به دقت خوانده شود. برخی ارجاعات به خاطر نشان دادن این‌که موضوع، مورد علاقه دیگران نیز هست آورده می‌شوند و بعضی هم صرفاً به این خاطر هستند که نشان دهند نویسنده با ادبیات موضوع آشناست. گاهی اوقات نویسندگان مقالاتی را به‌عنوان مراجع مقاله خود ذکر می‌کنند که حتی آن‌ها را نخوانده‌اند. من خود بارها شاهد مقالاتی در لیست مراجع یک مقاله بوده‌ام که فقط عنوان مقاله ظاهراً مربوط به موضوع بوده و خود مقاله هیچ ارتباطی به مقاله اصلی نداشته است. می‌توان پژوهشگرانی را یافت که برای بالا بردن تعداد ارجاعات مقاله خود، دنباله‌ای از مقالات را آورده‌اند که هریک، برای رفع خطایی در نسخه قبلی نوشته شده‌اند. و سرانجام این‌که اهمیت بعضی مقالات سال‌ها ناشناخته باقی می‌ماند. تعداد کم ارجاعات به یک مقاله ممکن است به این خاطر باشد که آن مقاله آنقدر نوآورانه است که در ابتدا درک نمی‌شود.
ارزیابی دقیق کار یک پژوهشگر مستلزم این‌است که چند ارزیاب با صلاحیت، مقاله را بخوانند، آن‌را خلاصه کنند و توضیح دهند که کار نویسنده چگونه در یک تصویر بزرگتر و کلی‌تر از موضوع جای می‌گیرد. آنگاه این خلاصه‌ها باید به‌دقت توسط کسانی‌که ارزیابی را انجام داده‌اند و با حضور خود پژوهشگر مورد بحث قرار گیرد. این‌کار، زمانگیر است امّا بودجه‌ای که برای این‌کار صرف می‌شود برای ارزیابی دقیق ضرورت دارد.
در مقاله‌ای که اخیراً به چاپ رسیده، نرم‌افزاری برای خودکارسازی روش‌هایی که درحال حاضر در بسیاری‌از دانشگاه‌ها و بنگاه‌های سرمایه‌گذاری برای ارزیابی پژوهشگران به‌کار می‌رود، ارائه شده است. درواقع باید بگویم این نرم‌افزار کار را خرابتر از آنچه هست می‌کند. شمارش خودکار باعث می‌شود که تاکتیک‌هایی که پیش‌از این شرح دادم، حتی بیشتر از قبل، کشف نشده باقی بمانند.
یکی‌از مشکلات اساسی مطرح شده در این مقاله، قایل شدن امتیازات مختلف برای نویسندگان مختلف یک مقاله است. این‌کار دشواری است زیرا ترتیبات مختلفی برای آوردن نام نویسندگان مورد استفاده قرار می‌گیرد. ازجمله:

  • سرپرست گروه نامش در اول آورده می‌شود، چه مشارکت کرده باشد چه نکرده باشد.
  • سرپرست گروه نامش در آخر آورده می‌شود، چه مشارکت کرده باشد چه نکرده باشد.
  • نام نویسندگان به ترتیب نقش و مشارکتی که داشته‌اند آورده می‌شود.
  • نام نویسندگان به ترتیب «ورود» ثبت می‌گردد. یعنی نام کسی که نخستین پیش‌نویس مقاله را نوشته اول آورده می‌شود.
  • نام نویسندگان به ترتیب حروف الفباء ذکر می‌شود.

امتیازدهی مناسب به نویسندگان مختلف یک مقاله، مستلزم پرسش از آن‌ها (و اعتماد به جوابشان) یا مقایسه مقاله با مقالات قبلی نویسندگان است. یک مقاله ممکن است به‌گونه‌ای باشد که تمام نویسندگانش مستحق دریافت امتیاز کامل باشند. هیچ راه‌حل مکانیکی برای امتیازدهی نمی‌تواند قابل قبول باشد.
تنها هنگامی‌که کارشناسان و خبرگان فن، یک مقاله را به دقت بخوانند می‌توانند تشخیص دهند که آن مقاله چقدر در آن حوزه علمی تأثیرگذار می‌باشد. این امر خصوصاً در دانش رایانه صادق است زیرا در این حوزه، عبارات جدید غالباً جایگزین مفاهیم مشابه با نام‌های جدید می‌گردند. عنوان یک مقاله می تواند ایده‌ای قدیمی را به نظر جدید و مبتکرانه برساند. شمارش تعداد مقالات نمی‌تواند این موارد را کشف کند.
متأسفانه سیستم ارزیابی فعلی، خود باعث ابقاء خود می‌شود. آن‌هایی که در این سیستم امتیاز بالایی به دست آورده‌اند به‌ندرت به ارزیابی همدیگر می‌پردازند و علاقه‌ای به تغییر سیستمی که چنین موقعیتی برایشان فراهم ساخته ندارند.
کسانی‌که خواهان پیشرفت دانش رایانه‌اند باید با الگوهای امتیازدهی براساس شمارش مقالات به مخالفت برخیزند. اگر شما توصیه‌نامه‌ای علمی دریافت کردید که تعداد مقالات منتشر شده متقاضی را ذکر کرده بود و به میزان مشارکت او در تهیه آن مقالات اشاره‌ای نکرده بود، آن‌را نادیده بگیرید. اگر در کمیته ارتقاء یا تخصیص بودجه‌های پژوهشی هستید، مقالات داوطلب را بخوانید و محتوای آن‌را به‌دقت ارزیابی کنید. و اصرار کنید که دیگران نیز همین‌کار را انجام دهند.

منبع

٭ “Stop the Numbers Game”, David Lorge Parnas, Communications of the ACM, November 2007/Vol. 50, No. 11

توضیح مترجم
نویسنده این مقاله، دیوید پارناس، استاد مهندسی نرم‌افزار و مدیر آزمایشگاه پژوهشی کیفیت نرم‌افزار در دانشکده علوم کامپیوتر و سیستم‌های اطلاعاتی در دانشگاه لیمریک ایرلند است.