Professors Against Plagiarism

استادان علیه تقلب

مبارزه با تخلف و تقلب علمی در دانشگاه‌ها

این بلاگ به همت تعدادی از استادان دانشگاه‌های کشور ایجاد شده و هدف آن مبارزه با تخلف یا تقلب علمی در دانشگاه است

مقدمه

به‌نام خداوند هستی و هم راستی

این بلاگ به همت تعدادی از استادان دانشگاه‌های کشور ایجاد شده است و هدف آن مبارزه با تخلف و تقلب علمی در دانشگاه‌ها چه از سوی دانش‌جویان و چه از سوی اعضای هیات علمی است. متاسفانه ما شاهد گسترش حرکت‌های غیر اخلاقی در فضای علمی کشور هستیم که با انگیزه‌هایی چون اخذ مدرک، پذیرش یا ارتقای مرتبه‌ی دانشگاهی صورت می‌گیرتد.

ما با هرگونه تقلب مخالفیم و سکوت در برابر آن‌را هم جایز نمی‌دانیم. در این بلاگ قصد داریم برخی موارد و روش‌های تقلب‌ را بیان و ضمن آموزش به دانش‌جویان و تلاش برای اشاعه‌ی اخلاق و آداب حرفه‌ای در جمع خودمان‌، مسولان را وادار کنیم تا به مشکل تقلب و ریشه‌های آن واکنش جدی نشان دهند.

۲۱ مرداد ۱۳۸۷

استادان یا پژوهشگران حامی

حمایت

اگر می‌خواهید نامتان به‌عنوان یکی از حامیان ذکر شود، نام کامل و آدرس وبگاه خود را به آدرس ghodsi_AT_sharif_DOT_edu ارسال نمایید و در صورت تغییر گروه حامی ما را مطلع کنید..

تعداد زیادی آدرس بلاگ خود را فرستاده‌اند که متاسفانه امکان استفاده از آن به‌جای وبگاه نیست.

بایگانی مطالب

آخرین نظرات

مجلات کم اعتبار و H-index

محمد قدسی | دوشنبه, ۱۱ آذر ۱۳۸۷
از: حمیدرضا حبیبیان

با سلام،

مدتی است که این وبلاگ را می‌خوانم. تقریباً با تمام مباحثی که اینجا مطرح می‌شود موافقم اما نکاتی در مورد مجلات کم اعتبار وجود دارد.‌ به نظر من این درست نیست که بیاییم و لیست چند مجله را اینجا ذکر کنیم و بگوییم کم اعتبار هستند و داوری درست و حسابی ندارند و بحث‌های دیگری را پیش بکشیم.‌ برای این حرفم دلایلی دارم که به بعضی از آنها اشاره می‌کنم:

1- برخی از این مجلات تازه شروع به انتشار کرده‌اند و نظر دادن و زیر سوال بردن آنها شاید عجولانه باشد.

2- اینکه مجلات پولی باشند یا در عرض دو ماه جواب می‌دهند دلیل بر بد بودنشان نیست. می‌توانم مجله‌ای را برایتان مثال بزنم که حدود یک و نیم میلیون تومان برای چاپ مقاله دریافت کرده و پروسة داوری آن بین یک تا دو ماه طول می‌کشد. اما در زمینة خودش دارای رتبة اول می‌باشد. در حقیقت بیشتر مقالات چاپ شده در آن بعدها در مجله Nature چاپ شده‌اند. جالب است بدانید تا به حال فقط دو مقاله در این مجله چاپ شده که تمام اعضایشان از ایران بودند. از این دست مجلات که هم پولی هستند و هم زود جواب می‌دهند کم نیست!‌ در ضمن بسیار معتبر هم می‌باشند.

3- مدل پول گرفتن از مولف برای مقاله (Author Pay Model) روشی است که در چند سال اخیر در مورد توجه قرار گرفته است. اکثر مجلات معتبر در زمینه فنی تمایل دارند از این مدل استفاده کنند. یعنی پول را از مولف دریافت کرده،‌ در عوض مقاله به صورت آنلاین در دسترس همه قرار می‌گیرد در نتیجه همه به سرعت می‌توانند از پیشرفت‌ها و ایده‌های جدید با خبر شده و در جهت پیشرفت آن کار ایده‌های جدید مطرح کنند!‌ من نوعی وقتی ایده‌ای مطرح می‌کنم دوست دارم خیلی سریع به دست دیگران رسیده،‌ نقد شده و پیشرفت داشته باشد، نه اینکه چند سال بعد کسی به طور اتفاقی به آن برخورد کند! البته این روش اشکالات زیادی دارد که فعلا در دست بررسی است. اما به نظر می‌رسد دیر یا زود اکثر مجلات معتبر به این سمت خواهند رفت. خود من داور یکی از Transaction های IEEE هستم. حدود دو ماه قبل، IEEE نظر سنجی‌ای از تعداد محدودی از داورانش انجام داد مبنی بر اینکه چگونه به سمت استفاده این مدل حرکت کنند! مبالغی هم که در نظر گرفته بودند بیش از 2500 دلار بود. البته برای این مساله حدود 50 سوال مطرح کرده بودند که در نهایت با توجه به تمامی این جنبه‌ها تصمیم خواهند گرفت.‌

4- امکان ندارد بتوانیم در این سایت برای تمامی رشته‌ها مجلاتی را که کم اعتبار هستند و مشخصاتشان بارها در این وبلاگ اشاره شده، بشناسیم. ما فقط در صورتی پی به بعضی‌ از این مجلات خواهیم برد که ببینیم اطرافیانمان به تعداد زیاد و در یک بازة کوتاهی در مجله‌ای خاص مقاله چاپ کرده‌اند. در حالی که حتماً مجلات این‌چنینی دیگری وجود دارد که هنوز نمی‌شناسیمشان و شاید عده قلیلی و به تعداد کم در آنها مقاله چاپ کرده‌اند (یا خواهند کرد). این شاید دور از عدالت باشد که فقط اسم چند مجله ذکر شود.

5- بعضی از این مجلات جزو مجلات ISI می‌باشند. هر چند با Impact Factor پایین. هر چند با پروسه داوری ضعیف برای بعضی مقالات. اما ....... حتماً استانداردهایی داشتند که در لیست ISI ذکر شده‌اند. مثالی می‌زنم! مجلة Applied Mathematics and Computation توسط این سایت به عنوان یک مجلة کم اعتبار شناخته شده!‌ البته لازم به ذکر است که بنده حتی یک مقاله هم در این مجله چاپ نکرده‌ام و فقط می‌خواهم به نکاتی اشاره کنم و بگویم که اظهارنظر در مورد یک مجله و اعتبار آن به این راحتی نیست! به هر حال .... کم اعتبار شدن این مجله از آنجایی مطرح شد که مقاله‌ای تولید شده توسط یک نرم‌افزار توسط این مجله پذیرفته شد. اما اگر پیگیر قضیه بوده باشید حتماً در سایت آن مجله و در همان زمان باید مطلبی را دیده باشید مبنی بر آنکه از خواننده‌ها عذرخواهی گردیده و آن مقاله را از روی سایت برداشتند. گفتند که چاپ نشده و کل Editorial Board مجله پس از آن قضیه عوض شد! بعضی اساتید در این مجله مقالات زیادی چاپ کرده‌اند و به این ترتیب ارتقا و کلی اعتبار کسب کرده‌اند اما آیا این امر به طور کلی ایرادی دارد؟ در مجالات معتبر هم از این دست اتفاقات افتاده!‌ معمولا بعد از اینکه فردی در مجله‌ای چند مقاله چاپ کرد بقیه‌ مقالات وی در همان مجله راحت‌تر پذیرفته می‌شوند!‌ ولو اینکه امکان دارد سطح بعضی از مقالاتش‌ پایین‌تر از آن مجله باشد!‌ به عبارت دیگر در مجلات بسیار معتبر هم مقالات کم ارزش وجود دارد!‌

6- شاید اینطور به نظر بیاید که من قصد حمایت از مجلات کم اعتبار را دارم. اما همان‌طور که عرض کردم نه نفعی دارم و نه مقاله‌ای در این مجلات. فقط هدفم جلب توجه به مواردی است که کمتر بحث شده‌اند. ضمن اینکه با توجه عنوان این وبلاگ،‌ هدف مبارزه با دزدی ادبی و تقلب می‌باشد. در حالی که اکثر مطالب وبلاگ مربوط به معرفی و اثبات کم اعتبار بودن چند مجله‌ای بود که حتماً تمام افرادی که در آن حوزه‌ها فعالیت دارند خودشان بهتر از هر کس دیگه‌ای این مجلات را می‌شناسند. شاید بگویید هدف این است که می‌خواهیم بالاخره حرفمان به گوش عده‌ای برسد تا بلکه مسئولین کاری کند که منبعد امتیازی به این مجلات داده نشود! اما به نظر من این کار مشکلی را حل نمی‌کند. خیلی راحت مجلات این‌چنینی با چندین ساعت وقت گذاشتن پای اینترنت پیدا می‌شوند و قبل از آنکه مسئولان متوجه شوند باز عده‌ای به این طریق اعتبار و ارتقا پیدا کرده‌اند!‌

7- سوال! پس راه حل چیست!‌؟ به نظر من راه حل ورای این است که بنشینیم و کلی انرژی صرف کنیم و این مجلات را پیدا کنیم. بهتر است اگر آیین‌نامة ارتقا ایرادی دارد این مساله به گوش مسئولین برسد! البته نکته‌ای دیگر را هم باید در نظر گرفت!‌ آیین‌نامه باید به گونه‌ای و به آرامی اصلاح شود که خدای نکرده بی‌عدالتی در مورد افرادی که تازه شروع به تحقیق کرده‌اند صورت نگیرد! ‌اینطور نباشد، حالا که اساتیدی به درجه استاد کاملی رسیده‌اند دیوارها را برای بقیه بالا ببرند!

8- در آیین‌نامة جدید ارتقای اعضای هیئت علمی پژوهشی وزارت بهداشت بند جالبی وجود دارد که چنان‌که این بند یا شکل دیگری از آن در آیین‌نامة ارتقای هیئت علمی‌های آموزشی وزارت علوم هم گنجانده می‌شد شاید کمی از این مسائل را حل می‌کرد. در آیین‌نامة مذکور یکی از شرایط ارتقا از دانشیاری به استاد کاملی این است که متقاضی بایستی حداقل سه مقاله (به اسم اول یا اگر کار دانشجوست به اسم دوم) ISI داشته باشد که به هر کدام از آنها حداقل در سه مقاله دیگر استناد شده باشد و از این سه مورد فقط یکی می‌تواند Self Cite یا استناد به خود باشد! حالا اگر کسی در مجلات کم اعتبار مقالاتی چاپ کند احتمال این که کسی به آن استناد کند، به شدت پایین می‌آید. چون همان‌طور که می‌دانید بزرگ‌ترین و مهم‌ترین عیب این مجلات کم بودن استنادات به مقالات آنها می‌باشد. وگرنه اگر استناد زیادی به مقالات این مجلات داده می‌شد که تبدیل به مجلات معتبر می‌شدند!!! این آیین‌نامه اشکالاتی دارد که مثلا شاید کسی با دوستانش تبانی کند و به کارهای یکدیگر استناد کنند. که البته این‌کار کمی مشکل‌ است!‌ مخصوصاً‌ اگر برای ارتقا تعداد استنادات بیشتری مورد نیاز باشد. این اشکال با چند تبصره قابل رفع می‌باشد.

9- روش فوق بسیار شبیه فاکتور H-Index می‌باشد. این فاکتور توسط Hirsch (فیزیک‌دان دانشگاه کالیفرنیا – سن‌دیه‌گو) در سال 2005 معرفی گردید. برای دسترسی به این مقاله می‌توانید به لینک (10.1073/pnas.0507655102) مراجعه کنید. طبق این مقاله به هر محققی فاکتوری به نام h اختصاص داده می‌شود. محقق دارای فاکتور h خواهد بود هرگاه به هر یک از h مقاله از N مقالة‌ وی حداقل h بار استناد شده باشد و به هر کدام از (N-h) مقالة باقی‌ماندة وی حداکثر h بار استناد شود. به عبارت دیگر اگر فردی 10 مقاله داشته باشد زمانی وی داری H-Index برابر با 3 خواهد بود که سه مقاله داشته باشد که به هر کدام ار آنها حداقل سه بار و به هر کدام از 7 مقالة ‌باقی‌مانده حداکثر سه بار استناد شده باشد!!! از نظر Hirsch یک فیزیک‌دان زمانی می‌تواند تقاضای درجة‌ استاد کاملی نماید که در زمینة مورد تقاضا داری فاکتور h برابر با 18 باشد!‌ دقت می‌کنید!‌ یعنی 18 مقاله داشته باشد که به هر کدام از آنها حداقل 18 بار رفرنس داده باشند! چنانچه فردی دارای فاکتور h بالای 45 باشد حائز شرایط عضویت در آکادمی ملی علوم ایالات متحده خواهد بود!‌ برای کسب اطلاعات بیشتر در مورد دیتا بیس‌های معتبر مورد استفاده برای استخراج این فاکتور علاوه بر مقالة فوق می‌توانید به آدرس (http://en.wikipedia.org/wiki/Hirsch_number) مراجعه نمایید. لیست افرادی که در حوزة علوم کامپیوتری دارای فاکتور h بالای 40 هستند را نیز می‌توانید در آدرس (http://www.cs.ucla.edu/~palsberg/h-number.html)‌ ملاحظه نمایید.

10- در خاتمه بار دیگر تکرار می‌نمایم که هدف من حمایت از مجلات کم اعتبار نیست. هدف بیان نکاتی بود که شاید در جهت بهبود کیفیت کارهای پژوهشی انجام شده در کشور کمکی نماید.
موافقین ۰ مخالفین ۰ ۸۷/۰۹/۱۱
محمد قدسی

نظرات (۲۳)

I should like to add that I am personally very sceptical about the relevance of the H-index to the quality of the published works by academics. To clarify, in the footnote of my second Comment on this page I underlined the fact that calculation of the H-index does not involve any dimensional quantities, in contrast to the E-index whose calculation involves two dimensional quantities. Human beings being part of the physical world, I am principally suspicious of any characterisation of human beings and of their works that are solely in terms of dimensionless quantities; there must be some physical scale or scales (i.e. dimensional quantities) involved in these characterizations, or one is dealing with pure numerology. For instance, we give a person a gold medal for running a specific distance in a specific time interval; similarly for a person lifting a specific amount of mass to a specific height, etc. Lest I be accused of materialism, yes we also do award a writer with a prestigious literary prize without this writer's writings being directly (or explicitly) characterizable in terms of dimensional quantities. I contend that this example rather than refute the main point of my argument, shows that the task of characterizing the outpourings of the human mind is a very non-trivial one.* Above all, I am not advocating that all things can and should be quantified.

To appreciate my above point, consider the E-index, which, as I have said, involves two dimensional quantities (with dimensions of length and time). Not surprisingly, this index makes perfect sense to all of us: on hearing that of two persons one has the E-index 10 and the other the E-index 20, we all will have an immediate idea regarding the physical capabilities of these individuals. This is not the case however with the H-index. I truly have no idea as to what the H-indices 10 and 20 (for example) signify with regard to the intellectual capabilities of the two academics characterized by these H-indices. Less so with regard to their teaching capabilities.

In my opinion, the H-index is rather a measure for an academic's connectivity with the members of her/his community than a measure of her/his academic achievements, or intellectual prowess (an academic with a high H-index is almost by definition someone who hops from one international conference to the next, in each rejuvenating her/his contacts with colleagues**). Of course, there is no denying that being well-connected is an advantage and that we should value those colleagues of ours who are well-connected, however it would be a grave error of judgement to view those who are not as well-connected as lesser academics. Naturally, there is a positive correlation between being well-connected and being an intellectually superior academic, however there is no one-to-one correspondence between the two.

I believe that the academic community must welcome and celebrate diversity rather than shun it. Selecting and promoting academics on the basis of numerology leads to a monoculture that has no long-term prospects. To recognize this, one should be mindful of the crucial significance of genetic diversity to evolution (see also Monoculture).

I close this Comment by recommending all to read the following very insightful article by a very prominent Nobel Laureate:

Philip W. Anderson
Why Do They Leave Physics?
Physics Today, Vol. 52, p. 11 (1999).

BF.
_______
* One could say that we find a particular literary work praiseworthy because it influences our psychological state in a specific (i.e. pleasant) manner. If we were able to quantify psychological states (rather like the states of a classical system in terms of p's and q's), then we would be able to quantify works of art as we do such physical activities a fast running and weight lifting.

** از دل برود هرآنچه (آنکه) از دیده برفت
من نگفتم اچ اندیکس بالای بیست داشته باشد!!!! من گفتم اگر استادی بتواند "یک مقاله" با 20 بار ارجاع بدهد باید به او امتیاز خاصی داد که در مچموع امتیازات او برای ارتقا حساب شود.

و به همین ترتیب اگر "یک مقاله" با 50 ارجاع بدهد باید به او امتیاز بالاتری داد
روزبه جان، شما اول از اچ ایندکس حمایت می کنی (با حذف ارجاعات به خود). بعد می گی اگه مقاله ای زیر 20 تا ارجاع داشته باشه نمی شه به این تعداد ارجاعات اعتماد کرد. به این ترتیب از این دو گزاره می تونیم نتیجه بگیریم شما از این موضوع حمایت می کنی که کسی بتونه ارتقا بگیره که اچ ایندکس 20 یا بزرگتر داشته باشه. می شه بپرسم تو دانشگاهی که خود شما هستی، چند تا استاد هستند که اچ ایندکس بالای 20 دارند؟ در ضمن، اگه به همون مقاله هیرش مراجعه کنی، متوجه می شی که مفهوم "اچ ایندکس زیاد" از یک رشته به یک رشته دیگه خیلی فرق می کنه.
البته علی رغم وجود نقص های زیادی در این معیار معتقدم "مقالاتی" که تعداد ارجاعشان از میانگین ارجاعات به میزان قابل توجهی بالاتر است غالبا مقالات خوبی هستند (مثلا 50 تا). در حقیقت با وجود حضور نویز هنوز سیگنال های قوی خودشان را نشان میدهند. در حقیقت مهم نیست نویز چقدر باشد مهم این است که نسبت سیگنالی که میخواهیم اندازه بگیریم به نویز چقدر است.
-----------------------------------
کپی کردن ارجاعات معمولا اشکال زیادی را به این سیستم وارد نمیکند چرا که اگر کار شما حالت ویژه ای از کار یک فرد دیگر باشد و شما هم ارجاعات او را کپی کنید در حقیقت به طور غیر مستقیم از منابع او استفاده کرده اید و به آنها ارجاع هم داده اید. معمولا اشکال از مراجعی هست که با جستجوی سریع در بانک های اطلاعاتی بدست میایند.
----------------------------------
در مورد مقالاتی با ارجاعات زیر 20 به نظر من "از روی ارجاعات" نمیتوان اظهار نظری کرد.
----------------------------------
The following is the paper that in my first Comment on this page (concerning the Matthew Effect) I mentioned that I was not able to find in a staple of my old papers:

M.V. Simkin and V.P. Roychowdhury
Copied citations create renowned papers?
cond-mat/0305150

This paper is preceded by the following related paper:

M.V. Simkin and V.P. Roychowdhury
Read before you cite!
cond-mat/0212043

and succeeded by the following related paper:

M.V. Simkin and V.P. Roychowdhury
A mathematical theory of citing
cond-mat/0504094

I warmly recommend all to read at least the first of the above three papers. In the abstract of this paper one reads:

"Recently we discovered (cond-mat/0212043) that the majority of scientific citations are copied from the lists of references used in other papers. Here we show that a model, in which a scientist picks three random papers, cites them, and also copies a quarter of their references accounts quantitatively for empirically observed citation distribution. Simple mathematical probability, not genius, can explain why some papers are cited a lot more than the other."

In the first paragraph of this paper one reads:

"During the "Manhattan project" [...], Fermi asked General Groves, the head of the project, what is the definition of a "great" general [1]. Groves replied that any general who had won five battles in a row might safely be called great. Fermi then asked how many generals are great. Groves said about three out of every hundred. Fermi conjectured that considering that opposing forces for most battles are roughly equal in strength, the chance of winning one battle is 1/2 and the chance of winning five battles in a row is 1/2^5 =1/32 . "So you are right General, about three out of every hundred. Mathematical probability, not genius." The existence of military genius was also questioned on basic philosophical grounds by Tolstoy [2]."

[1] See e.g. W.E. Deming, "Out of the crisis" (MIT, Cambridge, 1986).

[2] L. Tolstoy, "War and Peace".


BF.
Just wish to make a brief remark concerning the H-index. This index is principally identical to the E-index (or the Eddington number) in cycling, introduced by the British astrophysicist (Sir) Arthur Stanley Eddington. In practice, the two indices differ in that whereas the E-index directly reflects one's actual efforts in cycling, the H-index is more indicative of the "magnanimity" of one's colleagues in quoting one's relevant publications.*

BF.
___________
* The two indices are different in one other way: calculation of the H-index does not involve any dimensional scale, however calculation of the E-index involves two dimensional scales, one of length (traditionally expressed in miles; 1 mile = 1.609 kilometers) and one of time (conventionally expressed in days).
در پاسخ به آقای مرعشی:

البته هر تلاشی که به افزایش کیفیت علمی مقالات منجر شود جای تقدیر
دارد

در تمام مواردی که ارائه کردید صحبت از نویسندگان و داوران و ادیتور هایی است که منافع و نگرش شخصی یا سهل انگاری خود را در پذیرش یا
ارجاع دادن به مقالات اعمال میکنند که بسیاری از آنها وجهه بین المللی هم دارند. حال اگر چنین هیئتی نیز تشکیل شوداز این قائده مستثنی نیست.

-------------------------------

در این صورت خوب میتوانیم به داوری داور مقاله و ادیتور ژورنال اعتماد کنیم. چه لزومی دارد داوری ما از داوری آنها دقیق تر باشد؟

--------------------------------

اندازه گیری ارزش بسیاری از مقالات حتی برای یک محقق فوق العاده با خواندن مقاله ممکن نیست. بسیاری از مقالات امکان ها و روشها و تئوری هایی را مطرح میکنند که در عمل باید دید تا چه میزان کارایی دارند و در نهایت به چه پیشرفت هایی منجر میشوند بسیاری از مقالات متحول کننده در مرحله اول نتوانسته اند در ژورنال های درجه یک به چاپ برسند چرا که کسانی که آن مقاله را داوری کرده اند از حوزه اثر گذاری آن مقاله بی اطلاع بوده اند. اگر ما میتوانیم آنقدر وقت بگذاریم و تمامی حوزه های مرتبط با کار فرد را بررسی کنیم خوب میتوانیم وقت بگذاریم و ارجاعات داده به او را تک تک بررسی کنیم! (و ارجاعات واقعی را جدا کنیم) تا از نظر دیگران نسبت به این کار مطلع شویم.
۱۶ آذر ۸۷ ، ۱۱:۱۳ سید امیر مرعشی
آقای روزبه‌ صنایی

فرمودید «تشکیل هیئتی که شامل یکی از برترین های هر حوزه محدودی باشد دور از دسترس است.»

باید تاکید کنم ما در کشوری زاده شده ایم که مسوولان آن بارها گفته اند «می توانیم و می شود». اگر «می توانیم و می شود» درست باشد، پس مسوولان تشکیل این کمیته ها را نمی خواهند، و گر نه تا حالا تشکیل «می شد»! چطور وقتی بحث در زمینه توسعه باشد بر اساس آمارها افزایش سرعت تولید علم در ایران از تمام دنیا جلو می زند، اما «نمی توانیم» در هر زمینه ای یک کمیته از آدمها را دور هم جمع کنیم؟
۱۵ آذر ۸۷ ، ۲۱:۱۶ Mohammad R. Salavatipour
Why are you looking for something to "count"?
We don't count anything (e.g. the number of pages) to judge if a Ph.D. thesis is worth a Ph.D.?!
Is only a number based system that can tell what is a strong research and what not?
مسئله ای که وجود دارد مقایسه ایران با کشورهای توسعه یافته است. در ایران متاسفانه اساتیدی وجود دارند که یک مسئله را برای 100 حالت خاص حل میکنند و آن را برای ژورنال های مختلف میفرستند و اساتیدی وجود دارند که از دانشجو میخواهند که یک مقاله را از اینترنت! داونلود کند و سپس آن را کمی توسعه دهد و تعدادشان هم کم نیست. (در اینجا نه کپی کاری صورت گرفته و ژورنال هم متوسط به بالا است) ولی این مقاله ها اغلب نه خواننده ای دارند و نه کاربری خاصی تشکیل هیئتی که شامل یکی از برترین های هر حوزه محدودی باشد دور از دسترس است. و در حال حاضر دانشگاه های ایران کم و بیش با شمردن تعداد مقاله های چاپ شده در مورد اساتید قضاوت میکنند. ما در حال حاضر به یک معیار کم و بیش بهتر نیاز داریم که این روند را بهبود دهد. اگر چه ممکن است بر آن اشکالاتی وارد باشد. به بیان بهتر من فکر میکنم ما اگر به نویسندگان نامبرده با همان ارجاعاتشان هم امتیاز بدهیم از امتیاز دهی کنونی بهتر است چون ممکن است در سیستم امتیاز بندی کنونی هیچ کدام انتخاب نشوند!!!.

---------------------------------
اشکالات شمردن ارجاعات کم نیست ولی از شمردن تعداد مقالات به مراتب بهتر است.
Just wish to bring to the attention of the interested a phenomenon that has come to be known as the Matthew Effect, in recognition of Saint Matthew's biblical statement that:

"For unto every one that hath shall be given, and he shall have abundance: but from him that hath not, even that which he hath shall be taken away." (St. Matthew, 25: 29)

Most publications regarding the Matthew Effect cite the following article as the primary reference:

Robert K. Merton
The Matthew Effect in Science: The reward and Communication Systems of Science are considered.
Science, Vol. 159, no. 3810, pp. 56-63 (1968).

This paper can be downloaded here free of charge.

It has been suggested that the attribution of the term "Matthew Effect" to Robert Merton "might itself be an example of that very effect". However, in a Letter to Physics Today the celebrated theoretical physicist N. David Mermin (the second author of the Solid State Physics textbook, best known as "Ashcroft & Mermin") argues that this is not the case.

Manfred Bonitz has the following related relevant paper which is worth reading:

Manfred Bonitz
National Science Systems and the Matthew Effect for Countries
Revised and extended version of a paper presented at the 7th International Conference on Scientometrics and Informetrics, 5-8 July 1999, Mexico.

Bonitz has more recent related publications (e.g. one dating 2005) which can be easily found with the aid of Google Scholar.

There is a vast body of publicly-available literature on the internet on the subject matter, two of which I shall cite below. Before doing so, I point out that for the purpose of writing the present Comment I did some unsuccessful search in a staple of my old papers for finding a very interesting paper published around 2003-2004; in this paper, the authors presented the results of their very careful analysis of the prevalence of typing errors in the reference lists of a large number of scientific publications; these authors conclusively showed that these typing errors are strongly correlated, suggestive of the possibility that a large number of references get cited without the citing authors having consulted them --- that is, the citing authors must have just copied an earlier reference containing typing error or errors (it turns out, for instance, that at one point in time the page number of a paper gets incorrectly typed, say, 1235, instead of 1234, and in the subsequent citations of the paper at issue one very often encounters the incorrect page number 1235). By this, the authors made a very strong case regarding the reality of the Matthew Effect.

Here are the two interesting references to which I referred above:

M.E.J. Newman
The first-mover advantage in scientific publication

Richard S.J. Tol
The Matthew Effect Defined and Tested for the 100 Most Prolific Economists

BF.
با تشکر از دکتر صلواتی پور

1. کاملا حرف شما صحیح است که نمیتوان تمام تلاش های علمی یک فرد را در یک عدد خلاصه کرد به همین ترتیب نمیتوان آن را در سه رتبه استادیاری؛دانشیاری؛ استادی خلاصه کرد و به همین ترتیب نمیتوان آن را در یک امتیاز پژوهشی و یک بودجه پژوهشی خلاصه کرد. ولی ناگریز از استفاده از اعداد هستیم چون ناگریز از مقایسه هستیم. در حقیقت ما سرانجام ناگریز به اختصاص یک عدد به آن فرد هستیم پس از یک مرحله به بعد باید داده هایمان را به یک کمیت عددی تبدیل کنیم.


2. در بسیاری از تئوری ها و متدولوژی ها اختلاف نظر وجود دارد و من نمیتوانم صرفا چون خودم موافق یک تئوری نیستم بگویم آن فرد و تمامی افرادی که به آن فرد ارجاع میدهند اشتباه میکنند. (اگر چه ممکن است ایمان داشته باشم که حرف من درست است). در حقیقت برای تعیین اینکه چه چیزی درست است؟ در جامعه علمی ناگریز از رای گیری هستیم که این رای گیری به شکلی در ارجاعات منعکس میشود. اگر چه هر فرد ممکن است روی رای خودش استدلال هایی داشته باشد و آن را درست تر بداند

3. منظورم از رقابت تنها رقابت شرکت ها نبود طبیعی است که بسیاری از پروژه ها پروژه های صنعتی نیستند خصوصا در حوزه بیولوژیک و پایه این مسئله بیشتر هم هست.


4. البته گستره نویسندگانی که به آن فرد ارجاع داده اند. حوزه کاری فرد، گستره مجلاتی که مقاله در آن ها ارجاع شده است خوب است بررسی شود ولی این امر بهتر است به شکل ریاضی و بر مبنای یک فرمول!انجام شود تا قابل استناد باشد و سلیقه ای نشود چون مسئله "نان قرض دادن" که ذکر شد اینجا هم بالطبع میتواند اتفاق بیافتد .
۱۳ آذر ۸۷ ، ۲۰:۲۲ Mohammad R. Salavatipour
To Mr. Sanaei,

1-It's true that good research papers get many citations, but it's not true that every paper that gets many citations is a good paper. I explained earlier why relying on this number is not helpful.

2- The consequence of using numbers for evaluating research works is that you'll see more junk papers. People will try to increase all these numbers by breaking research results to the smallest pieces each of which is publishable in the lowest possible journal acceptable in that system. It's not a coincidence that most people that I have seen that generate weak papers at greater numbers considers these numbers important.
Yes, using numbers is one way, but the result is what you see happening there. Here most universities don't use that system.

3- It's not true that most of funding sources here are from Industry. It's the government (both here and in the US). And I know it's the same in Iran. So your last reasoning is not true either.

December 3, 2008 7:48 PM
زمانی که فردی در رشته خود "برجسته" و شناخته شده باشد طبیعتا بخاطر کاربری مقالات خود این شهرت را یافته است و کسانی که از آن مقاله استفاده کرده اند به آن نیز ارجاع داده اند. من فرد برجسته ای در رشته خودم نمیشناسم که دارای ارجاعات خوبی نباشد.
------------------------------
به عددی بودن قضاوت ها نمیتوان صرفا خرده گرفت به هر حال یک مجموعه اطلاعات را میتوان به هر شیوه ای نمایش داد و یکی از آن شیوه ها هم نمایش عددی است!!!!
------------------------------
در مورد هیئت برتر دانشگاه من تصور میکنم این امر در "ایران" به علت بودجه دولتی و نبود رقابت صنعتی در فاصله زمانی کمی به سلیقه ای و روابطی شدن بیشتر منجر شود. پایه نظام آموزشی در بسیاری از نقاط جهان بر پایه رقابت هایی است که در ایران وجود ندارد
۱۳ آذر ۸۷ ، ۰۰:۲۲ Mohammad R. Salavatipour
Dear Dr Habibian,

You are right, the rules/guidelines for getting promotion, funding, and/or degree are not properly set and that's why you see a flood of junk papers being produced. As I mentioned in my previous post, I think any such guidelines that put a requirement dependent on a set of numbers (doesn't matter what system you use or what ranking, anything that is number based) is flawed.
I am not aware of a single good university here in NA that has such requirements for promotion or any funding agency that supports funding on such basis.
As I said, the way it works here is to require peer reviews of an applicant for any sort of promotion or funding support. And these peer reviews should come from outside (not internal). If I an applicant goes for promotion, s/he may suggest some potential reviewers who are not his/her co-authors. The university may pick some from that list, but will definitely pick other experts from outside that list and seeks their opinion about the applicant. Usually, 6-10 reference letters are needed from top researchers in that area from other universities (nationally and internationally). For promotion to full professor, the applicant must be well-known across the world (not just NA) and there must be at least 10 such letters.
Similar reviews are needed when applying for funding.
Therefore, it doesn't matter if I publish 3 or 4, or 10 papers in ISI journals. They should be top journals in the view point of the reviewers and some of the papers should be well-known enough that the reviewers (which are anonymous to the applicant) can say they were major achievements in that field. Needless to say, even if you have some good papers but a lot more papers in all these weak journals it will definitely have a negative effect on your application.
۱۲ آذر ۸۷ ، ۲۱:۲۵ محمد صدقی
با سلام
من فکر ساختار آموزشی و سیستم ارتقا مشکل دارد. در کشورهای خارجی وقتی به یک شخص درجه استاد کاملی اعطا می‌شود که تسلط کاملی بر دامنه تحقیقاتی خویش داشته باشد. من استاد می شناسم در دانشگاههای کانادا با 25 مقاله ISI هنوز دانشیار هست. به جرات میتوان این شخص در حیطه تخصصی خویش حرف اول را میزند، مشکل حداقل زمان ( 5 سال برای دانشیار شدن و 4 سال برای استاد شدن) را هم ندارد. مشاهده می شود انجا خیلی اصولی با این مسائل برخورد می‌شود. نمونه دیگری را در هلند سراغ دارم که طرف سال 1980 درجه دکتری خود را دکترا گرفته است و در طی این بیست و چند سال ادیتور مجالات معتبر امریکایی و اروپایی بوده و داور بیش از 20 مجله تاپ مربوط به رشته خویش. در حالیکه ایشان در سال 2002 به رتبه استادی رسید. پرواضح هست که سیستم ارتقا در ایران مشکل دارد. ارتقا نباید فقط محدود به هیات ارزیابی درون دانشگاه باشد، باید هیات ممیزه کاملا تخصصی توسط وزارت علوم تعیین گردد (حتی اگر نیاز باشد از دانشگاههای خارجی کمک گرفته شود). مشکل اساسی فقط به رشد هرزگونه مجلات بی اعتبار منتهی نمی‌شود. ارتقا فقط نبایستی به چاپ مقاله ISI محدود گردد. وقتی تهنا کشور امریکا بیش از چند هزار مجله ISI دارد چگونه میتوان به این سیستم اتکا کرد. هر ژورنال ISI که معتبر نمی باشد. در بین دانشگاههی ایران فکر کنم سیستم دانشگاه شیراز و شریف کمی سختگیر تر از بقیه می باشد. در ضمن بایستی به هر مقاله با توجه ماهیت و کاربردی بردن محتوی ان، نمره داد نه صرفا براساس چاپ در ISI. در همین الزویر و اسپرینگر مجلات زیادی هستند که داوری بسیار ضعیفی دارند. باید سمتی حرکت کرد که محققان ترغیب شوند مقالات خویش را در مجالات معتبر انجمنهای تخصصی( مثل IEEE, ASME, ASCE, AGU,…) مربوط به رشته خویش چاپ کنند. این سختگیرانه ترین روش هست. نباید قوانینی تصویب کرد که محقق کاسب علم شود بلکه باید طوری اجرا شود که طالب علم گردد. در همه مسائل مربوط به قوانین دانشگاهی مشکل وجود دارد. هنوز در ایران فرق بین گرد آوری و تالیف مشخص نیست. خیلی ها با این سیستم گرداوری مطالب در قالب کتاب به درجه استادی نائل شدند. خیلی با سیستم چاپ مقالات فاقد اعتبار کنفرانسی ( چاپ 10 مقاله در یک کنفرانس) و مجلات زرد( پاکستانی و ....) استاد می‌شوند. باید ائین نامه بطور اساسی مورد بازنگری قرار گیرد حتی اگه منجر به این نتیجه شود که کسی نتواند استاد تمام شود.
۱۲ آذر ۸۷ ، ۱۸:۴۵ Ali Reza Mansouri
سلام
من فکر می کتم
h-index
زیاد قابل اتکا و اطمینان صد در صد نیست
با مطرح شدن این پارامتر اخیرا
"اصطلاح "نان به هم قرض دادن
رایج شده و افراد با یک ارتباط بسیار ضعیف به مقاله دوستان خود لینک می دهند.
و به هم بده بستان دارند
با تشکر از نظرات دوستان و اساتید گرامی لازم می‌دانم نکاتی را در تکمیل مطالب نوشته شده عنوان نمایم.

1- در مورد "مدل پرداخت توسط مولف" بله حق با دکتر صلواتی‌پور می‌باشد. این مدل برای تمامی رشته‌ها و حتی گرایشات یک رشته مناسب نیست واتفاقاً‌ یکی از موارد مورد بحث در مقالات مربوطه، این موضوع می‌باشد. اما آنچه تاکنون مطرح شده نشان می‌دهد که این تمایل در رشته‌های فنی بیشتر است. منظور من از بیان این مطلب آن بود که صرف گرفتن پول نمی‌توان نتیجه گرفت که مجله‌ای کم اعتبار است.
2- دکتر جابری‌پور به نکته صحیحی اشاره کردند که با "و" چند معیار باید نتیجه گرفت که چه مجله‌ای کم اعتبار است. به عبارت دیگر مجلاتی کم اعتبارند که برای چاپ مقاله پول دریافت می‌کنند و خیلی سریع جواب می‌دهند و ادیتورهای ضعیفی دارند و حتی ممکن است داوری مقاله هم انجام ندهند. کاملاً صحیح است. هر چند که باز هم ابهاماتی وجود دارد!‌ اگر مجله‌ای پول دریافت نکند، از طرف انتشارات مقبولی چاپ شود (مثل الزویر)، ادیتورهای آن متوسط بوده، پروسة داروی در حد دو تا سه ماه باشد چه؟ آیا می‌توان حکم به کم اعتباری آن داد یا خیر!؟ گاهی اوقات در مجلات معتبر هم داوری بعضی مقالات به داورانی سپرده می‌شود که اطلاع چندانی در مورد موضوع ندارند با اینحال داوری مقاله را قبول می‌کنند!!!! (کاری با وجدانشان ندارم، به هر حال از این دست اتفاقات رخ می‌دهد). شاید آنهایی که در مجالات معتبر مقالاتی چاپ کرده‌اند و با توجه به نظرات و تصحیحات هر سه داور متوجه شده‌اند که داوران شاید خیلی به موضوع مورد بحث احاطه نداشته‌اند منظور مرا بهتر درک کنند. به هر حال این مقالات داوری شده و پذیرفته شده‌اند. تنها فرق این است که بله در مجلات معتبر کمتر چنین اتفاقاتی می‌افتد.
3- اصلاً ‌نمی‌خواهم جوابی به سوالات فوق داده شود فقط می‌گویم ابهاماتی وجود دارد. هر قدر این بحث‌ها در این وبلاگ صورت پذیرد شاید به جمع‌بندی هم نرسیم!‌ شاید در پست نوشته شده نتوانستم منظورم را به وضوح بیان نمایم! اگر دقت کرده باشید خود من هم از مجلات معرفی شده با عنوان مجلات "کم اعتبار" نام بردم!‌ حتی می‌توان به آنها "بی اعتبار" هم گفت!‌ قبول دارم که کم اعتبارند! قبول دارم که تعدادشان زیاد است! قبول دارم که چاپ مقاله در این مجلات فقط برای گرفتن مدرک، امتیاز و ارتقا می‌باشد. همه اینها قبول!‌ تمام حرف من این است که آیین‌نامه‌ها، قوانین و سیستم به گونه‌ای اصلاح شوند که دانش‌جویان یا اساتید رغبتی برای چاپ مقالات در این مجلات نداشته باشند! شاید درست نباشد یافتن این مجلات را با جانی‌ها مقایسه کنیم!‌ بله اینکه نمی‌توانیم همه بزهکاران را معرفی کنیم دلیل نمی‌شود دنبال آن عده‌ای هم که مشخصند نرویم!‌ اما دیدگاهی هم وجود دارد که می‌گوید جامعه و قوانین باید به گونه‌ای باشد که جانی‌پرور نباشد!‌ چرا قوانین ما طوری است که عطش چاپ در مجلات بی‌اعتبار هر روز بیشتر و بیشتر شود؟ می‌دانم این نوع نگاه بسیار ایده‌الیستی است!‌
4- منظور من این بود اکنون که معظل مجلات کم اعتبار پیش آمده چه کنیم؟‌ آیا معرفی آنها راه چاره است؟ تا حدودی بله! اما بسیار مقطعی است!‌ افرادی که دنبال این مجلات هستند انواع دیگر آن را هم پیدا کرده و به هدف خود خواهند رسید! آیا کافی است مشکل را بیان کرده و ساده‌ترین و مساله‌دارترین راه حل را ارایه دهیم؟
5- توضیح دیگری هم در مورد ضریب اچ می‌دهم که در واقع هدف اصلی من بحث در مورد این فاکتور و نکات مثبت آن و رفع کاستی‌هایش بود! این فاکتور هم برای محققان قابل دسترسی است هم برای مجلات. اما اگر در مورد مجلات بررسی شود شبیه همان مشکلاتی که در مورد ضریب تکثیر وجود دارد برای این فاکتور نیز وجود خواهد داشت. اما پیشنهاد من این بود که علاوه بر ضریب تاثیر مجلات می‌توان ضریب اچ خود افراد را برای ارتقا درنظر گرفت. اینکار مستلزم کارهای تحقیقاتی فراوانی است. به عنوان مثال ضریب اچ متوسط برای هر رشته متفاوت با رشته‌های دیگر است. اما می‌توان تحقیق کرد که به عنوان مثال در رشته شیمی برای اینکه فردی به درجة استاد کاملی برسد ضریب اچ وی برای "زمینه‌ای که درخواست" ارتقا داده بایستی چقدر باشد؟!‌ شاید این فاکتور برای کشور آمریکا هجده باشد اما برای ما زیر پنج. اشکالات آن چیست و چگونه می‌توان آنها را برطرف کرد؟
۱۱ آذر ۸۷ ، ۲۲:۴۵ Mohammad R. Salavatipour
To Mr. Habibian,

(don't have Farsi font right now, and sorry that it's a bit long.)

It's good to have debates about these issues and I thank you for posting
your opinion. However, there are several points in your post that I
disagree with for the following reasons (I number them according to your
items):

3- You say the model of "Author pay Model" for magazines is on the rise
and bring some examples from your own field of research to support this.
This may be true in the area that you are working in but the opposite is
actually happening in other areas. For example, in Theoretical Computer
Science, there is a move to more public access and free journals. I don't
know of any good journal in TCS that you have to pay for the article
you publish. So this generalization you have made is not correct.

4- You say it's impossible to detect all "low quality" journals. That's
definitely true, but then you go on to say it's not fair to name only a
few that we have found. Mind you, this is like saying: "it's hard to
find all the criminals, so punishing some is not fair to others". I am
not trying to say that publishing in these journals is criminal, not at
all (no comparison in the example), but just because we cannot
recognize all the weak ones doesn't mean we are "unfair" by expressing
our opinion about some others. It is true that there are so many low
quality journals that appear like mushrooms daily and we cannot simply
name everyone, but the lowest impact this might have is that people
might think twice before submitting everything to everywhere just for the
sake of a publication.

5- You say that some of these articles have ISI rankings and impact factor
etc etc. Unlike many others, I don't put a lot of value on these numbers
and rankings. The amount of error in them is simply too high to have a
meaningful measure for comparison from my point of view.
My question is, are we as researchers supposed to trust such system
of ranking designed for whatever reasons by a company to tell us which
journal in an area is good and which one is not? I don't.
For that particular journal you mentioned and the randomly generated
paper accepted to it: you say that they removed it from the journal site
and apologized for it. But it wasn't until after it was widely circulated
and after the embarrassment it caused for the journal. They had no choice
but to do what they did. It doesn't really add anything to the value of
the journal.
It is true that not all articles in a top journal are at the same level;
some are stronger and some are weaker.
But the exact point is where is the threshold of cutting. In a good
journal there is no way you find such an article being accepted (no
way!). Every paper goes through refereeing process carefully by 3, 4, or
5. It's impossible for a paper to get through for which even a title is
randomly generated and makes to no sense at all!! That means it's possible
for that particular journal that not only a paper is not referred, but
also even somebody from the editorial board has not even looked at the
title and abstract!

8- I don't know what that new promotion guideline from the ministry
is but from what you describe it doesn't seem to be the best way to go
IMHO. The problem with low quality journals is not that they don't get
many citations. In fact, you can find some low quality journals where most
of their articles get cited many times. The problem is usually these types
of journals have a connected cluster of people who publish in them and
they cite the other works that are published in similar low quality
journals. In other words, they are disconnected from the world of good
quality research. This is one
of the reasons they get high citation and other numbers used in the ranking systems and yet are not considered good quality. Therefore, basing the
promotion and other important decisions on a set of numbers isn't the best way to go.
As an example, I have received referee requests for at least 10 papers all submitted to two journals on the same problem which most people wouldn't care about. The problem is simple and all these 10 articles (each of which cites all the previous ones) are using a simple standard trick. They may all get published and all get high citations. But do they really add to the knowledge? Very little if any.
In most top universities I am aware of, such committees rely heavily on
the peer reviews. That is, the top people in the world working on a specific area of research
are pretty much known. To evaluate the quality of the research put
out by a researcher, instead of relying on the ranking of the journal in
ISI or whatever number another system is giving to the journal, the
committees rely on the opinion of the top researchers of the area about
the quality of the research of the applicant.
I am aware of a few researchers who where publishing in "supposedly" ISI
journals and several international conference papers which were denied
promotion simply because the peer reviews didn't consider
آیا به نظر شما از مجله ای که اعضاء Editorial Board خود را به خوبی نمی شناسد می توان انتظار بررسی و داوری مناسب مقالات ارسال شده به آن مجله را داشت. نظر شما در مورد اعتبار این گونه مجلات که حتی نام گردانندگان خود را که شاید هویت خارجی ندارند را به نادرستی درج می کند چیست. به طور مثال به نام سمت چپ در سطر پنجم از ایران را در لینک زیر توجه فرمایید. آیا به راستی ارسال مقاله از سوی محققین کشور عزیزمان با صرف مبالغ هنگفت جهت چاپ در این گونه از مجلات مصداق مناسبی از پیشرفت و ترقی علمی خواهد بود. آیا ارتقای مرتبه علمی به این شکل از دید انسانهای که نمونه و الگوی نسل تحصیل کرده جامعه هستند درست می باشد. به راستی وظیفه ما در قبال ایندگانمان چیست

http://ecochronicle.org/dsp_editorialboard.asp
این امکان وجود ندارد که تک تک مجلات مورد بررسی قرار گیرند و کیفیت آنها تعیین گردد و از طرفی در روش این تعیین اعتبار طبیعتا ابهاماتی وجود دارد لذا بسیاری از دانشگاه ها در حال حاضر از معیارهای ضریب تاثیر و یا اچ اندیکس استفاده میکنند و نرم افزار هایی هم وجود دارد که امکان حذف ارجاعات به خود را میدهد. اگر چه این معیار ها دقیق نیستند ولی برای شرایط امروز کشور ما کفایت میکنند. تصور میکنم در صورتی که این معیار ها به عنوان استاندارد های در کشور شناخته شوند تمایل بیشتری برای انجام کارهایی با کیفیت بالاتر در اساتید وجود خواهد داشت.
۱۱ آذر ۸۷ ، ۱۸:۲۶ قاسم جابری پور
باسمه تعالی-جناب آقای حبیبیان

اینکه با حوصله این پست را تهیه کرده اید و اطلاعات مفیدی را در آن گنجانده اید بخصوص در مورد رفرنس های جالب آن جای تشکر دارد. اما شما را به یکی از پاسخ های دکتر قدسی ارجاع می دهم که در آن تصریح شده بود که ما با "و" چند معیار به کم اعتباری یک مجله می رسیم یه با "یا"ی آن ها. به عنوان مثال اگر نگاهی به فهرست ادیتورهای بعضی از این مجله ها بیاندازید به بی اعتباری مجله شک نمی کنید. نمی دانم پست های مربوط به آن مربی جویباری را دیده اید که با عنوان پروفسور ادیتور یکی از این مجله هاست. یا آن پست 12 نوامبر 2008 را که حکایت از 140 نفر با حرف اول "ای" و 50 نفر از دانشگاه آزاد در لیست ادیتورهای خود دارد را دیده اید؟ ما قرار نیست تمام مجله های کم اعتبار را در این سایت لیست کنیم که اینکار نه وظیقه ماست نه در توان ما آن هم با این رشد قارچ گونه که به برکت اعتبارات پژوهشی بعضی از ما و مراکز تولید علمی مانند نوع جویباری و گرگانی آن می رویند و به زندگی انگلی خود ادامه می دهند.
با این نرم‌افزار می‌توان تا حدی مقدار H-Index را بدست آورد.البته این نرم‌‌افزار از داده‌های Google Scholar استفاده می‌کند که کامل نیست.
در ضمن ظاهرا نمی‌توان نام یک فرد را کاملا با توجه به موسسه مشخص کرد که ممکن است باعث اشتباه شود.
http://www.harzing.com/resources.htm
با احترام
علی هاشمی

ارسال نظر

ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">
تجدید کد امنیتی