北斗六星网

标题: 从评委打4分说起——讨论几个具体问题 [打印本页]
作者: 公理力    时间: 2021-9-12 02:52
标题: 从评委打4分说起——讨论几个具体问题
本帖最后由 公理力 于 2021-9-12 07:28 编辑

说句大话，评委如何打分，还真是门学问；作者和读者这边，如何看分数，则是门修为。
下面讨论几个涉及打分的具体问题。
----------------

1）注意到令箭先生给挺多征文打了4分，这事儿值得说道说道。

10分制，6分是及格线。这也是评委心中那把最简单的尺子，他也不会例外。

4分显然是令评委给不及格作品的“标准分”。问题是，他为啥不给5.5分，甚至5.9分呢？

在评分过程中，他多次表示体谅作者的辛苦，更不可能不清楚，给接近及格线的分数，至少在作者和读者方面不会引发太大反弹。

作为评委，抛开技术层面，最难得的不是八面玲珑的评论，也不是毒舌，而是客观公正。

而判断这一条的客观线索，除了获得较高认同的整体打分，不怕得罪人，不惧反弹，敢于给众多不合格作品低分，应该也是一方面。

从这个视角出发，令评委的4分现象，对整个征文活动和吃瓜群众，或许反而是有益的。

时下，最难得的事情之一，就是听到真诚的逆耳之言。作为不缺理性的作者，将这个多少有点难接受的4分理解为鞭策，甚或警示，应该更有益处。

特别是考虑到不同评委还有不同的打分和评语。果真对自己的写作能力有信心，又何必在意某位评委的低分或毒舌？

“左手刀”同学的评论就很得体：“能吸收别人的优缺点，有长进就是好的！这次赛后，自己得到了什么？应该就是最大的进步！”

令评委有点毒舌是真的，倒无需一定理解为恨铁不成钢，至少吃瓜群众求之不得。但注意他对4分问题的回应。本来，他还有个1分档，最终作罢。说明这位毒舌评委还没有走太远，呵呵。
作者: 小谢青蛙    时间: 2021-9-12 03:00
还没睡啊，晚上喝咖啡现在还没困意。不如我也写篇凑热闹。
作者: 公理力    时间: 2021-9-12 03:14
本帖最后由 公理力 于 2021-9-12 07:23 编辑

2）有人在意，为啥同为4分的征文，差距就那么大呢？

且不提评委各自的口味悬殊，不合格的作品不再细分，也是照顾少部分垫底者的感受。另外，还有个体谅评委工作强度的问题。

在红袖天涯那边，我曾公开过自己的评分考量，对中下作品，以鼓励为主，打分相对宽松，也不再讲究区分度。

重点是，既然都是不合格作品，再细分的实际意义何在？5分就比3分更光彩？

即使不考虑比烂嫌疑，5分就一定比3分更有潜力？3分或许只是某一低级错误所致；没有低级错误还不及格者，恐怕才不是写小说的料。

至于令评委给那篇引起很大争议的“地老鼠”打4分这事儿，我的理解是，他试图平衡掉另外两位评委打10分的不当。
这个做法客观上等于修正评委组的跑偏，而他不惧当恶人，这个行动值得点赞！

当然，这不意味着本人对令箭先生的打分没有任何想商榷的。



作者: 公理力    时间: 2021-9-12 03:16
小谢青蛙 发表于 2021-9-12 03:00
还没睡啊，晚上喝咖啡现在还没困意。不如我也写篇凑热闹。

你可真是夜猫子！我这边是下午

作者: 公理力    时间: 2021-9-12 03:17
本帖最后由 公理力 于 2021-9-12 03:41 编辑

3）评分的科学性问题

只要样本足够大，同一地区、同一性别、同一年龄组的人，其身高、体重等符合正态分布。凡有统计学基本常识者，都清楚这一点。

在样本或总体数据有限的情况下，分布可能会有偏差（如不对称），但中间大，两头小的粗略规律仍然不会打破。一场有100篇左右作品的征文，其质量分布符合这个基本规律是不会有问题的。

这个现象意味着什么？这是科学方法对事物的客观性把握，是最接近现实的认识，其可信度也就有保障。

如果某位评委打分，偏离这个粗略分布过多，如出现两头大、中间小的情况，就需要审慎考虑问题所在。
虽不能绝对排除作品质量客观上两极化的罕见可能性，但从评委自身打分科学性角度找原因，是一定需要的。

此刻能想到的一个最可能的原因是，评委对文学的敬畏与热爱胜过对评判公正性、科学性的把握与尊重。

遇到自己喜欢的好作品，不自觉地就可能拔高评论和打分；而对于那些不符合小说基本要求的文字，就很容易扣分严厉。从而导致相当比例的中等质量征文被分流到高、低两个区域。

这个问题很严重吗？对中档作品打分的合理性，肯定影响最大。
被严厉扣分者沦落到低档区，不服气，不甘心，是难免的，也是可以理解的，但不一定是坏事。
而被拔高者偷着乐，甚或洋洋自得，也是必然的，但从参加征文赛收获的角度，反而有害！

一个基本事实是，能够获奖的作品，仅占高端极少部分。中、低档作品本来就无缘获奖，这部分打分不够合理，基本不影响评奖。
作者: 公理力    时间: 2021-9-12 03:22
本帖最后由 公理力 于 2021-9-12 04:03 编辑

4）抓住一点，不及其余，是大忌。

征文赛的重头戏是评选优秀作品。评委对上乘作品采取审慎的评判态度，就十分必要了。
除了直接影响作品获奖与否或获奖等级，所有作者和读者也会盯着这少部分优秀作品，从各个角度评头论足。

鉴于此，优秀作品要服众，起码没有短板，就是一条基本要求。
那篇受到不少人肯定的“地老鼠”，就是个令人遗憾的反例。

好像有两位评委给了10分满分，引发激烈争议也就不奇怪了。主题不错，几乎是所有推崇者的理由。问题是，这篇小说的其它方面咋样？文笔有多好？结构如何？深度如何？

两位给满分的评委，包括所有其他推崇者，谁能说这些方面没有任何短板？就因为主题好，就不及其余，这合适吗？

作为吃瓜群众，喜欢某篇文字，不需要太多理由，有某一点很受用，足矣。但作为受人之托的评委，要对整个征文赛负责。抓住一点，不及其余，恐怕就站不住脚了。

对这种经不起严格推敲的作品，任性给满分，就不仅仅是打分不科学的问题，恐怕也存在着对所有作品难以秉持统一尺度的问题。这就引出下一个问题。

作者: 公理力    时间: 2021-9-12 03:28
本帖最后由 公理力 于 2021-9-13 00:21 编辑

5）评委有个性不是问题，秉持自己的标准一以贯之地打分才是关键。

不同评委大可代表不同读者群体的口味，保持各自独立性也就是必要的，而按自己的口味打分，本来就是一种必然。
对所有作品普遍性打分偏低或偏高，只要还能体现区分度要求，就不是问题。

这类似于统计学中的“系统误差”，可以方便地消除，尤其不影响评分的公正性。

真正需要避免的是，自己定下的标准都不稳定，甚至没有明确标准，凭一时的感觉，打分忽高忽低，这就很成问题。
举个现实例子，不久前结束的红袖天涯“小确幸”征文赛，最终有14篇作品获奖。计分规则是，去掉6位评委中最高分和最低分，其余4个分数的平均值为作品的最终得分。

不幸的是，段干末评委给这14篇获奖作品的打分，有5个最高分和6个最低分，总共有11个评分被去除，只剩下对3篇作品的评分进入平均得分。
这个现象可否解读为对获奖作品的评判贡献最小？问题远没有这么简单。
假如不是她打出这11个两极分化的分数，必然有另外11个次高和次低分数被去掉，这意味着有11位获奖作者的最终得分将是不同的，可能获奖等级有变化，甚至获不了奖。

客观效果是，段干末女士忽高忽低两极分化的打分，对那场征文最终结果带来了最大的冲击——属于偏离客观分布的扭曲。


作者: 公理力    时间: 2021-9-12 05:14
本帖最后由 公理力 于 2021-9-12 07:49 编辑

附：临窗先生完成的红袖天涯6位评委打分准确性统计结果[attach]656207[/attach]


说明：
第一行“无效分”，就是指每位评委被去掉的最高分和最低分总数；
第三行“误差分”，是指评委给每篇作品的打分与其最终得分之差的总和，即14个打分差之和，是反映每位评委打分准确性的客观指标。


等这次征文落幕，建议临窗先生也统计一下这次5位评委打分的准确性，这类客观指标比喷再多口水更说明问题。

当然，也等于顺便对比一下，两场征文活动中，哪边评委打分准确性更高？
只是两边征文有差异，会多少影响对比性。天涯那边对体裁和字数都没有任何限制，除了记叙文、散文，小说，还包括诗作，评论，甚至游记都有出现，容易导致评委打分更离散。
而红袖杂谈这边仅限小说，且有字数限制，评委打分干扰因素更少。



作者: 公理力    时间: 2021-9-12 05:30
7楼多余的照片竟然去不掉（编辑窗口看不到），有谁有高招吗？
作者: 泌水    时间: 2021-9-12 15:11
很欣赏也很赞成公理力的这篇文字！
采用这种统计方法科学合理，且能免去很多后期的喷口水。
建议红杂小说组委汲取这个成熟方案。
作者: 忽有故人心上过    时间: 2021-9-12 15:32
有想法及时沟通，坦诚相见，挺好～
作者: 公理力    时间: 2021-9-12 23:22
泌水 发表于 2021-9-12 15:11
很欣赏也很赞成公理力的这篇文字！
采用这种统计方法科学合理，且能免去很多后期的喷口水。
建议红杂小说 ...

谢谢抬爱！
作者: 公理力    时间: 2021-9-12 23:24
忽有故人心上过 发表于 2021-9-12 15:32
有想法及时沟通，坦诚相见，挺好～

嗯，嗯，算是给评委们和征文组织者一个提醒吧
作者: 大美丽    时间: 2021-9-12 23:51
公理力 发表于 2021-9-12 23:24
嗯，嗯，算是给评委们和征文组织者一个提醒吧

我没有注意天涯的征文，最后的评分是什么样的？去掉最高分和最低分，相加除以4吗？还是只算总分？
作者: 公理力    时间: 2021-9-12 23:56
大美丽 发表于 2021-9-12 23:51
我没有注意天涯的征文，最后的评分是什么样的？去掉最高分和最低分，相加除以4吗？还是只算总分？

对。6位评委，去掉最高和最低分，中间四个分数平均，就是作品最后得分。




欢迎光临 北斗六星网 (http://154.85.43.82/) Powered by Discuz! X3.1