如何为写作论证质量提供反馈？丨智慧外语·阿檀说 12

“智慧外语·阿檀说”第12期将围绕“如何为写作论证质量提供反馈”这一主题展开文献分享、教研反思与选题探索。在文献分享环节，中山大学刘丰恺介绍了一篇关于写作论证质量的论文；在教研反思环节，中国人民大学刘力结合一线教学与研究经验，分享了自己对这篇论文的看法与反思；在选题探索环节，中山大学邓永超与金檀建议了一项值得探索的教研选题，并推荐了后续阅读文献。

1.文献分享

中山大学 刘丰恺

衡量写作的论证质量对于培养学生学术写作能力具有重要意义。计算论证作为计算语言学的一个新兴方向，通过使用人工智能技术与机器学习方法来分析写作的论证质量。基于计算论证的结果，提取论证质量的计算框架，从而为其提供评分与反馈。然而，目前的写作反馈系统较少提供关于论证质量的反馈，这主要是因为用于训练该类系统的语料库通常只标注了论证要素，而对论证质量仅有简单的分数标注，忽略了论证要素与论证质量之间的联系。为此，Carlile等（2018）建立了一个同时对论证要素、论证质量及影响评分元素等进行标注的语料库，从而为论证质量的反馈系统研制提供了实证支撑。

该文从传递性（Eloquence）、聚焦性（Specificity）与支撑性（Evidence）三个维度对论证质量的评分与影响参数进行了标注：

• 传递性（Eloquence）：标注1-5分，评价作者使用语言表达自己观点和思想的能力；

• 聚焦性（Specificity）：标注1-5分，评价作者语言表达的具体程度，通常认为基于有效细节陈述的论证更具说服力，表明了作者的自信心与知识深度；

• 支撑性（Evidence）：标注1-6分，评价作者论证要素之间的关联程度，例如论据是否充分支撑或反驳了论点。

该文还为论证要素（MajorClaim、Claims、Premises）搭建了五大评分维度：

• 论点策略（Logos/Pathos/Ethos）：标注yes或no, 适用于MajorClaim和Claims，标注了所采用的说服策略；

• 论点支撑（Relevance）：标注1-6分，适用于Claims和Premises，标注了论据对论点和论点对主论点的支撑或反对程度；

• 论点类型（ClaimType）：标注value、fact或policy，适用于Claims，标注作者使用论点的类型；

• 论据类型（PremiseType）：标注real_example、invented_instance、analogy、testimony、statistics、definition、common_knowledge或warrant，适用于Premises，标注作者使用论据的类型；

• 论据效果（Strength）：标注1-6分，适用于Premises，标注单个论据对于论证质量评估的贡献程度。

基于标注结果的量化数据分析发现：论证质量与传递性、聚焦性、支撑性及论据效果相关性非常高，而与论点策略、论点类型和论据类型之间的相关性则很低。总体来说，该文为写作论证质量研究提供了颇具操作性的方法论框架，也为写作论证质量反馈系统的研制奠定了实证语料基础，从而为学生的写作论证质量提供具体的反馈建议。

2.教研反思

中国人民大学 刘 力

论证是大学生写作中最常见的文体之一。在论证写作层面，论证质量是决定文章质量的重要因素之一。而学生的论证写作普遍存在论点不明晰、论据不充分或缺乏说服力、论证框架缺乏逻辑性等问题。从写作学习角度出发，学生不仅需要教师针对其整体写作表现（如内容或语言层面）做出评价，也需要获得教师针对其论证要素和论证质量的具体反馈，如某个论点或分论点不清晰或某条论据说服力欠缺，需进一步修改等。Carlile等（2018）针对学生写作的论证要素及其相关特质进行了标注，并提供了具体的标注标准和等级描述，这些标准既能作为教师针对不同论证维度进行评价及课堂反馈的参考，也可作为学生自评或互评的评分标准。此外，教师也可根据不同的论证结构和论证类型设计相应的教学任务，例如：针对同一论点让学生使用不同的论据类型来进行练习支撑写作，也可让学生找到范例作文的四类论证要素并根据评分标准进行评价或改写。

从研究角度出发，教师可使用学生的论证写作文本自建语料库。该语料库可以是共时的（例如包含某一次写作任务），也可是历时的（例如包含多次写作任务或同一写作任务的不同修改稿）。那么如何来使用这一自建语料库呢？教师可从静态和动态两个方面来入手：从静态角度看，可针对学生写作的论点和论据的不同维度（如传递性、聚焦性或支持性）进行标注及分析；从动态角度看，也可关注一定教学时长后或教学方法下学生写作话语与论证特征的变化。此外，经过标注的学生写作也可作为日后课堂教学的素材案例来使用，可针对具体的教学目标选取相应的写作样本进行讲解。

3.选题探索

中山大学 邓永超 金 檀

如何为写作论证质量提供反馈？为解决这一难题，刘丰恺分享的文章（Carlile等，2018）尝试对写作语料的论证质量进行系统标注，从而为论证质量反馈系统的研制奠定了实证基础。刘力则结合自己的一线写作教学经验，指出目前进行论证质量反馈的难点所在，并分享了使用语料库进行论证质量教研的可能性。那么，论证质量的标注与反馈究竟在多大程度上能帮助学生进行修改呢？这种修改的效果究竟如何？这一期选题探索的推荐文献聚焦这一议题，研究学生基于智能反馈的修改行为与写作质量之间的关系。文献的标题为“Annotation and classification of evidence and reasoning revisions in argumentative writing”（Afrin等，2020；详见下图）。

Afrin等（2020）聚焦写作论证的两大要素“论据使用”（Evidence Use）与“推理”(Reasoning)，采用了一个新的标注方案“Revision of Evidence Use and Reasoning”来分析学生在句子层面上对这两大要素的修改行为。“论据使用”有5个分类：与论点相关、与论点不相关、重复、不基于文本和微调；“推理”则有6个分类：连接论点和论据、不连接论点和论据、改述、总结、评价和微调（相关说明详见下表）。该文建立了一个包含143篇原版与修改版的作文语料库，共计有775个句子在“论据使用”和“推理”上发生了修改行为。采用标注方案对这些修改行为进行标注，结果发现，只有两类修改行为（添加与论点相关的论据以及连接论点和论据的推理）与写作质量的提高存在显著的相关关系。最后，该文还探讨了标注方案“Revision of Evidence Use and Reasoning”对修改行为实现自动标注的可行性。

综上所述，为写作论证质量提供反馈首先应建立论证要素与论证质量之间的关系，也就是刘丰恺刚才分享的Carlile等（2018）这篇论文所探究的议题。在此基础上，要想让论证质量的反馈对写作的修改起到实质的促进作用，还应进一步探究学生修改行为与写作质量提高之间的关系。Afrin等（2020）发现，学生的修改行为中，只有添加与论点相关的论据以及连接论点和论据的推理与写作质量的提高存在显著的相关关系。在未来的写作教学研究中，还可进一步探索两方面的研究问题：一方面，如何为论证质量提供有效的反馈信息，从而避免让学生做一些无效的修改？另一方面，如何让学生有效地使用反馈信息，从而高效率地完成作文的修改？对写作论证质量反馈这一议题感兴趣的老师可以结合Afrin等（2020）这篇论文，在未来的教学和研究中进一步探究。

本期选题探索推荐文献如下，供阅读参考：

Afrin, T., Wang, E. L., Litman, D., Matsumura, L. C., & Correnti, R. (2020). Annotation and classification of evidence and reasoning revisions in argumentative writing.Proceedings of the 15th Workshop on Innovative Use of NLP for Building Educational Applications, pages 75–84.

智慧外语 · 阿檀说 | 栏目主持人

金檀，中山大学副教授、博士生导师，主要从事语言评估与智慧外语的研究与实践。主持搭建学术英语阅读的内容难度调控机制，代表成果包括“话题推荐”“文本改编”与“知识论证”。主编“智慧外语方法课程”，包括“语言、数据与研究系列”与“智慧外语·阿檀说系列”。开发“英汉阅读分级系统”，研制的“阅读分级指难针”被国内外同行广泛采用，成为难度评估的基准参照工具之一。主持实施学术第二课堂“人工智能与外语研究”，指导本科生主持国家级创新训练项目，培养的学生已被国内外著名高校录取进一步深造。

写在最后

疫情特殊时期，上海外教社教育培训中心借力新兴媒介和技术手段，邀请外语界专家学者以微信课、慕课、在线直播课等形式为广大教师提供多样态、不同主题的公益研修课程，其中包括中山大学金檀博士设计主持的微信图文课：“智慧外语教学”系列12讲。该系列每期课程都由3-4位作者合作完成撰写讲授，他们聚焦特定的教学或研究主题，与全国同行一道开展“云教研”，分享如何应用技术手段解决外语教学研究中的重点与难题。现在12讲课程全部结束，让我们再次感谢所有作者的精心撰写与慷慨分享，希冀读者们都有一份属于自己的收获!