“人工智能在普通高考網(wǎng)上評分中應(yīng)用研究成果公告”

標(biāo)識

安徽省招生考試院《 2017年全國教育考試研究計劃》重點項目負(fù)責(zé)人

（何宜松，高級工程師）主持完成了“人工智能在高考網(wǎng)上評分中的應(yīng)用研究”（項目號GJK2017017）。研究團(tuán)隊的主要成員是徐飛。 ，劉輝，孫媛媛，朱波，楚琳琳。

身體

一、內(nèi)容和方法

1、概述“人工智能在普通高考論文在線評估中的應(yīng)用”是國家教育考試研究計劃

2017年重點項目（項目號GJK2017017）。自2017年12月4日項目獲批以來，研究團(tuán)隊以設(shè)定的目標(biāo)為中心，通過深入詳細(xì)的研究，參與了系統(tǒng)的研究。在技??術(shù)實施，應(yīng)用創(chuàng)新等方面取得了重大進(jìn)展，特別是在人工智能輔助的網(wǎng)絡(luò)評審質(zhì)量監(jiān)控模型創(chuàng)新，人工智能評分和在線評分系統(tǒng)集成應(yīng)用，標(biāo)定方法研究等方面其他方面均取得了重要的階段性成果，在2019年安徽省高考在線評估中[201]取得突破性進(jìn)展。

2、主要研究內(nèi)容傳統(tǒng)的在線評分是基于掃描答卷的分段圖像并組織評分老師的

它是通過在線標(biāo)記進(jìn)行的。計算機(jī)智能評分技術(shù)是一種嶄新的應(yīng)用程序，它使用人工智能基于掃描的答案內(nèi)容的轉(zhuǎn)錄識別，內(nèi)容分析和關(guān)鍵特征提取，自動對應(yīng)試者的內(nèi)容進(jìn)行評分。該主題的主要研究目標(biāo)包括：

（1）根據(jù)文本分析的結(jié)果，回答中文作文，英語作文，綜合性文科短答案，數(shù)學(xué)填空題，英語更正題等，發(fā)現(xiàn)并報警異常文本答案，實現(xiàn)空白答案和復(fù)制，發(fā)現(xiàn)和檢測相同答案，結(jié)合評分結(jié)果分析，突出了計算機(jī)智能評分的質(zhì)檢輔助功能。

（2）加強(qiáng)人工智能評分技術(shù)的方法研究，建立針對標(biāo)定集專家評分樣本的科學(xué)選擇機(jī)制，建立和完善智能評分結(jié)果的評價機(jī)制，使計算機(jī)智能評價結(jié)果可以達(dá)到與人類專家同等的水平，并且可以真正地代替評論或手動評論的一部分。

（3）結(jié)合圖像和文本識別，自然語義理解，智能評估技術(shù)等最新研究成果，綜合性的教育考試?yán)碚撗芯亢驮u估方法，形成了完整，實用，人機(jī)結(jié)合的智能在線評估試卷解決方案最初實現(xiàn)了“改進(jìn)評分方法，加強(qiáng)評分管理，完善評分報告”的既定目標(biāo)，為將來大規(guī)?？荚囋u分系統(tǒng)的升級提供了有益的嘗試。

（4）探索人機(jī)結(jié)合的智能在線閱卷系統(tǒng)標(biāo)準(zhǔn)化流程的實現(xiàn)。在千兆位局域網(wǎng)的情況下，通過相關(guān)的數(shù)據(jù)接口，可以實現(xiàn)對千萬級掃描的訪問圖像和計算機(jī)智能評估結(jié)果，不僅在學(xué)科指導(dǎo)，教師評審，專家仲裁和社會認(rèn)可中充分利用了人工評分的特點，而且充分利用了計算機(jī)的高效率，高精度和高可靠性人工智能，并結(jié)合了人機(jī)結(jié)合智能檢具，全面加強(qiáng)評分過程的大數(shù)據(jù)分析，進(jìn)一步保證了打標(biāo)質(zhì)量。

3、主要研究方法致力于通過實驗驗證，數(shù)據(jù)分析等方法，重點研究人工智能技術(shù)和在線標(biāo)記技術(shù)

融合應(yīng)用程序的總體目標(biāo)，以年度普通高考論文為重要的時間節(jié)點，逐步推進(jìn)學(xué)科研究工作，解決接口定義，網(wǎng)絡(luò)和硬件系統(tǒng)部署以及軟件系統(tǒng)升級在申請過程中需要面對的問題。等一系列技術(shù)問題。同時，加強(qiáng)對字符，公式，圖形，轉(zhuǎn)錄識別，智能評分等核心算法的研究，提高人工智能在識別準(zhǔn)確率和評分準(zhǔn)確性上的能力，擴(kuò)大人工智能在多學(xué)科多問題中的應(yīng)用類型。預(yù)期處理能力將形成可在實際應(yīng)用過程中得到鞏固和促進(jìn)的應(yīng)用結(jié)果。

二、結(jié)論與對策

2016年初，教育部考試中心與科大訊飛建立了聯(lián)合實驗室，安徽省招生考試院積極參與了前瞻性課題研究，如人工模擬的應(yīng)用?？荚囍械闹橇υu估技術(shù)。 2016年10月下旬，我省首次進(jìn)行了基于英語作文掃描圖像的計算機(jī)智能評分實驗，用于2016年高考，對人工智能和在線評分工作的結(jié)合有了直觀的理解。隨后，在2017年至2019年的高考連續(xù)三年在線評分中，我省將人工智能評分作為一種重要的在線評分方法，輔助了質(zhì)量監(jiān)控，積極實施了相關(guān)應(yīng)用，并取得了良好的期望。

1、智能計分效率極高

在2017年高考論文評估中，我省將同時離線進(jìn)行中，英文論文的計算機(jī)智能評分，并將評分結(jié)果應(yīng)用于在線評估的質(zhì)量監(jiān)控。此過程與在線審閱時間同步。中英文構(gòu)圖掃描圖像的數(shù)據(jù)傳輸將在6月12日進(jìn)行，專家評分的校準(zhǔn)樣品的圖像和分?jǐn)?shù)將在6月16日上午獲得并提交傳輸。結(jié)果和評估數(shù)據(jù)，在4天內(nèi)完成了兩個主題的手寫轉(zhuǎn)錄識別（文檔）和智能評分，對近850,000個答案進(jìn)行了評分，并回答了17762個空白答案和235種中文成分中的三種高相似性異常。此外，英語成分中的24455空白答案和1469種3我們會檢測出幾種類型的高度相似的異常答案，并對一些人機(jī)得分差異較大的樣本進(jìn)行測試和反饋。成本低，效率高，智能化程度是人類無法比擬的。

2、智能評分具有良好的評分準(zhǔn)確性。人工智能評分的要點可以概括為兩個方面：一是編寫應(yīng)試者答案的內(nèi)容

（包括公式，圖形等）識別并轉(zhuǎn)換為文本；第二是基于深度神經(jīng)網(wǎng)絡(luò)建模和多維計算機(jī)智能評分的評分模型訓(xùn)練。當(dāng)前，基于全連接卷積神經(jīng)網(wǎng)絡(luò)（Fully Connected Convolutional Neural Networks）圖像文檔的布局分析和理解以及文本識別技術(shù)的核心算法，計算機(jī)智能評分系統(tǒng)已經(jīng)形成了一套完整的圖像輸入到文本輸出的系統(tǒng)。通過識別處理方案，漢字和英文字符的識別率可以達(dá)到與人工識別相當(dāng)?shù)乃?。在多維評分方面，可以根據(jù)特定算法提取待評估樣本的特征向量，對校準(zhǔn)集數(shù)據(jù)樣本進(jìn)行相同的特征提取，然后對樣本進(jìn)行專家評分通過基于注意事項的編碼和解碼機(jī)制的循環(huán)迭代神經(jīng)網(wǎng)絡(luò)（Attention based Encoder-Decoder Recurrent Neural Networks）建模，以當(dāng)前考試為基礎(chǔ)形成準(zhǔn)確的評分模型，從而進(jìn)行計算機(jī)智能評分。

根據(jù)安徽省2017年至2019年連續(xù)三年對中英文論文實施計算機(jī)智能評分的實際結(jié)果，智能評分結(jié)果與最終報告分?jǐn)?shù)之間的一致性約為95％和92％，達(dá)到較高級別表示智能計分具有良好的計分準(zhǔn)確性。另外，更重要的是，由于在長時間高強(qiáng)度的打標(biāo)過程中打標(biāo)師很容易身心疲憊，因此會影響打標(biāo)師對打標(biāo)規(guī)模的掌握和對整個過程一致性的控制，甚至出現(xiàn)保險計分現(xiàn)象和計算機(jī)智能計分系統(tǒng)不會受到諸如情感，身心狀態(tài)，個人喜好等主觀因素的影響，并且始終采用統(tǒng)一的計分標(biāo)準(zhǔn)，從而確保了計分的客觀性和公正性。更大程度上。

3、智能評分具有相對完善的輔助質(zhì)量檢查功能。在實際應(yīng)用中，智能計分可以自動檢測空白答案，避免由于打標(biāo)老師對鍵盤的錯誤操作而導(dǎo)致空白問題被打分。對組成內(nèi)容進(jìn)行高相似度文本檢測，并復(fù)制試卷題干內(nèi)容或無聲寫作模型庫現(xiàn)象，并將其提交給主題組以進(jìn)行關(guān)鍵驗證和質(zhì)量監(jiān)控；可以將候選者之間的高相似性回復(fù)的文本檢測提交給主題組。將對其進(jìn)行審查和確認(rèn)，以防止竊或有組織的欺詐行為；智能評分可以作為輔助質(zhì)量檢查的參考，并且可以與人工評分在后臺進(jìn)行比較，差異較大的應(yīng)試者的回答情況將提交給主題組進(jìn)行復(fù)查。確定分?jǐn)?shù)并確保得分的質(zhì)量。所有這些都在豐富和形成多元化的標(biāo)記質(zhì)量監(jiān)控系統(tǒng)中發(fā)揮了積極作用。

4、智能評分對加強(qiáng)閱卷管理具有非常重要的現(xiàn)實意義?，F(xiàn)有的在線標(biāo)記組織模型很難準(zhǔn)確，科學(xué)地評估標(biāo)記結(jié)果的質(zhì)量。計算機(jī)智能評分系統(tǒng)的應(yīng)用很好地解決了這一行業(yè)問題。管理部門與主題標(biāo)記點之間對標(biāo)記紙質(zhì)量的監(jiān)控和評估可以通過人工智能評分系統(tǒng)的第三方質(zhì)量評估的顯著特征，超過基于現(xiàn)有在線標(biāo)記的統(tǒng)計量技術(shù)規(guī)格。通過計算機(jī)的智能評分，該原理的技術(shù)手段和方法已經(jīng)提高到手動評分計算的準(zhǔn)確性。它具有定量評估整個評分過程以及評分老師對評分標(biāo)準(zhǔn)的掌握程度的能力。專業(yè)精神和責(zé)任感不僅是一種評估，而且是一種約束。

5、智能計分對于改進(jìn)計分方法具有重要的長期意義。從某種意義上說，計算機(jī)智能評分系統(tǒng)可以通過不斷的數(shù)據(jù)挖掘和獨立學(xué)習(xí)而變得越來越智能，從而在一定程度上可以超過一般評分者的評分水平，進(jìn)而達(dá)到專家評分的高度。因此，完全有可能考慮在相對較低的考試中使用計算機(jī)智能評分，例如社會考試，以取代多重評估模式中的手動一次評估評分，或者甚至以某些高置信度分?jǐn)?shù)直接替代手動評分部分。 。在高風(fēng)險測試中，人們更加關(guān)注每個評分樣本的評分準(zhǔn)確性，計算機(jī)智能評分是否可以從研究轉(zhuǎn)移到應(yīng)用，是否可以從后臺轉(zhuǎn)移到前景以及是否可以從對替代評估的輔助質(zhì)量檢查，必須回答評分準(zhǔn)確性的問題。因此，分析研究人工智能評分的核心算法，分析研究人工智能評分與在線評分組織與管理模式的集成應(yīng)用機(jī)制，分析研究校準(zhǔn)集樣本選擇方法對評分準(zhǔn)確性的影響因素。在理論上更科學(xué)，在技術(shù)上更可操作，在應(yīng)用程序上更標(biāo)準(zhǔn)化。它的重要性和緊迫性毋庸置疑，它肯定會在學(xué)術(shù)水平考試和新的高考中使用。它在改革實踐中發(fā)揮著越來越重要的作用。

三、成就和影響該主題研究是面向應(yīng)用程序的，并且已經(jīng)取得了兩個重要成果：

1、通過“打標(biāo)助手平臺”實現(xiàn)了計算機(jī)智能評分系統(tǒng)與在線評分系統(tǒng)的融合應(yīng)用。

（1）新一代智能在線閱卷系統(tǒng)技術(shù)基于現(xiàn)有的閱卷組織和管理模式，實現(xiàn)了新一代智能在線閱卷系統(tǒng)，包括：答卷掃描系統(tǒng)，智能評分系統(tǒng)和在線閱卷。系統(tǒng)三本節(jié)主要討論智能評分系統(tǒng)和在線評分系統(tǒng)的集成，集成系統(tǒng)的結(jié)構(gòu)圖如下：

該計劃的核心是通過“打標(biāo)輔助平臺”升級系統(tǒng)，同時保留原始的在線打標(biāo)系統(tǒng)和人工智能評分系統(tǒng)。在原系統(tǒng)中，以平穩(wěn)過渡的方式構(gòu)建了新一代智能在線閱卷系統(tǒng)，為以后的應(yīng)用擴(kuò)展和系統(tǒng)的進(jìn)一步集成與升級奠定了基礎(chǔ)。

計分輔助平臺是一種WEB架構(gòu)，并使用JAVA面向?qū)ο笳Z言開發(fā)。關(guān)鍵業(yè)務(wù)數(shù)據(jù)的傳輸和存儲都經(jīng)過加密。在硬件方面，它主要由數(shù)據(jù)庫服務(wù)器，文件服務(wù)器，應(yīng)用程序服務(wù)器和網(wǎng)絡(luò)設(shè)備組成。在線標(biāo)記系統(tǒng)和人工智能系統(tǒng)之間沒有直接訪問。他們需要連接標(biāo)記輔助平臺以完成數(shù)據(jù)交換。計分輔助平臺包括兩個部分：“數(shù)據(jù)交換子系統(tǒng)”和“監(jiān)視，統(tǒng)計，處理子系統(tǒng)”。其中：數(shù)據(jù)交換子系統(tǒng)通過Web服務(wù)接口技術(shù)提供數(shù)據(jù)交換服務(wù)；監(jiān)視，統(tǒng)計和處理子系統(tǒng)監(jiān)視交換過程，執(zhí)行數(shù)據(jù)處理，統(tǒng)計，分析和決策。

對應(yīng)于評估助手平臺，需要對原有的在線評估系統(tǒng)進(jìn)行升級，以滿足新一代智能在線評估系統(tǒng)的應(yīng)用需求?；谏鲜黾夹g(shù)方案，以服務(wù)引擎的形式設(shè)計新功能。服務(wù)引擎主要完成在線閱卷系統(tǒng)與閱卷輔助平臺之間的交互，包括上載候選人的掃描圖像信息，從人工智能系統(tǒng)接收輔助校準(zhǔn)樣本文件和分?jǐn)?shù)，上載人類評估的最終分?jǐn)?shù)以及接收評論。數(shù)據(jù)（包括人與計算機(jī)評估得分之間差異很大的候選數(shù)據(jù)，竊問題詞干，竊模型文章，在空白紙上得分的候選數(shù)據(jù)，相似的候選數(shù)據(jù)等），上傳評論反饋結(jié)果等。服務(wù)引擎設(shè)計遵循這樣的設(shè)計思想：新模塊不會影響原系統(tǒng)的主體結(jié)構(gòu)，新功能不會修改或少修改原功能，這不僅保證了原在線打標(biāo)系統(tǒng)的穩(wěn)定運行智能檢具，而且確保了新服務(wù)（例如人工智能）輔助在線標(biāo)記質(zhì)量控制）可以在實時在線模式下應(yīng)用。

（[2）新一代智能在線標(biāo)記系統(tǒng)的技術(shù)特征

新一代智能在線標(biāo)記具有五個特征：首先，系統(tǒng)的獨立性。通過定義數(shù)據(jù)接口和控制網(wǎng)絡(luò)訪問，標(biāo)記輔助平臺可確保其自身的獨立性，從而使其不依賴于特定的人工智能系統(tǒng)，也不會附加至特定的在線標(biāo)記系統(tǒng)，并且可以兼容與目前國內(nèi)主流的在線評分系統(tǒng)和人工智能評分系統(tǒng)相通，開放，兼容。第二個是數(shù)據(jù)交互的靈活性。掃描的圖像數(shù)據(jù)通過評分輔助平臺提供給人工智能評分系統(tǒng)，人工智能評分系統(tǒng)的計算機(jī)自動評分結(jié)果通過評分輔助平臺提供給在線評分系統(tǒng)。數(shù)據(jù)導(dǎo)入和導(dǎo)出交換功能安全高效，并且可以跟蹤過程。日志可以被審核。第三是在線控制的實時性。 2018年，安徽省在2018年高考在線評估中實現(xiàn)了高考中英文試題評分結(jié)果的定點和定點比較。手動評分和計算機(jī)智能評分的結(jié)果可以隨時在系統(tǒng)控制端進(jìn)行動態(tài)分析。對機(jī)器范圍差異樣本和覆蓋問題等異常答案樣本進(jìn)行準(zhǔn)確的質(zhì)量檢查反饋，大大提高了質(zhì)量監(jiān)控的針對性。第四是離線方法的容忍度。 2018年，安徽省增加了中文短答案問題的智能評分和實驗驗證，文科綜合能力測試中的短答案問題以及數(shù)學(xué)證明。該方法是通過評估助手平臺將機(jī)器評估的結(jié)果導(dǎo)入在線評估系統(tǒng)。經(jīng)過監(jiān)視，統(tǒng)計，處理子系統(tǒng)和服務(wù)引擎進(jìn)行質(zhì)量檢查反饋，結(jié)果表明，對多個主題和多個問題的輔助質(zhì)量監(jiān)視是有效而有序的。第五是系統(tǒng)的可伸縮性。通過評分輔助平臺的中間雙向干預(yù)模式，可以將人工智能評分系統(tǒng)的評分結(jié)果直接提交給在線評分系統(tǒng)進(jìn)行審核，從而為智能評分提供了更好的解決方案，而不是人工評估；也用于手動評估。智能評分技術(shù)在非關(guān)鍵性試卷的組織和管理中的推廣應(yīng)用提供了思路。

2、采用“人機(jī)組合+分段補(bǔ)充”標(biāo)定集選擇策略，以提高人工智能評分的準(zhǔn)確性。

在實施計算機(jī)智能評分時，由于校準(zhǔn)樣本的選擇不同，因此要評估的樣本的評分結(jié)果通常會有所不同。這種差異可能是整體的，也可能是個體的，其實質(zhì)反映了評分結(jié)果的可信度和準(zhǔn)確性。如何建立一套符合智能評分需求的科學(xué)的標(biāo)本選擇機(jī)制是考試管理機(jī)構(gòu)必須考慮的問題。 2019年，安徽省運用最新的標(biāo)定集選擇方法研究成果，采用“人機(jī)結(jié)合+分段補(bǔ)充”標(biāo)定集選擇策略，提高了評分結(jié)果的準(zhǔn)確性，特別是對于高分論文。得分一致性。

手動選擇校準(zhǔn)紙的最初方法是在隨機(jī)抽樣的基礎(chǔ)上，主題評分專家選擇一定數(shù)量的評分樣本，由專家進(jìn)行評估，并將其用作校準(zhǔn)集。由于樣本數(shù)量不足以及無法保證所選樣本得分的分布，該方法通常僅作為參考。

實際上，通常使用人為選擇校準(zhǔn)卷的方法，即基于主題評分專家對樣本卷的選擇，結(jié)合人工智能研究和判斷來選擇樣本卷，樣本數(shù)增加卷以形成一組收集樣本并由專家評分。應(yīng)該注意的是，在選擇用于人工智能研究和判斷的樣本論文時，預(yù)設(shè)了某些選擇原則。該原理是在計算機(jī)完成對所有待評估樣本的機(jī)器識別和轉(zhuǎn)錄后，對待評估樣本進(jìn)行分類，并同時考慮根據(jù)候選對象的地理覆蓋范圍和水平等因素，從中選擇代表性樣本所有要評估的樣品，以形成校準(zhǔn)數(shù)據(jù)集。這種人為選擇校準(zhǔn)輥的方法比手動選擇校準(zhǔn)輥更具代表性。所得的校準(zhǔn)集將更具代表性，但仍然存在相同的問題，即無法保證足夠的數(shù)字和分?jǐn)?shù)分布時。與最終報告分?jǐn)?shù)相比，在同一文件中的達(dá)成率和樣本數(shù)量等績效指標(biāo)方面，評分結(jié)果仍有改善的空間。

最新的研究結(jié)果是使用“人機(jī)組合+分段補(bǔ)充”校準(zhǔn)集選擇策略，即：在原始人機(jī)組合的基礎(chǔ)上選擇了500篇論文，專家評分是基于相應(yīng)的分?jǐn)?shù)段設(shè)置根據(jù)校準(zhǔn)樣本比例的原理，使用基于聚類的方法從經(jīng)過手動雙重評估以補(bǔ)充的足夠數(shù)量的論文中選擇代表性的校準(zhǔn)樣本，從而使樣本總數(shù)校準(zhǔn)集達(dá)到1000個（或1500份），以使校準(zhǔn)集樣本的得分分布更具代表性。這種聚類使用基于變壓器的雙向編碼器表示（BERT）方法將構(gòu)成的內(nèi)容抽象為語義向量，然后基于語義向量作為聚類的基礎(chǔ)來計算不同樣本之間的相似度。該方法采用k均值聚類算法（K-means）。經(jīng)過多輪迭代計算和更新，形成K個聚類中心（K的值通常在20-30之間），然后計算每個對象。每個種子聚類中心之間的距離，將每個對象分配給最接近的聚類中心它。然后從K個類別中，每個類別平均選擇500 / K（或1000 / K）論文，并確保補(bǔ)充樣本的得分分布與預(yù)設(shè)的補(bǔ)充目標(biāo)比率相同。這種對標(biāo)本進(jìn)行細(xì)分和補(bǔ)充的方法，可以更具體地擴(kuò)大標(biāo)本采集范圍，充分體現(xiàn)標(biāo)的覆蓋率，不同水平的標(biāo)本覆蓋率等諸多因素，最大程度地滿足實際需求。在這里，我們對中文成分進(jìn)行了校準(zhǔn)，并給出了相應(yīng)分?jǐn)?shù)段的參考值及其比率：

得分間隔：[0，30]（30，36]（36，40]（40，45]（45，50]（50，60）

抽樣比例：6％10％14％24％24％22％

四、改進(jìn)和改進(jìn)

1、加強(qiáng)對人工智能技術(shù)本身的研究及其在評分和標(biāo)記工作中的應(yīng)用。現(xiàn)有的蓬勃發(fā)展的圖像識別技術(shù)和字符識別技術(shù)使人工智能能夠參與各種檢查。

可以評估應(yīng)用程序，但是一旦涉及到應(yīng)用程序級別，人們不僅會關(guān)注結(jié)果，而且會關(guān)注新技術(shù)涉及的所有內(nèi)容。例如，經(jīng)過比較，我們發(fā)現(xiàn)，在回答問題，候選人在方格中寫文章和在開放區(qū)域中寫文章，在帶下劃線的區(qū)域中回答問題以及在開放區(qū)域中回答問題方面，轉(zhuǎn)錄識別的準(zhǔn)確性都不盡相同，前者將高于后者。在開放區(qū)域中，公式，符號，數(shù)學(xué)證明，計算和其他答案的識別率仍有提高的空間。這些是經(jīng)理們需要考慮的問題。在評分準(zhǔn)確性方面，我們通過比較發(fā)現(xiàn)，在人機(jī)評分差異較大的樣本中，尤其是在機(jī)器評分大于手動評分的樣本中，手動評分的準(zhǔn)確性高于智能評分。復(fù)習(xí)和評分后，向下修正諸如干副本問題和類似答案之類的異常樣本的分?jǐn)?shù)。因此，在人工智能全面參與高考卷的過程中，還有更多關(guān)鍵技術(shù)需要突破。

2、加強(qiáng)結(jié)合在線標(biāo)記的人工智能規(guī)范研究?，F(xiàn)行的在線評分技術(shù)標(biāo)準(zhǔn)一直遵循2008年頒布的“國家教育考試在線評分的臨時技術(shù)規(guī)范”和“國家教育考試在線評估”。數(shù)量統(tǒng)計測量的臨時規(guī)范。隨著人工智能技術(shù)和其他新技術(shù)的突破，越來越多的公司將參加教育考試及其標(biāo)記工作，并對現(xiàn)有的在線標(biāo)記技術(shù)服務(wù)提供商提出越來越高的要求。作為管理部門，我們的重點是應(yīng)用，即標(biāo)記方法的改進(jìn)及其改進(jìn)的意義，以增強(qiáng)對標(biāo)記質(zhì)量，效率，成本和科學(xué)性的全面控制。為此，克服現(xiàn)有在線評估系統(tǒng)的固有缺陷，加強(qiáng)對人工智能輔助在線評估的規(guī)范研究將成為一個非常重要的研究課題。在2018、2019年高考論文閱卷過程中，安徽省積極探索人機(jī)集成智能在線閱卷的實施過程。首先增加的是人工智能輔助的在線標(biāo)記質(zhì)量監(jiān)視功能。第二步將實現(xiàn)。它動態(tài)地提醒了被測者在評分過程中的異常反應(yīng)信息，包括對教師評分界面的調(diào)整等。第三步是研究人為整合后在線評分組織和管理方式的變化。和機(jī)器。努力形成成功的經(jīng)驗，可以通過不斷的實踐和創(chuàng)新來復(fù)制和推廣這些成功的經(jīng)驗。

3、加強(qiáng)對應(yīng)試者分?jǐn)?shù)分析和評估的研究。人工智能評分是在轉(zhuǎn)錄和識別應(yīng)試者原始圖像答案信息后分析應(yīng)試者的分?jǐn)?shù)，并以文件形式保存應(yīng)試者答案的基礎(chǔ)。同樣，我們可以使用人工智能方法介紹課程標(biāo)準(zhǔn)，知識結(jié)構(gòu)，答案，解決問題的思路，參考等級，專家結(jié)論等，以構(gòu)建考生的績效分析和評估模型，并采取更具針對性的方法給每個應(yīng)試者。分析，清楚地告知應(yīng)試者哪些科目具有能力和存在哪些學(xué)習(xí)問題，然后將考試分?jǐn)?shù)更改為分?jǐn)?shù)報告，以在更高級別反映考試的價值和功能。在此基礎(chǔ)上，還可以通過對所有應(yīng)試者的回答信息進(jìn)行大數(shù)據(jù)分析，為教學(xué)和考試研究提供更多的材料，對促進(jìn)教育改革發(fā)揮積極作用。

五、成就統(tǒng)計列表

研究小組的結(jié)果清單