乂學(xué)教育-松鼠AI受邀參加NCME峰會 探討在線學(xué)習(xí)的人工智能評測應(yīng)用

2019年美國國家教育測量委員會(National Council on Measurement in Education,以下簡稱NCME)峰會4月4-8日在風(fēng)景如畫的多倫多召開。全球近1.4萬名教育行業(yè)的研究人員和教育專家齊集多倫多城市會議中心和費(fèi)爾蒙德酒店,在5天內(nèi)集中交流一年來行業(yè)在教育評測體系研究和教育評測實踐中的重要成果。

4月8日中午,NCME的一個重要交流匯報會-“評估和分類準(zhǔn)確度的研究新方向”(New Directions in Scoring and Classification Accuracy)在酒店如期進(jìn)行。乂學(xué)教育-松鼠AI作為中國教育行業(yè)人工智能評估與量化的代表也受邀參加了此次會議。SRI斯坦福國際研究院的教育研究員Yuning Xu作為松鼠AI合作項目組的核心成員,向與會者做了主題為”在線學(xué)習(xí)所需的集成專家評估與診斷分類模型”(Integrating Expert Review and Diagnostic Classification Models for Online Assessments)的研究報告,詳細(xì)介紹了松鼠AI利用Q矩陣和其上的DINA模型建立認(rèn)知診斷測量系統(tǒng)的核心過程,并提供了仿真研究的具體結(jié)果。

美國國家教育測量委員會(National Council on Measurement in Education 以下簡稱NCME)是美國全國性的教育測評行業(yè)協(xié)會。該委員會定期發(fā)布美國教育行業(yè)指導(dǎo)性文件和質(zhì)量標(biāo)準(zhǔn)。NCME對于美國教育行業(yè)評測標(biāo)準(zhǔn)具有重大影響力,其制定的《教育與心理測量標(biāo)準(zhǔn)》,明確了各類考試應(yīng)該達(dá)到的信度、效度、公平性等方面的標(biāo)準(zhǔn)。中國人所熟知的考試機(jī)構(gòu)-美國教育考試服務(wù)中心(Educational Testing Service,簡稱ETS)就是按照NCMS制定的教育評測標(biāo)準(zhǔn)設(shè)計其所屬的托福、GRE、GMAT、托業(yè)和SAT等全球知名的語言和學(xué)術(shù)能力評估考試的。

2019年NCME峰會的主題是“與公眾交流教育評測” (Communicating with the Public about Educational Measurement.)。在這個主題下,“公眾”被定義為是各種各樣的和教育相關(guān)的受眾,其中包括普通民眾,家長,教育工作者,教育政策制定者,關(guān)注教育的新聞界和各個年齡層的學(xué)生,而受眾溝通中和學(xué)生的直接溝通尤為受會議重視。

在互聯(lián)網(wǎng)顛覆和改造教育行業(yè)的今天,個性化教育成為學(xué)生的普遍需求。如何精確測評學(xué)生的知識水平,診斷知識結(jié)構(gòu)中的問題,成為了個性化教育必不可少的基礎(chǔ)。傳統(tǒng)的潛在特質(zhì)模型和因子分析模型所能夠達(dá)到的精度已經(jīng)不能滿足互聯(lián)網(wǎng)教育的要求。取而代之的是認(rèn)知診斷模型等新型的教育評測模型。

松鼠AI在國內(nèi)的K12教育環(huán)節(jié)已經(jīng)全面地進(jìn)行了新型評測模型的應(yīng)用,涵蓋了數(shù)學(xué)、物理、化學(xué)、英語和語文等多個核心學(xué)科,通過設(shè)計完善的知識圖譜和精準(zhǔn)的知識點(diǎn),并對知識點(diǎn)之間的關(guān)聯(lián)與依賴關(guān)系加以準(zhǔn)確勾勒,形成了面向整個知識體系的人工智能評測方法論。這套科學(xué)方法論為“評估->學(xué)習(xí)->再評估”的循環(huán)提升流程構(gòu)建了堅實的基礎(chǔ)。

在松鼠AI的這套評測方法中,研究人員把知識圖譜和測試內(nèi)容分為“知識點(diǎn)”(knowledge Point)和“要素”(item)兩個核心對象。知識點(diǎn)描述知識圖譜中的一個基本知識單元。“要素”描述評測中的一個評測基本內(nèi)容,比如一道測試題。在一個標(biāo)準(zhǔn)化測試中,即包含多個知識點(diǎn),也包含多個要素,兩者是交叉關(guān)聯(lián)的。如一個知識點(diǎn)有可能在多道考題中被使用,同樣一道考題內(nèi)會使用多個知識點(diǎn)。

松鼠AI的評測分析方法最終希望找出知識點(diǎn)和要素的不同組合對于評測準(zhǔn)確度的影響,如簡單要素(包含少量知識點(diǎn))與復(fù)雜要素(包含眾多知識點(diǎn))對于評測準(zhǔn)確度的影響等等。

在介紹交流中,徐研究員談到了項目組在線性方程、根號和平行四邊形等知識領(lǐng)域,針對相應(yīng)的知識點(diǎn)通過教育專家設(shè)計的考試內(nèi)容進(jìn)行評測實驗,希望建立知識點(diǎn)和要素之間的分類預(yù)測模型。

在使用認(rèn)知診斷DINA模型和雙重Q學(xué)習(xí)矩陣建模后,研究人員提煉出具有共性的四種“認(rèn)知模式”(skill),并構(gòu)成了要素和認(rèn)知模式的函數(shù)模型,最終完成了邊際認(rèn)知模式分類的精確度驗證。

通過這一模型的建立,人工智能系統(tǒng)可以構(gòu)建各個知識領(lǐng)域有關(guān)知識點(diǎn)、評測要素和認(rèn)知模式的數(shù)學(xué)模型,將這三者有機(jī)地結(jié)合在一起,幫助教學(xué)與評測人員全面了解知識點(diǎn)與評測內(nèi)容的關(guān)聯(lián)關(guān)系,并可以全面描述學(xué)生對于知識的掌握與技巧使用的熟練程度。這就為提升“評估->學(xué)習(xí)->再評估”的效率創(chuàng)造了良好的條件。

松鼠AI與斯坦福國際研究院(SRI)在兩年前成立了人工智能聯(lián)合實驗室,松鼠AI與SRI聯(lián)合實驗室專注于利用SRI在人工智能和教育技術(shù)方面的獨(dú)特優(yōu)勢。聯(lián)合實驗室目前在三個關(guān)鍵領(lǐng)域進(jìn)行合作研究:1)核心自適應(yīng)教育模型和技術(shù) 2)自然語言處理和語義分析,以實現(xiàn)虛擬個性化學(xué)習(xí)助理(VPA)功能,用基于對話的界面來診斷學(xué)生錯因和吸取教練和學(xué)生對人工智能的反饋。 3)多模式綜合行為分析(MIBA)研究,使松鼠AI能夠在智適應(yīng)學(xué)習(xí)環(huán)境中理解學(xué)生的情感和心理狀態(tài),并更好地預(yù)測學(xué)生行為,以及為人類教練的干預(yù),補(bǔ)救和支持的機(jī)會提供信號,或者通過系統(tǒng)對學(xué)生進(jìn)行提醒、推薦和放松。

目前松鼠AI已經(jīng)把這種評測方法應(yīng)用于中國的中學(xué)教育評測中,取得了相當(dāng)好的反饋。我們期待松鼠AI能夠進(jìn)一步擴(kuò)展人工智能的應(yīng)用范圍,為中國教育行業(yè)走人人工智能時代提供強(qiáng)大的推動力。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。