電子報
學習歷程檔案的學術評量策略_Toshiyuki Yamamoto
-
- 發佈日期:2016-11-11
- 作 者:謝承諭 (文稿整理者)
Toshiyuki Yamamoto 山本敏幸教授為日本關西大學教學中心副主任,長年鑽研科技融入教學的工具與方法,尤其在視覺化學習表現與數位學習歷程檔案的應用上,有相當卓越的研究成果。山本教授本次演講根據其在日本長期所做的觀察與研究,以相當具有理論基礎的方式,來探討數位學習歷程檔案的使用與評量。

數位歷程檔案
數位歷程檔案發源自紙本的歷程檔案,意即將學生、教師、機構在課程過程中的表現與作品以數位化的方式儲存收集,藉以呈現其發展過程與成果。數位歷程檔案大致可以分成三類,第一類是學生學習歷程檔案,目的是藉由收集學生在課程中創造出來的成品,來展現學生的學能發展與成就。第二類是教師發展歷程檔案,目的是藉由集結教師實際的教學策略與方法,呈現教師的職能成長與學術表現。最後一類的數位歷程檔案則是提供給學校、系所等教學機構,意指機構藉由集結上述兩種歷程檔案,作為師生學習與資格認證的憑據。在評量數位歷程檔案上,有很多議題需要考量,例如數位學習歷程的範疇、評量的項目、評量的方式、評量的準度效度,以及視覺化評量結果方法。而這個演講的主題會放在數位學習歷程檔案上,所謂的數位學習歷程檔案指的是上述的學生學習歷程檔案和機構歷程檔案。
學習目標與數位學習歷程檔案
如同我另一個演講所提到的,大學的角色應該當學生人生的加油站,讓他們可以加滿知識與能力,為一生的生涯做準備,不致中途用完。有鑑於此,在面對高等教育時,我們應該要參照社會的需求,為學生設計一套相對應的課程,讓他們畢業後能夠學以致用。然而,現在的高等教育並不能幫學生培養符合社會需求的能力。前年日本曾經針對 1732 位大學畢業三年的人士做過問卷,調查他們認為投入職場後最需要的技能,當中前幾名包含了問題分析解決的能力、求知的好奇心與主動學習的態度、在專案中獨立作業與領導他人的能力、在專案中分工合作的能力、自我規畫管理的能力,以及邏輯思考的能力等等。然而,這些填寫問卷的人也指出,大學教育並沒有提供他們這些應該要具備的技能。
因此,大學系所在設計課程時,應該由大到小,由上而下,從當今全世界的需求,到國家社會的需求,最後考量到系所設定的目的,為學生訂定一套學習目標,而系所的每一個課程,以及每一個課程的大綱,都要能符合並連結到系所所設定的學習目標,如果課程不能協助學生達到其中的任何一項目標,即代表該課程的設立與安排有所問題,無法讓系所達成其教學任務,必須重新調整。而在運用數位學習歷程檔案設計課程內容時,也必須要考量到不同的層次,包含課程、系所、機構,以及終身學習等層次。同時,我們也需要追蹤學習過程的系統、測量學習成果的工具,以及視覺化呈現學習成果的媒介。尤其在課程的層次,我們必須考量到學生對於數位產品和網際網路都有一定的熟悉度與使用能力,因此在設計數位學習歷程檔案時,我們要試著利用現有的軟硬體,讓他們無時無刻都可以沉浸在團隊學習的環境當中,並且達到美國教育心理學家布魯姆(Benjamin Bloom)所提出的學習金字塔當中,從記憶到創造等等各項的學習目標。
在布魯姆的學習活動分類當中,記憶和理解,大致可以被歸類為較為被動的學習活動,而應用、分析、評鑑與創造等,則是比較主動的學習活動。在設計高等教育課程時,應該要多設計需要主動學習的活動。另外一種分類學習的活動方式,則是根據老師可以提供的素材,分成事實性知識 (factual)、概念性知識 (conceptual),程序性知識 (procedural) 以及後設認知 (meta-cognitive) 等類型。用這兩種分類法可以來檢視我們以往的學習經驗,以我自己在日本學習經驗為例來分析。我在十八歲之前,都忙碌於應付學校考試,所以大多投入的學習活動都是記憶與理解,而學習的內容,大多是事實性、概念性的知識;上課的型式也大多是老師對大班演講授課。因此我們在設計課程與運用數位學習歷程檔案時,要試著帶入主動學習的活動,讓學生可以獨立思考,發揮創意,後設省思自己的學習過程,並且可以宏觀的角度了解事物,並體會生命的價值與美好。
社會建構論與數位學習歷程檔案
如果以社會建構論的觀點來思考學習活動的安排與數位學習歷程檔案的使用,我們就不能將學生想成一個一個獨立運作的個體,而應是在社會互動中學習的群體。因此團隊合作就顯得非常重要,是學習活動與歷程檔案中不可或缺的一個部份。在社會建構論的理論中,團隊裡的每一個成員不需要在每個領域都傑出卓越,完美無缺。相反的,「團隊合作」(teamwork) 與「分組工作」(group work) 是不一樣的。真正的團隊合作,是每一個成員在不同的情境中適時地出頭擔任領導人,成員間彼此截長補短。每個人都以自身的長處,對團隊的成功付出一份心力;不會有一個人扛起所有事,或有人坐享其成的情況發生。在這樣的基礎上,設計課程與歷程檔案,就要從問題/專案導向的學習,邁向團隊導向的共識協議。而這類團體導向的教學,同時也可以應用在不同層次的學習活動上。例如在分析的層次,學生可以針對問題進行動態的討論;在評估的層次,學生之間可以互相辯論;最後在創造的層次,學生可以合力完成一個團隊作業。除此之外,有鑑於課堂時間有限,我們必須要讓所有跟高等教育相關的人員,學生、老師、行政人員,乃至鄰近社區,都參與這項學習改革的計畫。換言之,就是要讓學生走出教室,跳出學習框架,跳出「魚缸」的限制。
除了團隊合作之外,另一個很重要的概念,就是學生需要自己找到學習的意義與價值,而不是由老師事先擬訂好給他們。要了解這個概念,可以從學開飛機這個比喻切入。傳統的教學是由老師設定學習的意義,就像老師在教室裡講課,由他設了一個目標,要學生投紙飛機到目標上。這樣的活動既不符合現實狀況,學生也無法主動為自己的學習負責。而我們想要達到的目標,應該是讓學生學會主動學習,自行找到學習的價值。這樣就要像讓學生自己當飛行員開飛機,自己設定要飛到的目標,老師的工作只是擔任副駕駛,引導幫助他們的學習而已。因此我們需要好好利用數位學習歷程檔案來促進後者這類以學生為導向的主動學習。
教學任務與數位學習歷程檔案
如同教學課程的設計必須考慮到系所任務、社會需求及全球需求,數位學習歷程檔案的設計也必須考量到不同的層面。就教學機構的層面來說,數位學習歷程檔案的使用,必須依循機構的教學使命,而機構的任務則是要參照社會與全球的需要,來決定他們要培育什麼樣的人才。舉例來說,有的教學機構訂定的使命是要在每個學生都能得到充份關懷與支持的環境中,提供給他們全世界最好的大學科學教育。根據這個任務,機構的發展願景,則是要讓學生在畢業時,能夠具備適切的專業技術以及終身學習的能力。基於這些願景,機構可以再設定學生的學習目標,例如發展對於工作倫理與專業責任的認知、增進人類科學對於當代重要議題的影響、習得有效團隊合作的能力等等。這樣的概念也可以推廣到系所的層級,系所依據機構的任務和社會與全球的需求,設定自己的使命,再基於這個使命設計系所學生的學習目標。
這些課程的設計以及學習目標的設定,都需反映在課程大綱上,並且由系所與機構進行有系統的審查,並檢驗課程設計的外部與內部成效。要了解課程設計是否具有外部成效,我們必須要在學生畢業之後五年、十年、二十年,對他們做後續追蹤。教學機構調查這些畢業校友的終身學習態度和滿意度,以及其終身學習態度之實體結果與證據,像是這些校友在畢業後所取到的專業證照、是否繼續進修取得學位、獲得的獎項以及接受的表揚。至於內部的效度,我們則是要回過頭比照系所的任務、機構的使命,以及社會與全球的需求,並且了解學生的表現與學習狀況。數位學習歷程檔案不再只針對單一課程,而是要放到整個系所機構的任務,以及設定的學習目標當中,並為學生未來的生涯與終身學習做準備。
舉例來說,先前有提到,系所機構的任務可能是要培養對於工作倫理與專業責任的認知,那麼在數位學習歷程檔案中,就可以要求學生產出如心得感想之類的報告或作文,並藉由導師批改,了解學生是否達到設定的學習目標。學生之間也可以互相觀摩彼此的作品,進行同儕學習與互評。類似的過程,在大學四年內會不斷重覆,以確認學生達到學習目標,以及系所有達到其設定的任務與使命。除了學習目標之外,數位學習歷程檔案,也可以引導學生提早開始為未來生涯進行規劃,從大一開始就有文件表格協助學生思考未來可以發展的方向,為畢業後的職涯做好規劃。
在這樣使用數位學習歷程檔案的過程當中,有一個很重要的議題就是,學生是否發自內心,自行完成這些作品,還是隨便在網路上找好資料,剪貼抄襲,交差了事。為了要能夠區別原創與抄襲的作品,保障認真付出的學生,我通常都會使用Turn-It-In 這個軟體與平台,來檢查學生是否有拼貼抄襲網路資料的嫌疑。
數位學習歷程檔案評量方法
關於數位學習歷程檔案,另一個重要面向就是如何評量這些檔案。大致上來說,歷程檔案的評量重點應該要根據學生學習成果的實證,來評量學生是否習得條列在學習目標中的技術與能力。要了解學生的學習成就,很重要的一個方式,則是要學生針對課程學習活動撰寫學習心得。寫作是心靈之鏡,老師可以藉由問答題的方式,讓學生反思學習的過程,以及呈現他們學習的成果。有三種可以用來評量學習歷程檔案的方式,第一種是能力導向的測驗方式,第二種是改良版紮根理論法 (Modified Grounded Theory Approach, MGTA),第三種是所謂的非負值矩陣因子分解 (Non-negative Matrix Factorization, NMF),以下逐一說明。
首先是能力導向的評量方法,通常會使用評量指標 (rubrics)。這類評分量表最大優點,就是可以視覺化的方式,清楚地呈現學生學習成果,讓學生對自己的學習目標以及如何達成目標,能一目了然。而評量指標也可以針對不同的學習目標與課程,進行設計與調整。然而,如果評分量表沒有經過專家針對課程目標特別設計,可能會武斷地選取特定的項目與量化基準,無法對學生的表現與教學的成效有精確且科學化的方法驗證。
第二種方法,則是所謂的紮根理論法這種質化的研究方法,可以日本神戶的親和女子大學的做法作為一個例子。親和女子大學將這種改良版紮根理論法 (MGTA) 運用在以專案為本的田野調查課上。在課堂當中學生必須分組與當地社會或公司合作,解決日常會遇到的問題,像是重振當地社區,或是與公司共同開發新產品。在專案完成之後,學生根據這樣的合作經驗,撰寫學習心得學習單,形成數位學習歷程檔案。除了課程大綱上條列的項目外,學生也可以自行設定學習目標,並於期末自己檢視完成進度。學生完成數位學習歷程檔案後,可以再針對學生的文字進行分類與分析,從中抽取重要的成份與因素,而後對照到不同層次的學習目標,以視覺化呈現學生學習的過程與成效。
最後一種方式是非負值矩陣因子分解 (NMF),這個方法其實源自於卡拉 OK 的概念。想像現在你有一首有人聲演唱的歌曲,如果要做成卡拉帶,就是將人聲抽掉,只留下配樂。非負值矩陣因子分解的做法也類似,就是將學生的學習心得中,我們覺得重要有價值的成份抽取出來。我們就可以單純分析這樣資料,有點類似將現在所謂大數據的資料處理模式,應用在數位學習歷程檔案的評量當中。就像我們手上有一大筆文本資料,有一套分類方式和關鍵詞,我們可以藉此創造出一個矩陣來計算和呈現這些種類或關鍵詞的出現頻率,再搭配跟學習目標相關的關鍵詞同義詞表,我們就可以研究學生是否達到我們所設定的學習目標。儘管非負值矩陣因子分解法利用了大數據的技術來評量數位學習歷程檔案,也讓結果得以清楚地以視覺化的方法呈現出來,但由於NMF只有依靠文字資料,所做出的分析可能會有所缺漏,還需要再加入表情與手勢等等其他的資訊,才能全面了解學生的學習成效。
結語
隨著科技的進步,數位學習歷程檔案的技巧日趨成熟,藉由這樣結合資訊電子科技的方法,我們不僅可以讓學生記錄自己的學習歷程,展現自己的學習成就,更可以促進團隊合作的精神,讓學生練習反思批判的能力。若能搭配不同的歷程檔案評量方式,以質性與量性的方式分析學生的歷程檔案,提供回饋,相信勢必能夠培育出符合未來全球需求的人才,也能為學生指引出終身學習的生涯發展方向!