走進(jìn)麻省理工 Media Lab，看 AR 技術(shù)如何改變課堂教育？

Insigne

海明威的《老人與海》，大家都很熟悉吧？你們的高中老師當(dāng)年是怎么教這篇課文的呢？朗讀、背誦、講 PPT？

這一切將被改變！你能想象嗎，不茍言笑的語文老師在課堂上變身「演員」，《老人與�！分芯薮髢疵偷鸟R林魚向他襲來，而他向后一個趔趄，躲避開這個危險的生物…

沒錯，這正是在融合了最新的 VR、AR 技術(shù)后的課堂教學(xué)方式，讓老師和學(xué)生能在探險般的故事里「身臨其境」。

▲ 海洋探險，講故事的新方式

雖然當(dāng)前 VR、AR 技術(shù)已進(jìn)入成熟階段，但據(jù) EDUCAUSE 發(fā)布的數(shù)據(jù)顯示，僅有 4% 的學(xué)生在 2018 年通過虛擬現(xiàn)實和增強(qiáng)現(xiàn)實等視聽新科技輔助過他們的學(xué)習(xí)。技術(shù)創(chuàng)新在教育領(lǐng)域中的應(yīng)用仍有很大的可挖掘的空間。

教育學(xué)家、科學(xué)家、工程師、設(shè)計師甚至追夢者們都在嘗試使用科技的力量輔助教育，如何將 VR、AR、MR 技術(shù)與教育結(jié)合成為了重點(diǎn)研究的方向之一。近日，硅谷洞察走進(jìn)了麻省理工學(xué)院媒介實驗室（MIT Media Lab），探尋那里的研究者們就如何用 AR 技術(shù)打造更具吸引力的課堂。

AR 將打造「實時交互式」的課堂教學(xué)方式

▲ Nazmus Saquib 在麻省理工學(xué)院的媒介實驗室，Yaling Hou 攝

Nazmus Saquib（后簡稱 Saquib）是麻省理工學(xué)院的一名博士生。今年年初，他與 Adobe 研究院的研究員們就如何運(yùn)用新媒介更好的展示教學(xué)內(nèi)容、幫助教師提高課程吸引力開展了一項技術(shù)試驗。

發(fā)起這個實驗項目的初衷，是 Saquib 想改變教師在授課中總照著 PPT 干巴巴念著板書的模式。受到 AR 增強(qiáng)現(xiàn)實的啟發(fā)，擁有人工智能開發(fā)和機(jī)器深度學(xué)習(xí)背景的 Saquib 和團(tuán)隊想要將「肢體語言」引入一項交互式演示的系統(tǒng)中，輔助教師更好的將知識可視化、生動化的展現(xiàn)給學(xué)生，他們將此開發(fā)系統(tǒng)命名為 Interactive Body-Driven Graphics for Augmented Video Performance，后文就將它簡稱為 AR 實時交互式系統(tǒng)。

那么，這款產(chǎn)品是怎么運(yùn)用到教學(xué)中去的呢？

• 技術(shù)層面：基于 AR 的實時交互系統(tǒng)
  

這個系統(tǒng)可以讓用戶獨(dú)立設(shè)計互動方案和原創(chuàng)故事，讓用戶在不同的場景里用自然的肢體動作和姿勢操控圖表元素。

使用該系統(tǒng)，老師會和現(xiàn)實場景（課堂）中不存在的事物同時出現(xiàn)。老師還必須是「戲精」本人，在現(xiàn)場使用肢體動作和姿勢實時操控這些圖表信息，真正達(dá)到「聲情并茂」的演繹出教學(xué)內(nèi)容的目標(biāo)。

▲ 鯨魚結(jié)構(gòu)講演

比如老師今天上課的內(nèi)容是介紹一種海洋生物：鯨魚。傳統(tǒng)的多媒體教學(xué)會給學(xué)生展示一條鯨魚在屏幕上，用箭頭標(biāo)注出這些部位分別叫什么。但是利用 Saquib 他們開發(fā)的系統(tǒng)，教師可以在視頻中和這條鯨魚實時互動，通過上下抬臂這個動作「打開」鯨魚，讓同學(xué)們看到鯨魚內(nèi)部骨架結(jié)構(gòu)、五臟器官構(gòu)造和外部皮層的關(guān)聯(lián)。

與圖文互動，除了讓學(xué)生們覺得老師上課新穎有趣、知識點(diǎn)更好理解外，也讓教師們將圖文、聲音、語言和肢體動作等多重傳遞信息的方式相結(jié)合，極大的幫助他們更好的表達(dá)信息。

▲ 研究太陽起落與濕度的變化關(guān)系

▲ AR 技術(shù)演示做飯

▲ AR 為學(xué)生添加天使翅膀

這個系統(tǒng)讓我們看到了除幻燈片外，還有更具互動性與趣味性的工具可被教師在上課時使用。這款工具還打破了傳統(tǒng) AR 程序前期編程后期無法更改的特點(diǎn)，提供實時增強(qiáng)現(xiàn)實的特效。

• 操作層面：像做 PPT 一樣，操作簡單易上手
  

聽起來似乎需要很復(fù)雜的特效剪輯才能做到這樣的效果。那么這款工具對普通教師來說好用嗎？便于操作嗎？

Saquib 說只要教師會做 PPT，并通過簡單的培訓(xùn)，就可以自主掌握這款 AR 交互系統(tǒng)。他給我們展示了他是如何使用這款工具做到用戶設(shè)計交互表達(dá)并講好一個故事的。

教師在打開系統(tǒng)后，會看到這個人形的大框架。藍(lán)色的「人架子」上，每一個圓點(diǎn)代表著人體可移動關(guān)節(jié)的 19 支點(diǎn)，如：頭、頸、肩、肘、手、腰、腿部關(guān)節(jié)等。右邊是 Saquib 用鼠標(biāo)畫出來的一把雨傘，他還向系統(tǒng)導(dǎo)入添加了云和雨滴，用于輔助教學(xué)的圖像元素。導(dǎo)入的過程就像 PPT 導(dǎo)入圖片一樣簡單。

▲ 圖片由 Nazmus Saquib 提供

接下來，Saquib 想要在演示時用自己的左手撐傘。要完成這一套動作，只要拖動鼠標(biāo)，找到「左手」支點(diǎn)，將「左手」與「雨傘」相連即可，相連的位置也是可以設(shè)計的。

在雨傘旁邊，會出現(xiàn)五個黃色的小圖標(biāo)，這些小圓圈代表了該圖像元素本身將如何運(yùn)動：從上到下依次代表了：移動、旋轉(zhuǎn)、改變透明度、變大變小和速度。這些功能是 Saquib 和團(tuán)隊成員們通過對演講者演示時行為的研究得到的最常用的五種形變方式。

▲ 人體支點(diǎn)連接虛擬雨傘，并出現(xiàn) 5 種形變位移圖標(biāo)

所以按照這樣的設(shè)計邏輯，如果想讓雨傘在 Saquib 拿到之后變大，他僅需要點(diǎn)擊雨傘旁邊代表大小的黃色圖標(biāo)即可。

此外，系統(tǒng)中還預(yù)設(shè)好了一些手勢的「快捷方式」，幫助教師用簡介的動作完成會重復(fù)出現(xiàn)的高頻互動反應(yīng)，如「食指指向」選定后，「雙手豎起大拇指」控制圖表保持固定，「手部左右擺動」控制方向移動，擺動控制圖表擺動等。

在系統(tǒng)上設(shè)計好這些元素和其運(yùn)動方式后，就到了正式表演的時候了。

▲ 圖片由 Nazmus Saquib 提供

這是一張 Saquib 在家里使用系統(tǒng)工具的照片。通過畫面你可以看到制作的場地不受限制，只需一位講師、一塊屏幕、一臺傳感器（即圖中的 Kinect）、一部電腦和一個（手上握著的）點(diǎn)擊器就可以開始錄制了 。這臺電腦的攝像頭可以拍到 Saquib，電視屏幕相當(dāng)于一面鏡子，S 可以通過看屏幕看到自己的表現(xiàn)，并設(shè)計自己的互動動作。

▲ 自定義設(shè)計好交互圖表后的效果展示

可以看到，這款系統(tǒng)還是很好理解，并可以快速上手的。這對于沒有編程、設(shè)計基礎(chǔ)的教師來說，從接觸到掌握不是一件難事。

• 項目亮點(diǎn)：虛擬畫面「實時反饋」，創(chuàng)新信息傳遞模式
  

虛擬畫面現(xiàn)實場景中「實時反饋」是 Saquib 團(tuán)隊 AR 實時交互系統(tǒng)的亮點(diǎn)。

通過深度學(xué)習(xí)（machinelearning），即利用人工智能將人類行為動作的數(shù)據(jù)收入到數(shù)據(jù)庫中，Kinect 就可以感知并識別演示者動作的目的。當(dāng) Saquib 舉起手指向斜上方時，一個圖表就會出現(xiàn)在視頻上， Kinect 會迅速反應(yīng)并判斷「操作者」做出這一指令動作的目的，將之前設(shè)置好的圖表信息實時顯示到屏幕上。

比如這個航海的舵盤，當(dāng)屏幕上的 Saquib 握著舵盤「航行」的時候，圖表信息會隨著 Saquib 的移動而做出變化。

▲ 實時出現(xiàn)的虛擬圖表，數(shù)值更具演示者的變化而變動

這就是 Saquib 一直強(qiáng)調(diào)的關(guān)鍵詞「實時」互動。這款工具的亮點(diǎn)和特色正是在視頻中實時顯示增強(qiáng)現(xiàn)實的 AR 畫面，現(xiàn)場配合教師，完成一場自定義的「表演」。

此外，Saquib 還表示，AR 教學(xué)將成為信息傳遞的新媒介，幫助更多的人認(rèn)知這個世界。在 MIT Media Lab, Saquib 和其他學(xué)生、學(xué)者一直致力于研究除聲音、畫面、文字外，還有什么新型「語言」可以傳遞信息并且?guī)椭�更多的人，為獲取信息提供創(chuàng)新性途徑和工具。

▲ MIT Media Lab 一角，Yaling Hou 攝

Saquib 萌生出做 AR 實時交互演示工具也是想探討「肢體」語言對信息傳遞的效率和用途，打造未來創(chuàng)新型互動教室。

有人可能會有這樣的疑問，通過在筆記本上寫字、畫圖這種最傳統(tǒng)的「語言」方式不是一樣能扎實的掌握知識嗎？為什么要開發(fā)新的學(xué)習(xí)「語言」呢？

其實，未來人才培養(yǎng)的格局已經(jīng)悄然改變。復(fù)雜、龐大、時刻在快速改變著的社會告訴我們，傳統(tǒng)的「語言」在學(xué)習(xí)中固然重要，但是創(chuàng)新性新「語言」的誕生可以激發(fā)我們不曾發(fā)覺的大腦潛力，輔助我們更好的換個角度看世界。

與此同時，科技的發(fā)展帶給人類的應(yīng)該是更多可以共享的教育資源、以及公平的學(xué)習(xí)機(jī)會。新媒介語言的誕生和創(chuàng)新，可以為更多擁有讀寫障礙或需要特殊教育的兒童（如自閉癥患者）打開認(rèn)知世界的新窗口。

「有些人可以快速理解邏輯性極強(qiáng)的數(shù)字語言；有些人則能更好的通過可視化語言（腦圖、圖表、視頻）加強(qiáng)理解和記憶；還有些人可能對數(shù)字和可視化語言都不感冒。那么新「語言」的開發(fā)，其實也是在幫助不同人群尋找最適合自己的學(xué)習(xí)方式」，Saquib 說。

科技+教育要以人為本

在對 MIT 媒體實驗室的參觀采訪中，小探感受到，未來的教育并不只是科技的拼湊，而是科技更好地輔助教師，進(jìn)而更好的開啟學(xué)生們探索世界、思維自由馳騁的能力。所以，不論是科技還是教育，它們的本質(zhì)還是重在對「人」素質(zhì)的培養(yǎng)。

與此同時，這也客觀要求教師能力可以「與時俱進(jìn)」，跟上科技時代的發(fā)展。但這對對教師來說，仍是個不小的挑戰(zhàn)。

在哈佛的科教論壇上，在國內(nèi)教學(xué)一線工作了近 10 年的高宏老師和波士頓大學(xué)教育學(xué)院的教授 Stacy L. Scott 博士也跟小探一起，聽取了該 MIT 團(tuán)隊 AR 教學(xué)系統(tǒng)的介紹。會后，他們都對科技與教育融合的未來充滿了期待，但同時他們也都認(rèn)為科技、教育發(fā)展的核心都是要更好地「服務(wù)」于人，而無論是老師還是學(xué)生也都應(yīng)該順應(yīng)時代的趨勢，培養(yǎng)使用科技的能力。

高宏老師認(rèn)為，科技對教育的影響是不可逆的，是時代的必然趨勢。教師除了有能力教授學(xué)生全面、系統(tǒng)的學(xué)習(xí)知識外，不斷接受并學(xué)習(xí)新事物，快速洞察到哪些科技手段和產(chǎn)品可以用、怎么用，是對教師從業(yè)人員的新要求。而她目前也在哥倫比亞大學(xué)接受更加全面的教育領(lǐng)域?qū)W習(xí)。

跟高老師一樣，Scott 博士也告訴小探，他認(rèn)為未來教育的大趨勢是科技輔助教育的科教結(jié)合時代。AR 交互手段確實會有效的提升課堂對學(xué)生的吸引力，但是在教師備課時，如何利用科技手段去講好知識點(diǎn)和故事，這背后的功夫還是與教師的基本素養(yǎng)密不可分的。所以，雖然未來科技會改變教育形態(tài)，但教師所創(chuàng)造出的價值不會變。

「人工智能和認(rèn)知科學(xué)是未來趨勢，但是這些科技都是圍繞著『人』來服務(wù)的。未來的教育，我認(rèn)為是以人為中心的學(xué)習(xí)和設(shè)計的過程，」Saquib 在采訪的最后說。

硅谷洞察

未來第一站

未來教育。

遠(yuǎn)祥

形象生動，有助于提高形象。

鈑金準(zhǔn)專家

能讓學(xué)生集中精力

wugehaoniu

做的真不錯。生動易接受。贊

想愛學(xué)習(xí)的懶人

牛逼，

bobo569

做的挺好

蘇州萬坤信息

有意思

雪見花楹

好像還沒有那么形象，主要是畫面做的太粗糙