走進(jìn)麻省理工 Media Lab，看 AR 技術(shù)如何改變課堂教育？

Insigne

海明威的《老人與�！�，大家都很熟悉吧？你們的高中老師當(dāng)年是怎么教這篇課文的呢？朗讀、背誦、講 PPT？

這一切將被改變！你能想象嗎，不茍言笑的語(yǔ)文老師在課堂上變身「演員」，《老人與�！分芯薮髢疵偷鸟R林魚向他襲來(lái)，而他向后一個(gè)趔趄，躲避開這個(gè)危險(xiǎn)的生物…

沒(méi)錯(cuò)，這正是在融合了最新的 VR、AR 技術(shù)后的課堂教學(xué)方式，讓老師和學(xué)生能在探險(xiǎn)般的故事里「身臨其境」。

▲ 海洋探險(xiǎn)，講故事的新方式

雖然當(dāng)前 VR、AR 技術(shù)已進(jìn)入成熟階段，但據(jù) EDUCAUSE 發(fā)布的數(shù)據(jù)顯示，僅有 4% 的學(xué)生在 2018 年通過(guò)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等視聽新科技輔助過(guò)他們的學(xué)習(xí)。技術(shù)創(chuàng)新在教育領(lǐng)域中的應(yīng)用仍有很大的可挖掘的空間。

教育學(xué)家、科學(xué)家、工程師、設(shè)計(jì)師甚至追夢(mèng)者們都在嘗試使用科技的力量輔助教育，如何將 VR、AR、MR 技術(shù)與教育結(jié)合成為了重點(diǎn)研究的方向之一。近日，硅谷洞察走進(jìn)了麻省理工學(xué)院媒介實(shí)驗(yàn)室（MIT Media Lab），探尋那里的研究者們就如何用 AR 技術(shù)打造更具吸引力的課堂。

AR 將打造「實(shí)時(shí)交互式」的課堂教學(xué)方式

▲ Nazmus Saquib 在麻省理工學(xué)院的媒介實(shí)驗(yàn)室，Yaling Hou 攝

Nazmus Saquib（后簡(jiǎn)稱 Saquib）是麻省理工學(xué)院的一名博士生。今年年初，他與 Adobe 研究院的研究員們就如何運(yùn)用新媒介更好的展示教學(xué)內(nèi)容、幫助教師提高課程吸引力開展了一項(xiàng)技術(shù)試驗(yàn)。

發(fā)起這個(gè)實(shí)驗(yàn)項(xiàng)目的初衷，是 Saquib 想改變教師在授課中總照著 PPT 干巴巴念著板書的模式。受到 AR 增強(qiáng)現(xiàn)實(shí)的啟發(fā)，擁有人工智能開發(fā)和機(jī)器深度學(xué)習(xí)背景的 Saquib 和團(tuán)隊(duì)想要將「肢體語(yǔ)言」引入一項(xiàng)交互式演示的系統(tǒng)中，輔助教師更好的將知識(shí)可視化、生動(dòng)化的展現(xiàn)給學(xué)生，他們將此開發(fā)系統(tǒng)命名為 Interactive Body-Driven Graphics for Augmented Video Performance，后文就將它簡(jiǎn)稱為 AR 實(shí)時(shí)交互式系統(tǒng)。

那么，這款產(chǎn)品是怎么運(yùn)用到教學(xué)中去的呢？

• 技術(shù)層面：基于 AR 的實(shí)時(shí)交互系統(tǒng)
  

這個(gè)系統(tǒng)可以讓用戶獨(dú)立設(shè)計(jì)互動(dòng)方案和原創(chuàng)故事，讓用戶在不同的場(chǎng)景里用自然的肢體動(dòng)作和姿勢(shì)操控圖表元素。

使用該系統(tǒng)，老師會(huì)和現(xiàn)實(shí)場(chǎng)景（課堂）中不存在的事物同時(shí)出現(xiàn)。老師還必須是「戲精」本人，在現(xiàn)場(chǎng)使用肢體動(dòng)作和姿勢(shì)實(shí)時(shí)操控這些圖表信息，真正達(dá)到「聲情并茂」的演繹出教學(xué)內(nèi)容的目標(biāo)。

▲ 鯨魚結(jié)構(gòu)講演

比如老師今天上課的內(nèi)容是介紹一種海洋生物：鯨魚。傳統(tǒng)的多媒體教學(xué)會(huì)給學(xué)生展示一條鯨魚在屏幕上，用箭頭標(biāo)注出這些部位分別叫什么。但是利用 Saquib 他們開發(fā)的系統(tǒng)，教師可以在視頻中和這條鯨魚實(shí)時(shí)互動(dòng)，通過(guò)上下抬臂這個(gè)動(dòng)作「打開」鯨魚，讓同學(xué)們看到鯨魚內(nèi)部骨架結(jié)構(gòu)、五臟器官構(gòu)造和外部皮層的關(guān)聯(lián)。

與圖文互動(dòng)，除了讓學(xué)生們覺(jué)得老師上課新穎有趣、知識(shí)點(diǎn)更好理解外，也讓教師們將圖文、聲音、語(yǔ)言和肢體動(dòng)作等多重傳遞信息的方式相結(jié)合，極大的幫助他們更好的表達(dá)信息。

▲ 研究太陽(yáng)起落與濕度的變化關(guān)系

▲ AR 技術(shù)演示做飯

▲ AR 為學(xué)生添加天使翅膀

這個(gè)系統(tǒng)讓我們看到了除幻燈片外，還有更具互動(dòng)性與趣味性的工具可被教師在上課時(shí)使用。這款工具還打破了傳統(tǒng) AR 程序前期編程后期無(wú)法更改的特點(diǎn)，提供實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)的特效。

• 操作層面：像做 PPT 一樣，操作簡(jiǎn)單易上手
  

聽起來(lái)似乎需要很復(fù)雜的特效剪輯才能做到這樣的效果。那么這款工具對(duì)普通教師來(lái)說(shuō)好用嗎？便于操作嗎？

Saquib 說(shuō)只要教師會(huì)做 PPT，并通過(guò)簡(jiǎn)單的培訓(xùn)，就可以自主掌握這款 AR 交互系統(tǒng)。他給我們展示了他是如何使用這款工具做到用戶設(shè)計(jì)交互表達(dá)并講好一個(gè)故事的。

教師在打開系統(tǒng)后，會(huì)看到這個(gè)人形的大框架。藍(lán)色的「人架子」上，每一個(gè)圓點(diǎn)代表著人體可移動(dòng)關(guān)節(jié)的 19 支點(diǎn)，如：頭、頸、肩、肘、手、腰、腿部關(guān)節(jié)等。右邊是 Saquib 用鼠標(biāo)畫出來(lái)的一把雨傘，他還向系統(tǒng)導(dǎo)入添加了云和雨滴，用于輔助教學(xué)的圖像元素。導(dǎo)入的過(guò)程就像 PPT 導(dǎo)入圖片一樣簡(jiǎn)單。

▲ 圖片由 Nazmus Saquib 提供

接下來(lái)，Saquib 想要在演示時(shí)用自己的左手撐傘。要完成這一套動(dòng)作，只要拖動(dòng)鼠標(biāo)，找到「左手」支點(diǎn)，將「左手」與「雨傘」相連即可，相連的位置也是可以設(shè)計(jì)的。

在雨傘旁邊，會(huì)出現(xiàn)五個(gè)黃色的小圖標(biāo)，這些小圓圈代表了該圖像元素本身將如何運(yùn)動(dòng)：從上到下依次代表了：移動(dòng)、旋轉(zhuǎn)、改變透明度、變大變小和速度。這些功能是 Saquib 和團(tuán)隊(duì)成員們通過(guò)對(duì)演講者演示時(shí)行為的研究得到的最常用的五種形變方式。

▲ 人體支點(diǎn)連接虛擬雨傘，并出現(xiàn) 5 種形變位移圖標(biāo)

所以按照這樣的設(shè)計(jì)邏輯，如果想讓雨傘在 Saquib 拿到之后變大，他僅需要點(diǎn)擊雨傘旁邊代表大小的黃色圖標(biāo)即可。

此外，系統(tǒng)中還預(yù)設(shè)好了一些手勢(shì)的「快捷方式」，幫助教師用簡(jiǎn)介的動(dòng)作完成會(huì)重復(fù)出現(xiàn)的高頻互動(dòng)反應(yīng)，如「食指指向」選定后，「雙手豎起大拇指」控制圖表保持固定，「手部左右擺動(dòng)」控制方向移動(dòng)，擺動(dòng)控制圖表擺動(dòng)等。

在系統(tǒng)上設(shè)計(jì)好這些元素和其運(yùn)動(dòng)方式后，就到了正式表演的時(shí)候了。

▲ 圖片由 Nazmus Saquib 提供

這是一張 Saquib 在家里使用系統(tǒng)工具的照片。通過(guò)畫面你可以看到制作的場(chǎng)地不受限制，只需一位講師、一塊屏幕、一臺(tái)傳感器（即圖中的 Kinect）、一部電腦和一個(gè)（手上握著的）點(diǎn)擊器就可以開始錄制了 。這臺(tái)電腦的攝像頭可以拍到 Saquib，電視屏幕相當(dāng)于一面鏡子，S 可以通過(guò)看屏幕看到自己的表現(xiàn)，并設(shè)計(jì)自己的互動(dòng)動(dòng)作。

▲ 自定義設(shè)計(jì)好交互圖表后的效果展示

可以看到，這款系統(tǒng)還是很好理解，并可以快速上手的。這對(duì)于沒(méi)有編程、設(shè)計(jì)基礎(chǔ)的教師來(lái)說(shuō)，從接觸到掌握不是一件難事。

• 項(xiàng)目亮點(diǎn)：虛擬畫面「實(shí)時(shí)反饋」，創(chuàng)新信息傳遞模式
  

虛擬畫面現(xiàn)實(shí)場(chǎng)景中「實(shí)時(shí)反饋」是 Saquib 團(tuán)隊(duì) AR 實(shí)時(shí)交互系統(tǒng)的亮點(diǎn)。

通過(guò)深度學(xué)習(xí)（machinelearning），即利用人工智能將人類行為動(dòng)作的數(shù)據(jù)收入到數(shù)據(jù)庫(kù)中，Kinect 就可以感知并識(shí)別演示者動(dòng)作的目的。當(dāng) Saquib 舉起手指向斜上方時(shí)，一個(gè)圖表就會(huì)出現(xiàn)在視頻上， Kinect 會(huì)迅速反應(yīng)并判斷「操作者」做出這一指令動(dòng)作的目的，將之前設(shè)置好的圖表信息實(shí)時(shí)顯示到屏幕上。

比如這個(gè)航海的舵盤，當(dāng)屏幕上的 Saquib 握著舵盤「航行」的時(shí)候，圖表信息會(huì)隨著 Saquib 的移動(dòng)而做出變化。

▲ 實(shí)時(shí)出現(xiàn)的虛擬圖表，數(shù)值更具演示者的變化而變動(dòng)

這就是 Saquib 一直強(qiáng)調(diào)的關(guān)鍵詞「實(shí)時(shí)」互動(dòng)。這款工具的亮點(diǎn)和特色正是在視頻中實(shí)時(shí)顯示增強(qiáng)現(xiàn)實(shí)的 AR 畫面，現(xiàn)場(chǎng)配合教師，完成一場(chǎng)自定義的「表演」。

此外，Saquib 還表示，AR 教學(xué)將成為信息傳遞的新媒介，幫助更多的人認(rèn)知這個(gè)世界。在 MIT Media Lab, Saquib 和其他學(xué)生、學(xué)者一直致力于研究除聲音、畫面、文字外，還有什么新型「語(yǔ)言」可以傳遞信息并且?guī)椭�更多的人，為獲取信息提供創(chuàng)新性途徑和工具。

▲ MIT Media Lab 一角，Yaling Hou 攝

Saquib 萌生出做 AR 實(shí)時(shí)交互演示工具也是想探討「肢體」語(yǔ)言對(duì)信息傳遞的效率和用途，打造未來(lái)創(chuàng)新型互動(dòng)教室。

有人可能會(huì)有這樣的疑問(wèn)，通過(guò)在筆記本上寫字、畫圖這種最傳統(tǒng)的「語(yǔ)言」方式不是一樣能扎實(shí)的掌握知識(shí)嗎？為什么要開發(fā)新的學(xué)習(xí)「語(yǔ)言」呢？

其實(shí)，未來(lái)人才培養(yǎng)的格局已經(jīng)悄然改變。復(fù)雜、龐大、時(shí)刻在快速改變著的社會(huì)告訴我們，傳統(tǒng)的「語(yǔ)言」在學(xué)習(xí)中固然重要，但是創(chuàng)新性新「語(yǔ)言」的誕生可以激發(fā)我們不曾發(fā)覺(jué)的大腦潛力，輔助我們更好的換個(gè)角度看世界。

與此同時(shí)，科技的發(fā)展帶給人類的應(yīng)該是更多可以共享的教育資源、以及公平的學(xué)習(xí)機(jī)會(huì)。新媒介語(yǔ)言的誕生和創(chuàng)新，可以為更多擁有讀寫障礙或需要特殊教育的兒童（如自閉癥患者）打開認(rèn)知世界的新窗口。

「有些人可以快速理解邏輯性極強(qiáng)的數(shù)字語(yǔ)言；有些人則能更好的通過(guò)可視化語(yǔ)言（腦圖、圖表、視頻）加強(qiáng)理解和記憶；還有些人可能對(duì)數(shù)字和可視化語(yǔ)言都不感冒。那么新「語(yǔ)言」的開發(fā)，其實(shí)也是在幫助不同人群尋找最適合自己的學(xué)習(xí)方式」，Saquib 說(shuō)。

科技+教育要以人為本

在對(duì) MIT 媒體實(shí)驗(yàn)室的參觀采訪中，小探感受到，未來(lái)的教育并不只是科技的拼湊，而是科技更好地輔助教師，進(jìn)而更好的開啟學(xué)生們探索世界、思維自由馳騁的能力。所以，不論是科技還是教育，它們的本質(zhì)還是重在對(duì)「人」素質(zhì)的培養(yǎng)。

與此同時(shí)，這也客觀要求教師能力可以「與時(shí)俱進(jìn)」，跟上科技時(shí)代的發(fā)展。但這對(duì)對(duì)教師來(lái)說(shuō)，仍是個(gè)不小的挑戰(zhàn)。

在哈佛的科教論壇上，在國(guó)內(nèi)教學(xué)一線工作了近 10 年的高宏老師和波士頓大學(xué)教育學(xué)院的教授 Stacy L. Scott 博士也跟小探一起，聽取了該 MIT 團(tuán)隊(duì) AR 教學(xué)系統(tǒng)的介紹。會(huì)后，他們都對(duì)科技與教育融合的未來(lái)充滿了期待，但同時(shí)他們也都認(rèn)為科技、教育發(fā)展的核心都是要更好地「服務(wù)」于人，而無(wú)論是老師還是學(xué)生也都應(yīng)該順應(yīng)時(shí)代的趨勢(shì)，培養(yǎng)使用科技的能力。

高宏老師認(rèn)為，科技對(duì)教育的影響是不可逆的，是時(shí)代的必然趨勢(shì)。教師除了有能力教授學(xué)生全面、系統(tǒng)的學(xué)習(xí)知識(shí)外，不斷接受并學(xué)習(xí)新事物，快速洞察到哪些科技手段和產(chǎn)品可以用、怎么用，是對(duì)教師從業(yè)人員的新要求。而她目前也在哥倫比亞大學(xué)接受更加全面的教育領(lǐng)域?qū)W習(xí)。

跟高老師一樣，Scott 博士也告訴小探，他認(rèn)為未來(lái)教育的大趨勢(shì)是科技輔助教育的科教結(jié)合時(shí)代。AR 交互手段確實(shí)會(huì)有效的提升課堂對(duì)學(xué)生的吸引力，但是在教師備課時(shí)，如何利用科技手段去講好知識(shí)點(diǎn)和故事，這背后的功夫還是與教師的基本素養(yǎng)密不可分的。所以，雖然未來(lái)科技會(huì)改變教育形態(tài)，但教師所創(chuàng)造出的價(jià)值不會(huì)變。

「人工智能和認(rèn)知科學(xué)是未來(lái)趨勢(shì)，但是這些科技都是圍繞著『人』來(lái)服務(wù)的。未來(lái)的教育，我認(rèn)為是以人為中心的學(xué)習(xí)和設(shè)計(jì)的過(guò)程，」Saquib 在采訪的最后說(shuō)。

硅谷洞察

未來(lái)第一站

未來(lái)教育。

遠(yuǎn)祥

形象生動(dòng)，有助于提高形象。

鈑金準(zhǔn)專家

能讓學(xué)生集中精力

wugehaoniu

做的真不錯(cuò)。生動(dòng)易接受。贊

想愛(ài)學(xué)習(xí)的懶人

牛逼，

bobo569

做的挺好

蘇州萬(wàn)坤信息

有意思

雪見(jiàn)花楹

好像還沒(méi)有那么形象，主要是畫面做的太粗糙