冠云


東北大學資訊科學博士
gywang.tp@gmail.com

日本東北大學資訊科學研究所博士,同時亦是東北大學人工智慧與電子學(AIE)卓越大學院博士學程畢業生。我的博士研究主要使用機器學習的技術,分析學生的臉部表情,以評價學生學習時的心理狀態。此外,過去也曾執行人與機器人互動研究。

按:AIE為Artificial Intelligence and Electronics之簡稱,該學程為日本文部科學省補助之WISE計畫之一(Doctoral Program for World-leading Innovative & Smart Education by MEXT),須經選拔,並有獎學金。

歡迎您參觀我的部落格,追蹤我寫的 〈日本留學記:從文組生到AI博士生〉


學歷

東北大學(Tohoku University)

資訊科學博士 (Ph.D in Information Sciences)

資訊科學研究所,系統資訊科學專攻 | 日本文部科學省WISE計畫補助,人工智慧與電子學五年一貫博士學程學生

博士論文: Investigation of mental state estimation to support learning based on behavior measurements
(学習支援のための行動指標を利用した心的状態推定手法の検討)

博士論文實驗刺激使用之自製網站: 連結

指導教授: Satoshi Shioiri, Ph.D.

2020年10月 - 2023年12月

國立臺灣大學

心理學研究所 理學碩士

碩士論文: 同理心模擬之情感支持系統對合作學習之成效測試 (Emulating Empathy in Emotional Support System to Test Performance on Collaborative Learning)

指導教授: 岳修平, Ph.D., 黃囇莉, Ph.D.

碩論介紹:我的碩士論文為「人與機器人互動(Human Robot Interaction)」之研究,設計了一個具有模擬同理心的互動機器人,和學生們一起共同解題, 除了了解學生們在不同機器人設計的實驗條件下,解題速度及正確率的改變之外, 也透過問卷與訪談,了解學生們心理層面的改變。

國立臺灣大學心理所隸屬於理學院,課程內容偏理工科系。就讀期間, 學習到紮實的統計學、行為科學、認知科學等相關知識及技術, 碩論研究涉及人與機器人互動,後續為了更專精於工程技術, 出國念博班,鑽研更深的技術。

2018年9月 - 2020年6月

國立臺灣大學

中國文學系、生物產業傳播暨發展學系 | 文學、傳播學雙學士

GPA: 4.16 (畢業成績第一名)

2013年9月 - 2018年6月

北京大學

中國語言文學系交換學生
2016年2月 - 2016年6月

研究成果

期刊論文

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S.(under review) Predicting learners' engagement and help-seeking behaviors in an e-learning environment by using facial and head pose features. Computers in Human Behavior Reports

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Yueh, H.-P., Shioiri, S.(under review) Cultural differences in facial features based on SHAP analysis from machine learning model estimating learners’ mental states Multimedia Tools and Applications

Wang, G. -Y., Yueh, H. -P., Huang, L.-L. (in submission) Can robots facilitate students’ collaborative learning to solve Linguistics Olympiad Problems by providing empathic feedback?

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S., Predicting Learners' Engagement and Help-Seeking Behaviors in an E-Learning Environment by Using Facial and Head Pose Features. [Preprint] Available at SSRN: https://ssrn.com/abstract=4600003 or http://dx.doi.org/10.2139/ssrn.4600003

Yueh, H.-P., Wang, G.-Y., & Lee, T. S.-H. (2022) The cognition, information behaviors and preventive behaviors of Taiwanese people facing COVID-19. Scientific Reports. 12934. https://doi.org/10.1038/s41598-022-20312-6

Wang, G. -Y., & Yueh, H. -P. (2020) Optimistic Bias, Food Safety Cognition and Consumer Behaviour of College Students in Taiwan and mainland China. Foods, 9(11), 1588. doi:10.3390/foods9111588

會議論文

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Detecting Learners’ Hint Inquiry Behaviors in e-Learning Environment by using Facial Expressions. In Proceedings of the Tenth ACM Conference on Learning @ Scale (L@S '23). July 20-22, 2023, Copenhagen, Denmark. ACM, New York, NY, USA,4 pages. https://doi.org/10.1145/3573051.3596182

Wang, G.-Y, Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S., “Estimate students' concentration level by using facial expression”, 信学技報, vol. 122, no. 326, pp. 65-69, 2022年12月

研討會發表紀錄

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimating students’ engagement levels evaluated subjectively by human annotators from their facial features using a machine learning technique [Oral]. Vision Society of Japan 2023 Summer Meeting (VSJ), Tokyo, Japan.18th-20th Sep. 2023

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimate students’ mental state while solving a language puzzle [Oral]. Vision Society of Japan 2023 Winter Meeting (VSJ), Tokyo, Japan.18th-20th Jan.2023

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimate students' concentration level by using facial expression [Oral]. Technical Committee on Human Information Processing (HIP), Sendai, Japan. 22nd-23rd Dec.2022

Wang, G.-Y. Designing an intelligent-tutoring robot for language problem-solving training [Poster]. 2021 RIEC Annual Meeting on Cooperative Research Projects: “Compass for Next- Gen ICT” Program, Online. 17th February. 2022.

Huang, C.-Y., Wang, G.-Y., Lin, Y.-H., You, H.-H., Lin, W.,& Yueh, H.-P. (2019). A robot for the elderly? Investigation of Older Adults' Images of Social Robot, paper accepted for Poster presentation at the 11th International Association of Gerontology and Geriatrics Asia/Oceania Regional Congress, Taipei, Taiwan. Oct. 2019.

Hsu, L.-J., Wang, G.-Y., Hu, Y.-H., Lu, M.-H., Lin, Y. H., Lin,W., & Yueh, H.-P. Investigating Older Adults' Technological Needs for Social Activities, paper accepted for Poster presentation at the 11th International Association of Gerontology and Geriatrics Asia/Oceania Regional Congress, Taipei, Taiwan. Oct. 2019.

王冠云、岳修平。(2017年10月15日)。兩岸大學生的樂觀偏誤、食安認知及消費行為[口頭發表]。2017年台灣心理學會第56屆年會暨國際研討會,國立中正大學。

受邀演講

2024/03/02 "Estimation of mental states in the context of e-learning by using machine learning techniques" at 2024 NTU x Tohoku Symposium on AI and Human Studies. (Link)

2023/10/25 "Your face shows you need a hint: Detecting hint-inquiry behaviors in an e-learning environment" at Unlocking Human Behavior: Exploring Online Measures and Behavioral Methods in Social Sciences, UAntwerp (University of Antwerp) - NTU (National Taiwan University) collaborative research symposium.(臺比合作交流論壇) (Link)

2023/07/04 "Can you give a hint? Predicting students' help-seeking action by using facial expressions" at the Brainware Engineering Workshop, RIEC, Tohoku University.

2023/04/24 "If My Teacher is AI: Educational Digital Transformation and Its Applications." at Visual neuroscience lab (Host: Distinguished Professor Chen, Chien-Chung Ph.D.), National Taiwan University.

2023/04/20 「互動網頁實驗實作與案例 (應用JsPsych與Python網頁程式)」 (三小時教育訓練工作坊) @ Human performance lab (Host: Distinguished Professor Yueh, Hsiu-Ping Ph.D.), National Taiwan University. (Link)


研究興趣

我的研究興趣在於關注科技如何改善學生的學習, 博士研究的主要議題是以臉部表情來評估學生學習時的心理狀態, 透過我所設計的解題網站, 藉由分析學生們作答時的影片以及作答的行為, 能夠以機器學習模型分類學生們「高專注/低專注」以及「有無疑問需求」等狀態。

除此之外,我也參與過其他科技互動相關的研究, 我也曾嘗試使用很多不同的科技工具, 包含機器人、互動網站、行動APP等等來進行我的實驗。 我認為一個好的科技導入,能夠為人們帶來好的正向改變。

研究所就讀期間,我最關心教育議題,我希望能讓科技帶給學生正向的影響, 激發學生的學習動機並且使他們能有效地檢視自我的學習歷程,並且學習自我改善學習行為, 讓學習變得更加進步。

目前在南部的科學園區擔任工程師,工作內容涉及廠內數位轉型及資料分析業務, 於我而言,如何轉換學理並且應用至現場,是目前最需要摸索以及轉換的課題。

過往經歷

科員

臺南市政府教育局

辦理高齡教育、樂齡中心相關業務

COVID-19疫情期間,因為國境封鎖而無法順利入境留學地, 在暫時被滯留台灣期間,曾於公部門服務。 在教育的公部門場域中,學習到政府部門與學校如何建立起行政體系, 而我也有很多機會親臨現場,了解現今在各個大小鄉鎮中 如何運作成人教育與社會教育。遇見了許多對於教育具有熱忱的前輩, 獲益良多。

2022年1月 - 2022年9月

AI實習研究員

AISIN Software (日本)

發展新的 VAE/GAN 模型進行異常偵測。

在實習過程中,學習到如何與不同國籍的人互動,一起合作開發模型。 過程中,我們一起學習新的知識與技術,從貝式統計到Variation auto-encoder, 團隊中有數學專攻的同學,也有機械專攻的同學,我們一起成長互惠。 短短三個月中,學習到如何使用Google Colab與人協作coding, 對於使用Markdown來製作數學公式及整理code也更有心得,更能在實務應用。

2021年7月 - 2021年9月

全職研究助理

國立臺灣大學人工智慧與機器人研究中心

撰寫研究報告,執行人與機器人相關實驗,擔任社會機器人課堂助教。

2020年8月 - 2021年1月

語言學講師

指導學生語言學相關知識,並帶領學生參與國際語言學奧林匹亞競賽國內國手徵選。所培訓學生最佳成績為國中年紀即打敗高中生取得國手資格。

曾擔任臺灣、香港國際語言學奧林匹亞競賽國家代表隊培訓課程講師

2018年6月 - 2021年1月

影像實習生

關注教育不平等議題,進入偏鄉擔任攝影工作,將偏鄉教育發聲的點點滴滴以影像的方式記錄下來。

2016年7月 - 2016年8月

技能

程式語言及常用工具
關鍵字
  • Scikit-learn, Pytorch, Tensorflow
  • Jspsych (including html5/css/javascript) , PsychoPy | 心理學實驗設計、網頁製作
  • R language and R studio / Matlab for statistics
  • Machine learning, facial expression, computer vision | 機器學習、臉部表情、電腦視覺
  • human-robot-interaction, user study | 人機互動、使用者研究、社會機器人


獎項及證照

  • 109年教育部公費留學獎學金 (每年US$19,000,四年最高補助學費 US$12,000)
  • 日本卓越大學院獎助(每月20萬日圓,學費免除)
  • 2017年科技部大專學生研究創作獎
  • 1 st Place - 國立臺灣大學書卷獎6次
  • 2019臺大語言分析黑客松 個人組第二名
  • WTF 世界跆拳道聯盟黑帶2段
  • 語言能力:中文、日文、英文,皆能進行學術溝通及發表

最新消息

2024年4月14日: 感謝北市圖邀請,於臺北市立圖書館總館分享日本留學經驗。活動訊息:連結

2024年3月2日: 在國立臺灣大學與東北大學電氣通信研究所聯合論壇(2024 第七屆 NTU x Tohoku Symposium on AI and Human Studies)演講「Estimation of mental states in the context of e-learning by using machine learning techniques" 活動資訊連結

2024年1月20日: 感謝日本台灣生技協會邀請,於臺北分享日本留學經驗。報名訊息:連結

2023年12月14日: 東北大學博士班畢業!結束日本留學之旅!

2023年11月28日: 博士論文本審查(Final Defense)

2023年10月25日: 參加 UA - NTU collaborative research symposium (比利時University of Antwerp 及國立臺灣大學之臺比合作交流論壇) ,演講題目:「 Your face shows you need a hint: Detecting hint-inquiry behaviors in an e-learning environment」 活動連結

2023年9月27日: 博士論文預備審查(Pre-defense),並預計於11月進行最終審查

2023年9月18日-2023年9月20日: 至日本德島參加2023年日本視覺學會 夏季大會

2023年7月18日-2023年7月24日: 至丹麥哥本哈根參加ACM研討會(學習科技X人機互動X資訊科學跨領域研討會) L@S'23.

2023年7月4日: 在東北大學電氣通信研究所腦機研究會(ブレインウェア工学研究会)進行40分鐘演講「Can you give me a hint? Predicting students' help-seeking action by using facial expressions」

2023年5月23日: 參與比利時University of Antwerp 及國立臺灣大學之臺比合作交流計畫(FWO-NSTC)

2023年4月29日: 恭喜我們的研究被L@S'23 (the Tenth ACM Conference on Learning @ Scale ) 接受! Congradulations!

2023年4月24日: 在國立臺灣大學陳建中老師實驗室進行1小時演講「If My Teacher is AI: Educational Digital Transformation and Its Applications.」

2023年4月20日: 在國立臺灣大學岳修平老師實驗室(link)擔任3小時「心理學實驗網頁互動設計工作坊」講師

2023年4月11日-2023年4月25日: 返台進行為期2週的實驗

2023年3月3日: 重拾筆耕!重新擔任國立臺灣大學科學教育發展中心之科普文章寫手。每月2篇科普文章,歡迎指教: 文章作品清單

感謝您的來訪!