冠云


輔仁大學資訊管理學系
162944@mail.fju.edu.tw

日本東北大學資訊科學研究所博士,同時亦是東北大學人工智慧與電子學(AIE)卓越大學院博士學程畢業生。我的博士研究主要使用機器學習的技術,分析學生的臉部表情,以評價學生學習時的心理狀態。此外,過去也曾執行人與機器人互動研究。

按:AIE為Artificial Intelligence and Electronics之簡稱,該學程為日本文部科學省補助之WISE計畫之一(Doctoral Program for World-leading Innovative & Smart Education by MEXT),須經選拔,並有獎學金。


學歷

東北大學(Tohoku University)

資訊科學博士 (Ph.D. in Information Sciences)

資訊科學研究所,系統資訊科學專攻 |
日本文部科學省WISE計畫補助,人工智慧與電子學五年一貫博士學程畢業生

博士論文: Investigation of mental state estimation to support learning based on behavior measurements
(日文標題: 学習支援のための行動指標を利用した心的状態推定手法の検討)
論文全文PDF下載


博士論文摘要與審查結果: 連結
博士論文實驗刺激使用之自製網站: 連結

指導教授: Satoshi Shioiri, Ph.D.

2020年10月 - 2023年12月

國立臺灣大學

心理學研究所 理學碩士

碩士論文: 同理心模擬之情感支持系統對合作學習之成效測試 (Emulating Empathy in Emotional Support System to Test Performance on Collaborative Learning)

指導教授: 岳修平, Ph.D., 黃囇莉, Ph.D.

碩論介紹:我的碩士論文為「人與機器人互動(Human Robot Interaction)」之研究,設計了一個具有模擬同理心的互動機器人,和學生們一起共同解題, 除了了解學生們在不同機器人設計的實驗條件下,解題速度及正確率的改變之外, 也透過問卷與訪談,了解學生們心理層面的改變。

國立臺灣大學心理所隸屬於理學院,課程內容偏理工科系。就讀期間, 學習到紮實的統計學、行為科學、認知科學等相關知識及技術, 碩論研究涉及人與機器人互動,後續為了更專精於工程技術, 出國念博班,鑽研更深的技術。

2018年9月 - 2020年6月

國立臺灣大學

中國文學系、生物產業傳播暨發展學系 | 文學、傳播學雙學士

GPA: 4.16 (畢業成績第一名)

2013年9月 - 2018年6月

北京大學

中國語言文學系交換學生
2016年2月 - 2016年6月

研究成果

期刊論文

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S.(under review) Predicting learners' engagement and help-seeking behaviors in an e-learning environment by using facial and head pose features. Computers in Human Behavior Reports

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Yueh, H.-P., Shioiri, S.(under review) Cultural differences in facial features based on SHAP analysis from machine learning model estimating learners’ mental states. Multimedia Tools and Applications

Wang, G. -Y., Yueh, H. -P., Huang, L.-L. (in submission) Can robots facilitate students’ collaborative learning to solve Linguistics Olympiad Problems by providing empathic feedback?

Wang, G. -Y., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S., Predicting Learners' Engagement and Help-Seeking Behaviors in an E-Learning Environment by Using Facial and Head Pose Features. [Preprint] Available at SSRN: https://ssrn.com/abstract=4600003 or http://dx.doi.org/10.2139/ssrn.4600003

Yueh, H.-P., Wang, G.-Y., & Lee, T. S.-H. (2022) The cognition, information behaviors and preventive behaviors of Taiwanese people facing COVID-19. Scientific Reports. 12934. https://doi.org/10.1038/s41598-022-20312-6

Wang, G. -Y., & Yueh, H. -P. (2020) Optimistic Bias, Food Safety Cognition and Consumer Behaviour of College Students in Taiwan and mainland China. Foods, 9(11), 1588. doi:10.3390/foods9111588

會議論文

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Detecting Learners’ Hint Inquiry Behaviors in e-Learning Environment by using Facial Expressions. In Proceedings of the Tenth ACM Conference on Learning @ Scale (L@S '23). July 20-22, 2023, Copenhagen, Denmark. ACM, New York, NY, USA,4 pages. https://doi.org/10.1145/3573051.3596182

Wang, G.-Y, Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S., “Estimate students' concentration level by using facial expression”, 信学技報, vol. 122, no. 326, pp. 65-69, 2022年12月

研討會發表紀錄

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimating students’ engagement levels evaluated subjectively by human annotators from their facial features using a machine learning technique [Oral]. Vision Society of Japan 2023 Summer Meeting (VSJ), Tokyo, Japan.18th-20th Sep. 2023

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimate students’ mental state while solving a language puzzle [Oral]. Vision Society of Japan 2023 Winter Meeting (VSJ), Tokyo, Japan.18th-20th Jan.2023

Wang, G.-Y., Nagata, H., Hatori, Y., Sato, Y., Tseng, C.-H., Shioiri, S. Estimate students' concentration level by using facial expression [Oral]. Technical Committee on Human Information Processing (HIP), Sendai, Japan. 22nd-23rd Dec.2022

Wang, G.-Y. Designing an intelligent-tutoring robot for language problem-solving training [Poster]. 2021 RIEC Annual Meeting on Cooperative Research Projects: “Compass for Next- Gen ICT” Program, Online. 17th February. 2022.

Huang, C.-Y., Wang, G.-Y., Lin, Y.-H., You, H.-H., Lin, W.,& Yueh, H.-P. (2019). A robot for the elderly? Investigation of Older Adults' Images of Social Robot, paper accepted for Poster presentation at the 11th International Association of Gerontology and Geriatrics Asia/Oceania Regional Congress, Taipei, Taiwan. Oct. 2019.

Hsu, L.-J., Wang, G.-Y., Hu, Y.-H., Lu, M.-H., Lin, Y. H., Lin,W., & Yueh, H.-P. Investigating Older Adults' Technological Needs for Social Activities, paper accepted for Poster presentation at the 11th International Association of Gerontology and Geriatrics Asia/Oceania Regional Congress, Taipei, Taiwan. Oct. 2019.

王冠云、岳修平。(2017年10月15日)。兩岸大學生的樂觀偏誤、食安認知及消費行為[口頭發表]。2017年台灣心理學會第56屆年會暨國際研討會,國立中正大學。

受邀演講

2024/03/02 "Estimation of mental states in the context of e-learning by using machine learning techniques" at 2024 NTU x Tohoku Symposium on AI and Human Studies. (Link)

2023/10/25 "Your face shows you need a hint: Detecting hint-inquiry behaviors in an e-learning environment" at Unlocking Human Behavior: Exploring Online Measures and Behavioral Methods in Social Sciences, UAntwerp (University of Antwerp) - NTU (National Taiwan University) collaborative research symposium.(臺比合作交流論壇) (Link)

2023/07/04 "Can you give a hint? Predicting students' help-seeking action by using facial expressions" at the Brainware Engineering Workshop, RIEC, Tohoku University.

2023/04/24 "If My Teacher is AI: Educational Digital Transformation and Its Applications." at Visual neuroscience lab (Host: Distinguished Professor Chen, Chien-Chung Ph.D.), National Taiwan University.

2023/04/20 「互動網頁實驗實作與案例 (應用JsPsych與Python網頁程式)」 (三小時教育訓練工作坊) @ Human performance lab (Host: Distinguished Professor Yueh, Hsiu-Ping Ph.D.), National Taiwan University. (Link)


過往經歷

高級工程師

住友化學集團-住華科技

執行數位轉型相關專案,導入人工智慧(AI)以及其他數位工具、協助組織提升生產效率、辦公室效率。

2024年1月 - 2025年1月

AI實習研究員

AISIN Software (日本)

發展新的 VAE/GAN 模型進行異常偵測。

在實習過程中,學習到如何與不同國籍的人互動,一起合作開發模型。 過程中,我們一起學習新的知識與技術,從貝式統計到Variation auto-encoder, 團隊中有數學專攻的同學,也有機械專攻的同學,我們一起成長互惠。 短短三個月中,學習到如何使用Google Colab與人協作coding, 對於使用Markdown來製作數學公式及整理code也更有心得,更能在實務應用。

2021年7月 - 2021年9月

專任研究助理

國立臺灣大學人工智慧與機器人研究中心

撰寫研究報告,執行人與機器人相關實驗,擔任社會機器人課堂助教。

2020年8月 - 2021年1月

語言學講師

指導學生語言學相關知識,並帶領學生參與國際語言學奧林匹亞競賽國內國手徵選。所培訓學生最佳成績為國中年紀即打敗高中生取得國手資格。

曾擔任臺灣、香港國際語言學奧林匹亞競賽國家代表隊培訓課程講師

2018年6月 - 2021年1月

影像實習生

關注教育不平等議題,進入偏鄉擔任攝影工作,將偏鄉教育發聲的點點滴滴以影像的方式記錄下來。

2016年7月 - 2016年8月

技能

程式語言及常用工具
關鍵字
  • Scikit-learn, Pytorch, Tensorflow
  • Jspsych (including html5/css/javascript) , PsychoPy | 心理學實驗設計、網頁製作
  • R language and R studio / Matlab for statistics
  • Machine learning, facial expression, computer vision | 機器學習、臉部表情、電腦視覺
  • human-robot-interaction, user study | 人機互動、使用者研究、社會機器人


獎項及證照

  • 109年教育部公費留學獎學金 (每年US$19,000,四年最高補助學費 US$12,000)
  • 日本卓越大學院獎助(每月20萬日圓,學費免除)
  • 2017年科技部大專學生研究創作獎
  • 1 st Place - 國立臺灣大學書卷獎6次
  • 2019臺大語言分析黑客松 個人組第二名
  • WTF 世界跆拳道聯盟黑帶2段
  • 第十四屆臺南文學獎(113年度)小品文組(致臺南的情書) 優選
  • 語言能力:中文、日文、英文,皆能進行學術溝通及發表

感謝您的來訪!