Hi Siri, 人機(jī)交互熱潮背后的深度學(xué)習(xí)應(yīng)用：自然語言處理研究【大學(xué)組】

計(jì)算機(jī)科學(xué)/NLP/人工智能

項(xiàng)目背景

自然語言處理是人工智能的一個(gè)分支，用以幫助計(jì)算機(jī)理解、使用人類語言以達(dá)到更好的人機(jī)交互效果。NLP的發(fā)展借鑒了計(jì)算機(jī)科學(xué)和計(jì)算語言學(xué)等許多學(xué)科，致力于填補(bǔ)人類交流與計(jì)算機(jī)理解之間的空白。NLP 的應(yīng)用眾多，因?yàn)槿藗冇谜Z言傳達(dá)了最多的信息：網(wǎng)絡(luò)搜索、廣告、電子郵件、客戶服務(wù)、語言翻譯、放射學(xué)報(bào)告等。最近，深度學(xué)習(xí)方法在許多不同的 NLP 任務(wù)中獲得了很高的績效。這些模型通?？梢允褂脝蝹€(gè)端到端模型進(jìn)行培訓(xùn)，并且不需要傳統(tǒng)的特定任務(wù)功能工程。項(xiàng)目也將圍繞著NLP的后端模型與前端應(yīng)用一并展開。

項(xiàng)目介紹

該項(xiàng)目將全面介紹適用于 NLP 的前沿深度學(xué)習(xí)網(wǎng)絡(luò)模型與應(yīng)用。在模型方面，教授將涵蓋單詞矢量表示、基于窗口的神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長期短期記憶模型、卷積神經(jīng)網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)、Transformer，以及近期一些涉及預(yù)訓(xùn)練的語言模型的模型。應(yīng)用方面，我們將研究當(dāng)前最火熱的NLP應(yīng)用中內(nèi)部技術(shù)，如谷歌翻譯，Siri和其他個(gè)人助理系統(tǒng)等。在項(xiàng)目中，學(xué)生將在導(dǎo)師指導(dǎo)下理解、設(shè)計(jì)、應(yīng)用神經(jīng)網(wǎng)絡(luò)模型在自然語言處理與人機(jī)交互應(yīng)用中。項(xiàng)目結(jié)束時(shí)，學(xué)生將提交項(xiàng)目報(bào)告，進(jìn)行成果展示。The course provides a thorough introduction to cutting-edge research in deep learning applied to NLP. On the model side, we will cover word vector representations, window-based neural networks, recurrent neural networks, long-short-term-memory models, convolutional neural networks, attention networks, transformers, as well as some recent models involving pre-trained language models. On the application side, we will study the inside techniques of current well-known NLP systems such as Google Translate, Siri, and Personal Assistant Systems. Through lectures and programming assignments students will learn skills to design, implement, and understand the neural network models in practical applications.

個(gè)性化研究課題參考 Suggested Research Fields

類Siri智能問答系統(tǒng) Intelligent Q&A

結(jié)合語言特征和Roberta神經(jīng)模型進(jìn)行幽默檢測 Combine Linguistic Features with Roberta based Neural Model for Humor Detection

各機(jī)器翻譯平臺所用模型及可用性對比 Review of models’ performance of different machine translation platforms

適合人群

大學(xué)生

對人工智能、深度學(xué)習(xí)、人機(jī)交互、語音識別、機(jī)器翻譯等專業(yè)領(lǐng)域感興趣的學(xué)生。 學(xué)生需要大學(xué)概率論基礎(chǔ)，至少會使用一門編程語言實(shí)現(xiàn)如經(jīng)典機(jī)器學(xué)習(xí)算法，有Pytorch/Tensorflow等深度學(xué)習(xí)項(xiàng)目開發(fā)經(jīng)驗(yàn)的申請者優(yōu)先

導(dǎo)師介紹

南洋理工大學(xué)教授

Luu is currently an Assistant Professor at School of Computer Science and Engineering, NTU. Prior to that, he was a Post-doctoral Fellow at MIT CSAIL from 2018 to 2020. He received his MSc degree from NUS in 2011 and Ph.D. degree from NTU in 2017. Luu’s research interests lie in the intersection of Artificial Intelligence, Deep Learning, and Natural Language Processing. He has published over 40 papers on top-tier conferences and journals including NeurIPS, ICLR, ACL, EMNLP, KDD, WWW, TACL, AAAI, etc. Luu also served as the (Senior) Area Chair of EMNLP 2020-2011, Area Chair of ACL 2021, Senior Program Committee of IJCAI 2020-2021, and Program Committee member of NeurIPS, ICLR, ICML, AAAI, etc. and standing reviewer of Transaction of ACL (TACL), Computational Linguistics, Transactions on Knowledge and Data Engineering (TKDE), ACM Computing Surveys. He recently got the outstanding paper award at the ICLR 2021.

導(dǎo)師現(xiàn)任南洋理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授。在此之前，他于2018年至2020年在麻省理工學(xué)院CSAIL擔(dān)任博士后研究員。Luu的研究興趣在于人工智能、深度學(xué)習(xí)和自然語言處理的交叉領(lǐng)域。他在包括NeurIPS、ICLR、ACL、EMNLP、KDD、WWW、TACL、AAAI等頂級會議和期刊上發(fā)表了40多篇論文。Luu還曾擔(dān)任EMNLP 2020-2011的（高級）區(qū)域主席、ACL 2021的區(qū)域主席、IJCAI 2020-2021的高級項(xiàng)目委員會以及NeurIPS、ICLR、ICML、AAAI的項(xiàng)目委員會成員，ACL學(xué)報(bào)（TACL）、計(jì)算語言學(xué)、知識與數(shù)據(jù)工程學(xué)報(bào)（TKDE）、ACM計(jì)算調(diào)查的常務(wù)評審員。他最近獲得了2021年ICLR的杰出論文獎。

任職學(xué)校

南洋理工大學(xué)是新加坡的一所世界著名研究型大學(xué)。它是環(huán)太平洋大學(xué)聯(lián)盟、全球大學(xué)校長論壇、新工科教育國際聯(lián)盟成員，全球高校人工智能學(xué)術(shù)聯(lián)盟創(chuàng)始成員、AACSB認(rèn)證成員、國際事務(wù)專業(yè)學(xué)院協(xié)會（APSIA）成員，也是國際科技大學(xué)聯(lián)盟的發(fā)起成員。作為新加坡的一所科研密集型大學(xué)，其在納米材料、人工智能許多領(lǐng)域的研究享有世界盛名，為工科和商科并重的綜合性大學(xué)。南洋理工大學(xué)在2021QS全球大學(xué)綜合排名中位列第13,計(jì)算機(jī)科學(xué)方向更是在各排名中穩(wěn)居Top10.

項(xiàng)目大綱

自然語言處理及其應(yīng)用介紹：學(xué)生將在本周接觸到NLP的發(fā)展情況及前沿應(yīng)用領(lǐng)域，并在本周鞏固編程及數(shù)據(jù)預(yù)處理工具的使用 Introduction to NLP and its applications

用以分類的深度學(xué)習(xí)模型如LSTM,注意力模型及其在偽新檢測，情感分析中的應(yīng)用 Deep learning for classification

生成模型如Seq2Seq及其在機(jī)器翻譯中的應(yīng)用 Generation model

自然語言處理前沿技術(shù)：OpenAI GPT等預(yù)訓(xùn)練語言模型 Pretrained language model

學(xué)術(shù)研討1：教授與各組學(xué)生探討并評估個(gè)性化研究課題可行性，幫助學(xué)生明晰后續(xù)科研思路 Final Project Preparation Session I

學(xué)術(shù)研討2：學(xué)生將在本周課前完成程序設(shè)計(jì)原型（prototype）及偽代碼（Pseudocode），教授將根據(jù)各組進(jìn)度進(jìn)行個(gè)性化指導(dǎo)，確保學(xué)生優(yōu)質(zhì)的終期課題產(chǎn)出 Final Project Preparation Session II

項(xiàng)目成果展示 Final Presentation

時(shí)間安排與收獲

7周在線小組科研學(xué)習(xí)+5周論文輔導(dǎo)學(xué)習(xí) 共125課時(shí)

學(xué)術(shù)報(bào)告

優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter

EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表（可用于申請）

結(jié)業(yè)證書

成績單