2024暑期iHUB·深圳：菁英項(xiàng)目：人工智能 ChatGPT的算法原理： 基于深度學(xué)習(xí)的Bert, Transformer等預(yù)訓(xùn)練大模型研究 及其在智能會(huì)話等自然語言處理系統(tǒng)中的應(yīng)用【大學(xué)組】

專業(yè)：人工智能

項(xiàng)目類型：海外導(dǎo)師線下項(xiàng)目

開始時(shí)間：2024年07月20日

是否可加論文：是

項(xiàng)目周期：1周在線科研+14天面授科研+5周在線論文指導(dǎo)

語言：英文

有無剩余名額：名額充足

建議學(xué)生年級(jí)：大學(xué)生

是否必需面試：否

適合專業(yè)：計(jì)算機(jī)科學(xué)軟件工程信號(hào)與信息處理機(jī)器學(xué)習(xí)數(shù)據(jù)科學(xué)數(shù)據(jù)分析深度學(xué)習(xí)人工智能自然語言處理

地點(diǎn)：深圳國際預(yù)科書院

建議選修：Python編程與數(shù)據(jù)處理

建議具備的基礎(chǔ)：計(jì)算機(jī)科學(xué)、人工智能、軟件工程、語言學(xué)等專業(yè)或者希望修讀相關(guān)專業(yè)的學(xué)生； 學(xué)生需要具備初等線性代數(shù)基礎(chǔ)，至少會(huì)使用一門編程語言實(shí)現(xiàn)如貝葉斯分類器等經(jīng)典機(jī)器學(xué)習(xí)算法，有深度學(xué)習(xí)項(xiàng)目開發(fā)經(jīng)驗(yàn)的申請者優(yōu)先

產(chǎn)出：1周在線科研+14天面授科研+5周在線論文指導(dǎo) 項(xiàng)目報(bào)告 優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級(jí)別索引國際會(huì)議全文投遞與發(fā)表指導(dǎo)（可用于申請） 結(jié)業(yè)證書 成績單

項(xiàng)目背景：“You are what you say.”語言是思維的表達(dá)，思維是語言的內(nèi)容。思維和語言是人類意識(shí)的集中體現(xiàn)，更是人與機(jī)器的分野。長久以來，人工智能依然停留在“弱人工智能”的階段，無法等同于人類智能，核心原因在于算法無法幫助機(jī)器“理解語義邏輯”。也就是說，“人工智能如果不能使用自然語言作為知識(shí)的表示基礎(chǔ)，人工智能就實(shí)現(xiàn)不了實(shí)質(zhì)的跨越?！币虼耍荚谧寵C(jī)器以有價(jià)值的方式閱讀、解密和理解人類語言，實(shí)現(xiàn)人機(jī)互動(dòng)的自然語言處理，是人工智能、機(jī)器學(xué)習(xí)的核心研究對象，具有重要的行研價(jià)值和廣闊的發(fā)展空間。自然語言處理科學(xué)家更是高精尖科技企業(yè)爭相搶奪的對象。自然語言處理的具體應(yīng)用包括谷歌語音識(shí)別、科大訊飛自動(dòng)翻譯、百度自然語言處理平臺(tái)等等。

項(xiàng)目介紹：項(xiàng)目內(nèi)容包括線性回歸、邏輯回歸、決策樹、SVM機(jī)器學(xué)習(xí)算法和自然語言處理中的文本分類問題。學(xué)生將深入探究Word2Vec詞向量嵌入、Doc2Vec文本向量生成、基于LSTM和其他RNN的分類算法，了解RNN模型缺陷以及基于Attention的Transformer語言模型如何彌補(bǔ)這些缺陷。學(xué)生將在項(xiàng)目結(jié)束時(shí)，提交個(gè)性化研究課題項(xiàng)目報(bào)告，進(jìn)行成果展示。
個(gè)性化研究課題參考：
基于雙向LSTM語言模型的多義詞消歧
根據(jù)推文內(nèi)容語義與語言習(xí)慣分析判斷用戶所在城市
發(fā)表基于NLP的微博內(nèi)容調(diào)查報(bào)告
評估句子片段幽默程度的自注意力算法優(yōu)化

In this course, you will be taken from basic topics of neural networks to advanced topics such as auto-encoders and transfer learning. We will review the topics covered in [AI-1], feedforward networks, gradient descent etc and then dive into convolutional neural networks, transfer learning, and auto-encoders.

項(xiàng)目大綱：自然語言處理及深度神經(jīng)網(wǎng)絡(luò) Introduction to Language Modeling and DNN Word2Vec模型詞嵌入 Word embeddings using the Word2Vec model Doc2Vec: 文檔的向量化表示 Doc2Vec: vectorized representation of documents 數(shù)據(jù)驅(qū)動(dòng)的分類算法與循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò) Data-driven classification algorithms; recurrent neural networks and LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷；基于Attention的Transformer模型 Drawbacks of RNNs; attention-based transformers 精度優(yōu)化 SOTA 基于遷移學(xué)習(xí)的語言模型Transfer Learning for Language Models 項(xiàng)目回顧與成果展示 Program Review and Presentation 論文輔導(dǎo) Project Deliverables Tutoring