Alpha go的算法原理：深度強(qiáng)化學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)（GNN）研究【大學(xué)組】

計(jì)算機(jī)科學(xué)/數(shù)據(jù)科學(xué)/人工智能/深度學(xué)習(xí)

項(xiàng)目背景

近年來(lái)，人工智能數(shù)據(jù)科學(xué)技術(shù)不斷突破與發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)CNN開(kāi)啟了深度學(xué)習(xí)新篇章，推動(dòng)計(jì)算機(jī)視覺(jué)落地自動(dòng)化駕駛等諸多領(lǐng)域；循環(huán)神經(jīng)網(wǎng)絡(luò)RNN推動(dòng)了自然語(yǔ)言處理，使得機(jī)器翻譯、智能語(yǔ)音技術(shù)日趨成熟；深度學(xué)習(xí)之上，強(qiáng)化學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)GNN的崛起正在深度賦能數(shù)據(jù)挖掘，將成為企業(yè)場(chǎng)景拓展、數(shù)據(jù)整合、行業(yè)效率飛躍的關(guān)鍵。項(xiàng)目將聚焦強(qiáng)化學(xué)習(xí)，特別是圖神經(jīng)網(wǎng)絡(luò)GNN這一構(gòu)筑未來(lái)數(shù)字生態(tài)的核心數(shù)據(jù)科學(xué)技術(shù)。

項(xiàng)目介紹

項(xiàng)目?jī)?nèi)容涉及強(qiáng)化學(xué)習(xí)核心理論和技能，具體包括遺傳算法、強(qiáng)化學(xué)習(xí)框架、Q-learning、行動(dòng)者-批評(píng)（actor-critic；AC）模型、馬爾可夫決策過(guò)程、優(yōu)化控制、圖神經(jīng)網(wǎng)絡(luò)（graph neural networks; GNN）、自動(dòng)機(jī)器學(xué)習(xí)（Auto ML）等。學(xué)生通過(guò)項(xiàng)目了解如何開(kāi)發(fā)基于強(qiáng)化學(xué)習(xí)的生產(chǎn)力軟件，在結(jié)束時(shí)提交項(xiàng)目個(gè)性化研究課題報(bào)告，進(jìn)行成果展示。

個(gè)性化研究課題參考：

強(qiáng)化學(xué)習(xí)在博弈論中的應(yīng)用：類alpha算法開(kāi)發(fā)

利用經(jīng)驗(yàn)留存解決強(qiáng)化學(xué)習(xí)所需樣本太多問(wèn)題的可行性分析

強(qiáng)化學(xué)習(xí)中的機(jī)器獎(jiǎng)勵(lì)設(shè)置方法迭代

為強(qiáng)化學(xué)習(xí)過(guò)擬合的特定場(chǎng)景重新建模的自動(dòng)過(guò)程研究

具有精確尺度估計(jì)的動(dòng)作-評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)與強(qiáng)化學(xué)習(xí)優(yōu)勢(shì)函數(shù)

適合人群

大學(xué)生

計(jì)算機(jī)科學(xué)、人工智能、數(shù)據(jù)科學(xué)、電子與計(jì)算機(jī)工程等專業(yè)，軟件工程、自動(dòng)化等相關(guān)專業(yè)或者希望掌握強(qiáng)化學(xué)習(xí)的學(xué)生；對(duì)人工智能、大數(shù)據(jù)以及交叉學(xué)科和方向感興趣的學(xué)生； 學(xué)生需要具備線性代數(shù)及概率論與數(shù)理統(tǒng)計(jì)基礎(chǔ)，至少會(huì)使用一門編程語(yǔ)言實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)，有過(guò)強(qiáng)化學(xué)習(xí)開(kāi)發(fā)經(jīng)驗(yàn)的申請(qǐng)者優(yōu)先

導(dǎo)師介紹

劍橋大學(xué)終身正教授

Pietro導(dǎo)師現(xiàn)任劍橋大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)終身正教授，持有歐洲學(xué)習(xí)和智能系統(tǒng)實(shí)驗(yàn)室（Ellis；歐洲大型跨國(guó)人工智能研究所，目前擁有千位全球頂尖計(jì)算機(jī)工程師、數(shù)學(xué)家和其他領(lǐng)域科學(xué)家，旨在重構(gòu)歐洲人工智能前沿研究）席位、劍橋大學(xué)大數(shù)據(jù)研究指導(dǎo)委員會(huì)席位。Pietro導(dǎo)師的研究興趣為人工智能圖神經(jīng)網(wǎng)絡(luò)建模，在國(guó)際知名學(xué)術(shù)期刊發(fā)表論文多篇，曾榮獲歐盟委員會(huì)未來(lái)與新興技術(shù)（FET；迄今歐盟規(guī)模最大、資助力度最強(qiáng)的科研資助項(xiàng)目之一）會(huì)展三等獎(jiǎng)。

任職學(xué)校

劍橋大學(xué)建校于1209年，是世界范圍內(nèi)歷史最為悠久的大學(xué)之一，英國(guó)Top2名校，G5名校之一。劍橋大學(xué)享有世界聲譽(yù)，在英國(guó)社會(huì)和高等教育系統(tǒng)中具有極其重要的地位，同時(shí)具有廣泛的世界性影響。許多青年學(xué)子都以到劍橋大學(xué)深造為理想。劍橋大學(xué)在2020年QS世界大學(xué)綜合排名位列第7。

項(xiàng)目大綱

強(qiáng)化學(xué)習(xí)：項(xiàng)目將在本周聚焦遺傳算法和強(qiáng)化學(xué)習(xí)框架。 Introduction to reinforcement learning

環(huán)境：強(qiáng)化學(xué)習(xí)由智能體和環(huán)境兩部分構(gòu)成。項(xiàng)目將在本周探討離策略、無(wú)模型強(qiáng)化學(xué)習(xí)算法 Q-learning、行動(dòng)者-批評(píng)（actor-critic；AC）模型、馬爾可夫決策過(guò)程等。Environment

優(yōu)化：項(xiàng)目將在本周深入學(xué)習(xí)強(qiáng)化學(xué)習(xí)與優(yōu)化控制。 Optimization

集成與控制 Integration and Control

集成：項(xiàng)目將在本周進(jìn)一步探討圖神經(jīng)網(wǎng)絡(luò)（graph neural networks; GNN）、自動(dòng)機(jī)器學(xué)習(xí)（Auto ML）等。 Integration

項(xiàng)目回顧與成果展示 Program Review and Presentation

論文輔導(dǎo) Project Deliverables Tutoring

時(shí)間安排與收獲

7周在線小組科研學(xué)習(xí)+5周論文輔導(dǎo)學(xué)習(xí) 共125課時(shí)

學(xué)術(shù)報(bào)告

優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter

EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級(jí)別索引國(guó)際會(huì)議全文投遞與發(fā)表（可用于申請(qǐng)）

結(jié)業(yè)證書(shū)

成績(jī)單