2024暑期iHUB·上海：人工智能 高性能計(jì)算專(zhuān)題： 分布式優(yōu)化算法在訓(xùn)練以計(jì)算機(jī)視覺(jué)為例的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)等系統(tǒng)中的應(yīng)用研究【大學(xué)組】

專(zhuān)業(yè)：人工智能

項(xiàng)目類(lèi)型：海外導(dǎo)師線下項(xiàng)目

開(kāi)始時(shí)間：2024年07月20日

是否可加論文：是

項(xiàng)目周期：1周在線科研+14天面授科研+5周在線論文指導(dǎo)

語(yǔ)言：英文

有無(wú)剩余名額：余5位

建議學(xué)生年級(jí)：大學(xué)生

是否必需面試：否

適合專(zhuān)業(yè)：計(jì)算機(jī)科學(xué)電子與計(jì)算機(jī)科學(xué)深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)

地點(diǎn)：上海圣華紫竹學(xué)院

建議選修：Python編程與數(shù)據(jù)處理

建議具備的基礎(chǔ)：人工智能/深度學(xué)習(xí)/計(jì)算機(jī)視覺(jué)/高性能計(jì)算/智能科學(xué)與技術(shù)等專(zhuān)業(yè)或?qū)ι鲜鰧?zhuān)業(yè)感興趣的學(xué)生； 學(xué)生需要具備微積分、線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)基礎(chǔ)，并能夠熟練使用Python編程。

產(chǎn)出：1周在線科研+14天面授科研+5周在線論文指導(dǎo) 項(xiàng)目報(bào)告 優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級(jí)別索引國(guó)際會(huì)議全文投遞與發(fā)表指導(dǎo)（可用于申請(qǐng)） 結(jié)業(yè)證書(shū) 成績(jī)單

項(xiàng)目背景：機(jī)器學(xué)習(xí)（ML）和人工智能（AI）具有廣泛的社會(huì)應(yīng)用價(jià)值。從運(yùn)輸、能源、工業(yè)供應(yīng)鏈等有形基礎(chǔ)設(shè)施到醫(yī)療和金融等無(wú)形服務(wù)，這些現(xiàn)代社會(huì)經(jīng)濟(jì)發(fā)展的方方面面離不開(kāi)機(jī)器學(xué)習(xí)和人工智能技術(shù)。傳統(tǒng)的機(jī)器學(xué)習(xí)一般是在單機(jī)或者集群上集中處理數(shù)據(jù)、訓(xùn)練模型。為了在大規(guī)模的網(wǎng)絡(luò)應(yīng)用場(chǎng)景中實(shí)現(xiàn)快速、高效的在線決策和訓(xùn)練，去中心化機(jī)器學(xué)習(xí)，也就是分布式機(jī)器學(xué)習(xí)，逐漸受到學(xué)界更多關(guān)注。在通信和計(jì)算技術(shù)高速進(jìn)步的今天，這一領(lǐng)域不斷取得矚目成果。在分布式機(jī)器學(xué)習(xí)這一領(lǐng)域中，聯(lián)合學(xué)習(xí)（Federated Learning，又名聯(lián)邦學(xué)習(xí)）成為了一個(gè)備受關(guān)注的焦點(diǎn)。聯(lián)合學(xué)習(xí)能產(chǎn)生更“聰明”的模型，延時(shí)更低，功耗更低，同時(shí)在用戶(hù)隱私保護(hù)及信息安全方面更加強(qiáng)大。在聯(lián)合學(xué)習(xí)中，多臺(tái)身處世界不同角落的設(shè)備可以協(xié)同學(xué)習(xí)一個(gè)共享的預(yù)測(cè)模型，并將所有的訓(xùn)練數(shù)據(jù)獨(dú)立保存。這樣便實(shí)現(xiàn)了機(jī)器學(xué)習(xí)能力與數(shù)據(jù)“云存儲(chǔ)”需求的分離。由此，在移動(dòng)設(shè)備上，我們不僅可以使用模型，還可以訓(xùn)練模型，解決了以前只能通過(guò)云端下發(fā)訓(xùn)練好的模型，而無(wú)法在本地進(jìn)行訓(xùn)練的問(wèn)題。聯(lián)合學(xué)習(xí)已經(jīng)在廣泛的分布式機(jī)器學(xué)習(xí)中實(shí)現(xiàn)了應(yīng)用，包括醫(yī)療、金融服務(wù)和自動(dòng)駕駛，并且是學(xué)術(shù)界和工業(yè)界持續(xù)研究和發(fā)展的主題。

項(xiàng)目介紹：課題面向?qū)τ?jì)算機(jī)、機(jī)器學(xué)習(xí)、人工智能領(lǐng)域感興趣的高中生和大學(xué)生，結(jié)合學(xué)生校內(nèi)所學(xué)知識(shí)量身打造，將以獨(dú)立且完整的形式介紹聯(lián)合學(xué)習(xí)的基本內(nèi)容。在本課題中，教授會(huì)從聯(lián)合學(xué)習(xí)的基礎(chǔ)領(lǐng)域開(kāi)始講解，從監(jiān)督學(xué)習(xí)和訓(xùn)練模型優(yōu)化切入，并逐漸從集中式機(jī)器學(xué)習(xí)向分布式機(jī)器學(xué)習(xí)進(jìn)行過(guò)渡。課題將涵蓋聯(lián)合學(xué)習(xí)的基本架構(gòu)和算法，介紹對(duì)聯(lián)合學(xué)習(xí)算法進(jìn)行設(shè)計(jì)分析時(shí)所需的主要工具，講解現(xiàn)有的計(jì)算框架，并結(jié)合自動(dòng)駕駛等案例體現(xiàn)聯(lián)合學(xué)習(xí)的實(shí)戰(zhàn)應(yīng)用。針對(duì)未來(lái)有意從事人工智能、機(jī)器學(xué)習(xí)相關(guān)行業(yè)及科學(xué)研究的學(xué)生，本課題將提供必要準(zhǔn)備和堅(jiān)實(shí)基礎(chǔ)。The topic of decentralized machine learning and in particular federated learning is of immense practical and theoretical interest in the broad ML community. This course focuses on an overview of this emerging research area with a self-contained set of lectures focusing on key prerequisites such as supervised learning and optimization for model training. It introduces in a tutorial manner the transition to decentralized ML from centralized paradigms with illustrations and examples. The course is aimed at university students as well as high school students with an interest in computing and algorithms. Elementary matrix analysis and linear algebra are expected as prerequisites, however, the lectures will be self-contained to cater to a broad audience

項(xiàng)目大綱：監(jiān)督式機(jī)器學(xué)習(xí)和訓(xùn)練方法簡(jiǎn)介 Supervised Learning and Training: Introduction 機(jī)器學(xué)習(xí)優(yōu)化方法 Optimization for Training: Basics and Algorithms 分布式機(jī)器學(xué)習(xí)：架構(gòu)和系統(tǒng)闡述 Distributed ML: Architectures and Formulations 聯(lián)邦學(xué)習(xí)：基本算法 Federated Learning: Basic Algorithms 聯(lián)邦學(xué)習(xí)：高級(jí)分析和計(jì)算工具 Federated Learning: Advanced Analysis and Computational Tools 項(xiàng)目回顧與成果展示 Program Review and Presentation 論文輔導(dǎo) Project Deliverables Tutoring