Code source wiki de Introduction au deep learning
Version 4.32 par Parisa Rastin le 28/04/2025 - 11:18
Afficher les derniers auteurs
author | version | line-number | content |
---|---|---|---|
1 | (% class="relative-table wrapped" style="width:100.0%" %) | ||
2 | |(% class="highlight-#fff0b3" colspan="11" data-highlight-colour="#fff0b3" rowspan="3" style="text-align:left" title="Couleur d'arrière-plan : Jaune clair 100 %" %)((( | ||
3 | (% style="color:#000080" %)**Introduction au deep learning** | ||
4 | |||
5 | (% style="color:#000080" %)**8KUAEN12** | ||
6 | )))|(% colspan="2" style="text-align:center" %)((( | ||
7 | **ECTS** | ||
8 | )))|(% class="highlight-#fff0b3" data-highlight-colour="#fff0b3" style="text-align:center" title="Couleur d'arrière-plan : Jaune clair 100 %" %)((( | ||
9 | |||
10 | )))|(% colspan="3" style="text-align:center" %)((( | ||
11 | **SEMESTRE** | ||
12 | )))|(% class="highlight-#fff0b3" data-highlight-colour="#fff0b3" style="text-align:center" title="Couleur d'arrière-plan : Jaune clair 100 %" %)((( | ||
13 | |||
14 | ))) | ||
15 | |(% style="text-align:center" %)((( | ||
16 | CM | ||
17 | )))|(% style="text-align:center" %)((( | ||
18 | TD | ||
19 | )))|(% style="text-align:center" %)((( | ||
20 | TP | ||
21 | )))|(% style="text-align:center" %)((( | ||
22 | EI | ||
23 | )))|(% colspan="3" style="text-align:center" %)((( | ||
24 | Travail personnel | ||
25 | ))) | ||
26 | |(% style="text-align:center" %)((( | ||
27 | 7h | ||
28 | )))|(% style="text-align:center" %)((( | ||
29 | 14h | ||
30 | )))|(% style="text-align:center" %)((( | ||
31 | 0h | ||
32 | )))|(% style="text-align:center" %)((( | ||
33 | 0h | ||
34 | )))|(% colspan="3" style="text-align:center" %)((( | ||
35 | 10h | ||
36 | ))) | ||
37 | |(% colspan="2" %)((( | ||
38 | **Langues d'enseignement** | ||
39 | )))|(% colspan="9" %)((( | ||
40 | Français | ||
41 | )))|(% colspan="7" rowspan="2" %)((( | ||
42 | |||
43 | |||
44 | ))) | ||
45 | |((( | ||
46 | **Responsable(s)** | ||
47 | )))|(% colspan="10" %)((( | ||
48 | (% class="content-wrapper" %) | ||
49 | ((( | ||
50 | [[Parisa Rastin>>mailto:parisa.rastin@univ-lorraine.fr||shape="rect"]][[~[~[image:url:https://play-lh.googleusercontent.com/kMofEFLjobZy_bCuaiDogzBcUT-dz3BBbOrIEjJ-hqOabjK8ieuevGe6wlTD15QzOqw~|~|width="16" class="KAlRDb n3VNCb"~]~]>>url:https://www.linkedin.com/in/parisa-rastin-b1675474/||shape="rect"]][[~[~[image:attach:index.png~|~|thumbnail="true" width="16"~]~]>>url:https://www.researchgate.net/profile/Parisa-Rastin||shape="rect"]] | ||
51 | ))) | ||
52 | ))) | ||
53 | |((( | ||
54 | **Mots clefs** | ||
55 | )))|(% colspan="17" %)((( | ||
56 | ===== (% style="color:#000000" %)Intelligence artificielle, réseaux de neurones profonds(%%) ===== | ||
57 | ))) | ||
58 | |((( | ||
59 | **Prérequis** | ||
60 | )))|(% colspan="17" %)((( | ||
61 | ===== (% style="color:#000000" %)Introduction à l'apprentissage automatique, programmation en python(%%) ===== | ||
62 | ))) | ||
63 | |(% class="highlight-#c1c7d0" colspan="18" data-highlight-colour="#c1c7d0" title="Couleur d'arrière-plan : Gris moyen 45 %" %)((( | ||
64 | **Objectif pédagogique** | ||
65 | ))) | ||
66 | |(% colspan="18" %)Ce cours présente les connaissances théoriques et pratiques sur l'apprentissage profond et son utilisation. Dans ce cadre, nous apprendrons à créer des modèles profonds et à étudier l'impact de différents paramètres sur la qualité des performances des modèles. | ||
67 | |(% class="highlight-#c1c7d0" colspan="18" data-highlight-colour="#c1c7d0" title="Couleur d'arrière-plan : Gris moyen 45 %" %)((( | ||
68 | **Organisation et contenus** | ||
69 | ))) | ||
70 | |(% colspan="18" %)((( | ||
71 | Chaque séance comprend une heure de cours (cours + discussion sur les difficultés du TD précédent) ainsi que deux heures de TD. | ||
72 | |||
73 | Les TD sont basés sur la construction de différents modèles de deep learning en utilisant le langage de programmation Python. | ||
74 | |||
75 | |||
76 | **En cours :** | ||
77 | |||
78 | === **Introduction au Deep Learning** === | ||
79 | |||
80 | * Comprendre les principes fondamentaux du Deep Learning. | ||
81 | * Se familiariser avec les concepts clés des réseaux de neurones et des architectures profondes. | ||
82 | * Appréhender les applications concrètes et les enjeux de cette technologie. | ||
83 | |||
84 | **Les Concepts de Base du Deep Learning** | ||
85 | |||
86 | * Les Réseaux de Neurones Artificiels** **(couche d'entrée, couches cachées, couche de sortie, fonctions d'activation) | ||
87 | * Architecture des Réseaux de Neurones Profonds (perceptron, MLP, CNN, RNN) | ||
88 | |||
89 | **Apprentissage et Optimisation dans le Deep Learning** | ||
90 | |||
91 | * Rétropropagation (Backpropagation) et Optimisation | ||
92 | * Problèmes d’optimisation et techniques avancées ( vanishing gradient, overfitting et sous-apprentissage, régularisation et dropout) | ||
93 | |||
94 | **Transformers et Generative Models** | ||
95 | |||
96 | * Le Modèle Transformer : Architecture et Mécanisme d'Attention | ||
97 | * Prétraitement des Données et Fine-Tuning des Transformers | ||
98 | * Les Modèles Génératifs : GAN et VAE | ||
99 | * Les Modèles de Diffusion | ||
100 | |||
101 | **En TD :** | ||
102 | |||
103 | * Implémentation d'un réseau neuronal simple avec PyTorch. | ||
104 | * Construction d'un modèle de réseau neuronal pour la classification. | ||
105 | * Entraînement du modèle avec PyTorch. | ||
106 | * Évaluation de la performance du modèle sur des données de test. | ||
107 | * Application de techniques de régularisation sur un réseau pour éviter le sur-apprentissage. | ||
108 | * Optimisation de l’apprentissage avec un scheduler de taux d’apprentissage. | ||
109 | * Déploiement d'un modèle entraîné en ligne pour une application réelle (par exemple, une interface de prédiction de texte ou d’image). | ||
110 | |||
111 | **Projet :** | ||
112 | |||
113 | Appliquer tout ce qui a été appris dans le cadre d’un projet final. | ||
114 | ))) | ||
115 | |(% class="highlight-#c1c7d0" colspan="18" data-highlight-colour="#c1c7d0" title="Couleur d'arrière-plan : Gris moyen 45 %" %)((( | ||
116 | **Compétences** | ||
117 | ))) | ||
118 | |((( | ||
119 | (% style="color:#0070c0" %)**Niveaux** | ||
120 | )))|(% colspan="17" %)((( | ||
121 | (% style="color:#0070c0" %)**Description et verbes opérationnels** | ||
122 | ))) | ||
123 | |((( | ||
124 | **Connaître(% style="color:#0070c0" %) (%%)** | ||
125 | )))|(% colspan="17" %)Identifier les différents modèles d'apprentissage profond et déterminer le modèle le plus approprié en fonction du problème à résoudre et du type de données disponible. | ||
126 | |((( | ||
127 | **Comprendre** | ||
128 | )))|(% colspan="17" %)Analyser le fonctionnement des modèles et de leurs composants, en comprenant les mécanismes sous-jacents. | ||
129 | |((( | ||
130 | **Appliquer(% style="color:#0070c0" %) (%%)** | ||
131 | )))|(% colspan="17" %)Implémenter les différents modèles sur des ensembles de données complexes, telles que des images, des textes, etc. | ||
132 | |((( | ||
133 | **Analyser(% style="color:#0070c0" %) (%%)** | ||
134 | )))|(% colspan="17" %)Interpréter les résultats obtenus et procéder à une analyse critique de leur validité et de leur pertinence. | ||
135 | |(% colspan="1" %)((( | ||
136 | **Synthétiser** | ||
137 | )))|(% colspan="17" %)Intégrer les connaissances acquises sur les modèles de deep learning, en expliquant les principes communs ainsi que les différences entre les modèles. | ||
138 | |(% colspan="1" %)((( | ||
139 | **Évaluer** | ||
140 | )))|(% colspan="17" %)Juger de la pertinence et de la performance d'un modèle pour un problème donné, en le comparant de manière rigoureuse avec d'autres solutions existantes. | ||
141 | |(% class="highlight-#c1c7d0" colspan="18" data-highlight-colour="#c1c7d0" %)((( | ||
142 | (% class="kYiyGk sc-14kwckt-9" %)**Contributions aux Objectifs de Développement Durable des Nations Unies** | ||
143 | ))) | ||
144 | |(% colspan="18" %)((( | ||
145 | (% class="content-wrapper" %) | ||
146 | ((( | ||
147 | (% class="wrapped" %) | ||
148 | |((( | ||
149 | (% class="content-wrapper" %) | ||
150 | ((( | ||
151 | (% class="task-list" %) | ||
152 | ((( | ||
153 | {{task reference="/Tasks/Task_5" status="InProgress"}} | ||
154 | [[image:attach:image2022-12-5_21-22-41.png||thumbnail="true" width="60"]] | ||
155 | {{/task}} | ||
156 | ))) | ||
157 | ))) | ||
158 | )))|((( | ||
159 | (% class="content-wrapper" %) | ||
160 | ((( | ||
161 | (% class="task-list" %) | ||
162 | ((( | ||
163 | {{task reference="/Tasks/Task_25" status="InProgress"}} | ||
164 | [[image:attach:image2022-12-5_21-23-16.png||thumbnail="true" width="60"]] | ||
165 | {{/task}} | ||
166 | ))) | ||
167 | ))) | ||
168 | )))|((( | ||
169 | (% class="content-wrapper" %) | ||
170 | ((( | ||
171 | (% class="task-list" %) | ||
172 | ((( | ||
173 | {{task reference="/Tasks/Task_26" status="InProgress"}} | ||
174 | [[image:attach:image2022-12-5_21-26-53.png||thumbnail="true" width="60"]] | ||
175 | {{/task}} | ||
176 | ))) | ||
177 | ))) | ||
178 | )))|((( | ||
179 | (% class="content-wrapper" %) | ||
180 | ((( | ||
181 | (% class="task-list" %) | ||
182 | ((( | ||
183 | {{task reference="/Tasks/Task_27" status="InProgress"}} | ||
184 | [[image:attach:image2022-12-5_21-27-10.png||thumbnail="true" width="60"]] | ||
185 | {{/task}} | ||
186 | ))) | ||
187 | ))) | ||
188 | )))|((( | ||
189 | (% class="content-wrapper" %) | ||
190 | ((( | ||
191 | (% class="task-list" %) | ||
192 | ((( | ||
193 | {{task reference="/Tasks/Task_28" status="InProgress"}} | ||
194 | [[image:attach:image2022-12-5_21-27-29.png||thumbnail="true" width="60"]] | ||
195 | {{/task}} | ||
196 | ))) | ||
197 | ))) | ||
198 | )))|(% colspan="1" %)((( | ||
199 | (% class="content-wrapper" %) | ||
200 | ((( | ||
201 | (% class="task-list" %) | ||
202 | ((( | ||
203 | {{task reference="/Tasks/Task_29" status="InProgress"}} | ||
204 | [[image:attach:image2022-12-5_21-27-47.png||thumbnail="true" width="60"]] | ||
205 | {{/task}} | ||
206 | ))) | ||
207 | ))) | ||
208 | )))|(% colspan="1" %)((( | ||
209 | (% class="content-wrapper" %) | ||
210 | ((( | ||
211 | (% class="task-list" %) | ||
212 | ((( | ||
213 | {{task reference="/Tasks/Task_30" status="InProgress"}} | ||
214 | [[image:attach:image2022-12-5_21-29-25.png||thumbnail="true" width="60"]] | ||
215 | {{/task}} | ||
216 | ))) | ||
217 | ))) | ||
218 | )))|(% colspan="1" %)((( | ||
219 | (% class="content-wrapper" %) | ||
220 | ((( | ||
221 | (% class="task-list" %) | ||
222 | ((( | ||
223 | {{task reference="/Tasks/Task_31" status="InProgress"}} | ||
224 | [[image:attach:image2022-12-5_21-29-43.png||thumbnail="true" width="60"]] | ||
225 | {{/task}} | ||
226 | ))) | ||
227 | ))) | ||
228 | )))|(% colspan="1" %)((( | ||
229 | (% class="content-wrapper" %) | ||
230 | ((( | ||
231 | (% class="task-list" %) | ||
232 | ((( | ||
233 | {{task reference="/Tasks/Task_32" status="InProgress"}} | ||
234 | [[image:attach:image2022-12-5_21-34-38.png||thumbnail="true" width="60"]] | ||
235 | {{/task}} | ||
236 | ))) | ||
237 | ))) | ||
238 | ))) | ||
239 | |((( | ||
240 | (% class="content-wrapper" %) | ||
241 | ((( | ||
242 | (% class="task-list" %) | ||
243 | ((( | ||
244 | {{task reference="/Tasks/Task_33" status="InProgress"}} | ||
245 | [[image:attach:image2022-12-5_21-30-2.png||thumbnail="true" width="60"]] | ||
246 | {{/task}} | ||
247 | ))) | ||
248 | ))) | ||
249 | )))|((( | ||
250 | (% class="content-wrapper" %) | ||
251 | ((( | ||
252 | (% class="task-list" %) | ||
253 | ((( | ||
254 | {{task reference="/Tasks/Task_34" status="InProgress"}} | ||
255 | [[image:attach:image2022-12-5_21-30-25.png||thumbnail="true" width="60"]] | ||
256 | {{/task}} | ||
257 | ))) | ||
258 | ))) | ||
259 | )))|((( | ||
260 | (% class="content-wrapper" %) | ||
261 | ((( | ||
262 | (% class="task-list" %) | ||
263 | ((( | ||
264 | {{task reference="/Tasks/Task_35" status="InProgress"}} | ||
265 | [[image:attach:image2022-12-5_21-30-51.png||thumbnail="true" width="60"]] | ||
266 | {{/task}} | ||
267 | ))) | ||
268 | ))) | ||
269 | )))|((( | ||
270 | (% class="content-wrapper" %) | ||
271 | ((( | ||
272 | (% class="task-list" %) | ||
273 | ((( | ||
274 | {{task reference="/Tasks/Task_36" status="InProgress"}} | ||
275 | [[image:attach:image2022-12-5_21-31-32.png||thumbnail="true" width="60"]] | ||
276 | {{/task}} | ||
277 | ))) | ||
278 | ))) | ||
279 | )))|((( | ||
280 | (% class="content-wrapper" %) | ||
281 | ((( | ||
282 | (% class="task-list" %) | ||
283 | ((( | ||
284 | {{task reference="/Tasks/Task_37" status="InProgress"}} | ||
285 | [[image:attach:image2022-12-5_21-32-1.png||thumbnail="true" width="60"]] | ||
286 | {{/task}} | ||
287 | ))) | ||
288 | ))) | ||
289 | )))|(% colspan="1" %)((( | ||
290 | (% class="content-wrapper" %) | ||
291 | ((( | ||
292 | (% class="task-list" %) | ||
293 | ((( | ||
294 | {{task reference="/Tasks/Task_38" status="InProgress"}} | ||
295 | [[image:attach:image2022-12-5_21-32-28.png||thumbnail="true" width="60"]] | ||
296 | {{/task}} | ||
297 | ))) | ||
298 | ))) | ||
299 | )))|(% colspan="1" %)((( | ||
300 | (% class="content-wrapper" %) | ||
301 | ((( | ||
302 | (% class="task-list" %) | ||
303 | ((( | ||
304 | {{task reference="/Tasks/Task_39" status="InProgress"}} | ||
305 | [[image:attach:image2022-12-5_21-33-6.png||thumbnail="true" width="60"]] | ||
306 | {{/task}} | ||
307 | ))) | ||
308 | ))) | ||
309 | )))|(% colspan="1" %)((( | ||
310 | (% class="content-wrapper" %) | ||
311 | ((( | ||
312 | (% class="task-list" %) | ||
313 | ((( | ||
314 | {{task reference="/Tasks/Task_40" status="InProgress"}} | ||
315 | [[image:attach:image2022-12-5_21-33-33.png||thumbnail="true" width="60"]] | ||
316 | {{/task}} | ||
317 | ))) | ||
318 | ))) | ||
319 | )))|(% colspan="1" %)((( | ||
320 | |||
321 | ))) | ||
322 | ))) | ||
323 | ))) | ||
324 | |(% class="highlight-#c1c7d0" colspan="18" data-highlight-colour="#c1c7d0" title="Couleur d'arrière-plan : Gris moyen 45 %" %)((( | ||
325 | **Modalités de contrôle des connaissances et compétences** | ||
326 | ))) | ||
327 | |((( | ||
328 | Contrôle Continu | ||
329 | )))|(% style="text-align:center" %)((( | ||
330 | (% class="task-list" %) | ||
331 | ((( | ||
332 | {{task reference="/Tasks/Task_45" status="InProgress"}} | ||
333 | |||
334 | {{/task}} | ||
335 | ))) | ||
336 | )))|(% colspan="4" %)((( | ||
337 | Examen écrit | ||
338 | )))|(% colspan="2" style="text-align:center" %)((( | ||
339 | (% class="task-list" %) | ||
340 | ((( | ||
341 | {{task reference="/Tasks/Task_46" status="Done"}} | ||
342 | |||
343 | {{/task}} | ||
344 | ))) | ||
345 | )))|(% colspan="3" %)((( | ||
346 | Oral / Soutenance | ||
347 | )))|(% colspan="2" style="text-align:center" %)((( | ||
348 | (% class="task-list" %) | ||
349 | ((( | ||
350 | {{task reference="/Tasks/Task_47" status="InProgress"}} | ||
351 | |||
352 | {{/task}} | ||
353 | ))) | ||
354 | )))|(% colspan="3" %)((( | ||
355 | Rapport / Projet | ||
356 | )))|(% colspan="2" style="text-align:center" %)((( | ||
357 | (% class="task-list" %) | ||
358 | ((( | ||
359 | {{task reference="/Tasks/Task_48" status="Done"}} | ||
360 | |||
361 | {{/task}} | ||
362 | ))) | ||
363 | ))) |