Jak nie utonąć w morzu kursów sieci neuronowych i znaleźć naprawdę wartościowe wykłady

Znana sytuacja: postanawiasz odświeżyć wiedzę o Deep Learning, otwierasz YouTube i znajdujesz tysiące filmów z tytułami takimi jak "Sieci neuronowe w 5 minut". Klikasz jeden, potem drugi, potem trzeci, ale zamiast głębokiego zrozumienia otrzymujesz chaos fragmentarycznych informacji. W rezultacie czas minął, a intuicja, o której mówił Geoffrey Hinton, nigdy się nie pojawia.

Natknąłem się na repozytorium o nazwie Deep Learning Drizzle i to prawdopodobnie najbardziej trafna kolekcja edukacyjnych treści AI, jaką widziałem w ciągu ostatnich kilku lat. Autor projektu, kmario23, wykonał ogromną pracę — nie tylko zrzucił w jedno miejsce linki, lecz zorganizował najlepsze kursy uniwersyteckie i wykłady z czołowych laboratoriów na całym świecie.

Co kryje się w tym skarbcu

Krótko mówiąc, to ogromny katalog darmowych wykładów wideo, slajdów i kodu. Nie znajdziesz tutaj kursów "guru od informacji". Tylko poważne podejścia akademickie ze Stanford, MIT, Oxford, CMU i innych gigantów.

Projekt jest podzielony na logiczne sekcje, co uwalnia od paraliżu decyzyjnego. Możesz zacząć od podstaw algebry liniowej i stopniowo przejść do najnowszych architektur grafowych sieci neuronowych.

Nawigacja po sekcjach

W repozytorium jest ponad dziesięć kategorii. Oto te, które polecam najpierw:

1. Deep Learning (Deep Neural Networks). To fundament. Zgromadzono tutaj ponad 80 kursów. Znajdziesz legendarne CS231n Andreja Karpathy'ego (Stanford) oraz wykłady samego Yann LeCuna z NYU. Co ciekawe, autor dodał kursy z różnych lat — możesz prześledzić, jak podejścia zmieniały się od 2012 roku do dziś.
2. Machine Learning Fundamentals. Jeśli masz problemy z macierzami lub zapomniałeś, czym jest gradient, to jest dla ciebie. Tutaj znajdziesz wykłady Gilberta Stranga z algebry liniowej oraz znakomite wizualizacje od 3Blue1Brown (Grant Sanderson).
3. Reinforcement Learning. Uczenie ze wzmocnieniem to trudny temat, ale jest tutaj kurs Davida Silvera z DeepMind. To dosłownie złoty standard w branży.
4. Natural Language Processing. Wszystko o NLP: od klasycznych metod po transformery i nowoczesne modele językowe. Włączono kursy Christophera Manninga ze Stanford.
5. Geometric Deep Learning. Teraz to jeden z najgorętszych kierunków (grafowe sieci neuronowe). Lista zawiera wykłady Michaela Bronsteina, który praktycznie założył tę dziedzinę.

Dlaczego to jest przydatne dla praktykującego programisty

Główny problem samokształcenia to brak systemu. Możesz wiedzieć, jak zaimportować ResNet z biblioteki, ale nie rozumieć, dlaczego to działa tak, a nie inaczej. Deep Learning Drizzle daje dostęp do źródeł.

Na przykład, jeśli potrzebujesz zrozumieć optymalizację modelu, otwierasz odpowiednią sekcję i znajdujesz kurs Stephena Boyda o optymalizacji wypukłej. To nie jest tylko "majstrowanie przy parametrach" — to matematyczne fundamenty, które pozwolą ci podchodzić do treningu modeli świadomie, zamiast działać po omacku.

Przy okazji, w kolekcji jest sekcja Medical Imaging. To świetny przykład zastosowania ogólnej wiedzy o DL w wąskiej, ale krytycznie ważnej dziedzinie. Jeśli myślisz o zmianie branży lub szukasz pomysłów na projekt hobbystyczny, zajrzyj do wykładów w tym bloku.

Jak korzystać z tej listy

Nie próbuj ogarnąć nieogarnialnego. Lista jest ogromna, i jeśli zaczniesz oglądać wszystko bez selekcji, szybko się wypalisz. Polecam takie podejście:

• Wybierz jeden konkretny temat, który jest ci potrzebny teraz do pracy (na przykład NLP lub CV).
• Znajdź kurs z najbardziej aktualnego roku (2021-2022) z dobrze znanej uczelni.
• Koniecznie pobierz slajdy i szukaj linków do repozytoriów z kodem, które często są podane w tabelkach obok filmów.

Autor uwzględnił też sekcję dotyczącą szkół letnich. To skondensowana wiedza, zazwyczaj przekazywana podczas jednego do dwóch tygodni intensywnych szkoleń. Wykłady prowadzone są przez "legendy" branży i to świetny sposób na szybkie zaznajomienie się z konkretnym tematem.

Czy warto poświęcić czas

Projekt ma prawie 13 000 gwiazdek na GitHub i jest to w pełni zasłużone. To nie tylko lista linków — to żywy przewodnik. Oczywiście niektóre linki do stron uniwersyteckich mogą z czasem "zaginąć", ale nazwy kursów i nazwiska profesorów pozostają znakomitymi punktami orientacyjnymi do wyszukiwania w internecie.

Dla kogo to jest? Przede wszystkim dla tych, którzy chcą zrozumieć "wnętrze" algorytmów, a nie tylko wywoływać .fit() i .predict(). Jeśli przygotowujesz się do rozmowy kwalifikacyjnej w dużej firmie technologicznej na stanowisko inżyniera ML, przejście kilku kursów z tej listy da ci ogromną przewagę nad tymi, którzy uczyli się z krótkich tutoriali.

Więc jeśli szukałeś znaku, żeby wreszcie ogarnąć matematykę sieci neuronowych lub zgłębić metody bayesowskie — oto on. Po prostu otwórz Deep Learning Drizzle i zacznij uczyć się od najlepszych.