Niet verdrinken in een zee van neurale netwerk cursussen: zo vind je de moeite waardige colleges

Een bekende situatie: je besluit je kennis over Deep Learning op te frissen, opent YouTube en vindt duizenden video's met titels als "Neurale Netwerken in 5 Minuten." Je klikt op de ene, dan de andere, en dan een derde, maar in plaats van diep begrip krijg je een warboel aan gefragmenteerde informatie. Uiteindelijk is er tijd besteed, en de intuïtie waar Geoffrey Hinton het over had, blijft uit.

Ik stuitte op een repository genaamd Deep Learning Drizzle, en het is waarschijnlijk de meest relevante verzameling educatieve AI-inhoud die ik de afgelopen jaren heb gezien. De auteur van het project, kmario23, heeft enorm werk geleverd—ze hebben niet zomaar links aan elkaar geplakt maar de beste universiteitscursussen en colleges van toplaboratoria over de hele wereld georganiseerd.

Wat zit er in deze schatkist

Kort samengevat: het is een enorme catalogus van gratis videocolleges, slides en code. Er zijn geen "info-guru" cursussen te vinden. Alleen serieuze academische benaderingen van Stanford, MIT, Oxford, CMU en andere groten.

Het project is opgedeeld in logische secties, en dit voorkomt keuzestress. Je kunt beginnen met de basis van lineaire algebra en geleidelijk opbouwen naar de nieuwste graph neural network architecturen.

Navigeren door de secties

De repository heeft meer dan tien categorieën. Hier zijn degenen waar ik zou aanraden om eerst op te focussen:

1. Deep Learning (Deep Neural Networks). Dit is de basis. Hier zijn meer dan 80 cursussen verzameld. Er is de legendarische CS231n van Andrej Karpathy (Stanford) en colleges van Yann LeCun zelf van NYU. Interessant is dat de auteur cursussen uit verschillende jaren heeft toegevoegd—je kunt traceren hoe benaderingen zijn veranderd van 2012 tot nu.
2. Machine Learning Fundamentals. Als je moeite hebt met matrices of bent vergeten wat een gradient is, is dit voor jou. Hier vind je Gilbert Strang's lineaire algebra colleges en uitstekende visualisaties van 3Blue1Brown (Grant Sanderson).
3. Reinforcement Learning. Reinforcement learning is een uitdagend onderwerp, maar David Silver's cursus van DeepMind is hier te vinden. Het is letterlijk de gouden standaard in de industrie.
4. Natural Language Processing. Alles over NLP: van klassieke methoden tot transformers en moderne taalmodellen. Christopher Manning's Stanford cursussen zijn opgenomen.
5. Geometric Deep Learning. Op dit moment is dit een van de hotste richtingen (graph neural networks). De lijst bevat colleges van Michael Bronstein, die deze discipline fundamenteel heeft opgezet.

Waarom dit nuttig is voor een praktiserende developer

Het hoofdprobleem met zelfstudie is het gebrek aan systeem. Je zou kunnen weten hoe je ResNet uit een bibliotheek moet importeren, maar niet begrijpen waarom het werkt zoals het werkt. Deep Learning Drizzle geeft je toegang tot primaire bronnen.

Bijvoorbeeld, als je modeloptimalisatie wilt begrijpen, open je de relevante sectie en vind je Stephen Boyd's convex optimization cursus. Dit is niet zomaar "parameter tunen"—het is een wiskundige basis waarmee je modeltraining bewust kunt benaderen, in plaats van te grabbelen.

Trouwens, er is een Medical Imaging sectie in de collectie. Het is een geweldig voorbeeld van hoe algemene DL-kennis wordt toegepast in een smal maar cruciaal belangrijk gebied. Als je overweegt om van domein te wisselen of op zoek bent naar ideeën voor een side project, bekijk dan de colleges in dit blok.

Hoe deze lijst te gebruiken

Probeer niet het ongrijpbare te grijpen. De lijst is enorm, en als je alles ongediscrimineerd gaat kijken, brand je snel uit. Ik zou deze aanpak aanraden:

• Kies één specifiek onderwerp dat je nu nodig hebt voor je werk (bijvoorbeeld NLP of CV).
• Zoek een cursus uit het meest recente jaar (2021-2022) van een bekende universiteit.
• Download zeker de slides en zoek naar links naar code repositories, die vaak in de tabellen naast de video's worden vermeld.

De auteur heeft ook een sectie over zomerscholen opgenomen. Dit is geconcentreerde kennis, meestal gegeven gedurende één tot twee weken intensieve training. De colleges worden gegeven door industrie "legendes", en het is een geweldige manier om snel op de hoogte te raken van een specifiek onderwerp.

Is het de tijd waard

Het project heeft bijna 13.000 sterren op GitHub, en dat is terecht verdiend. Het is niet zomaar een lijst met links—het is een levende gids. Natuurlijk kunnen sommige links naar universiteitspagina's uiteindelijk "verouderd raken," maar de cursusnamen en docentnamen blijven uitstekende herkenningspunten voor het doorzoeken van het web.

Voor wie is dit? Allereerst degenen die de "binnenkant" van algoritmen willen begrijpen, niet alleen .fit() en .predict() aanroepen. Als je je voorbereidt op een sollicitatiegesprek bij een groot techbedrijf voor een ML-engineer positie, zal het volgen van een paar cursussen uit deze lijst je een enorm voordeel geven ten opzichte van degenen die van korte tutorials hebben geleerd.

Dus, als je zocht naar een teken om eindelijk de wiskunde achter neurale netwerken onder de knie te krijgen of Bayesiaanse methoden te bestuderen—dit is het. Open gewoon Deep Learning Drizzle en begin met leren van de besten.