- Met Green Screen zijn hyperrealistische video-animaties een fluitje van een cent
- Met AI verander je elke portretfoto in een Renaissance-meesterwerk
- Neural net Jukebox genereert muziek in verschillende genres en artiestenstijlen
- Kun je bestaande schilderijen opnieuw creëren door AI te leren schilderen?
- Met behulp van AI schrijf je zelf poëzie in de stijl van beroemde dichters
- We kunnen AI nu liedjes in meerdere talen leren zingen
- Wordt AI een creatieve entiteit op zich?
Kunstmatige intelligentie en machine learning infiltreren langzaam maar zeker ook in de wereld van kunst en cultuur en de resultaten zijn indrukwekkend. Door de kracht van deze technologie ontstaat een hele nieuwe wereld van creativiteit en kunnen digitale kunstenaars hun creaties met behulp van computeralgoritmen tot leven brengen. Maar betekent dit dat mensen in de toekomst steeds vaker zullen worden overtroffen door ‘AI-artiesten’ die spectaculaire en unieke kunstwerken, boeiende muziek, inspirerende poëzie en zelfs realistische filmscripts creëren? Hoe zal kunst – en de rol van menselijke creativiteit – er in onze toekomstige samenlevingen uitzien? Zal kunstmatige intelligentie dit allemaal overnemen of zal AI slechts een hulpmiddel zijn om ons op creatief gebied meer mogelijkheden te bieden? Of we het nu leuk vinden of niet, de combinatie van technologie en kunst lijkt op allerlei vlakken enorm goed te werken en daar worden creatievelingen, kunstgalerijen en muziekproductiestudio’s zich ook steeds meer van bewust.
Met Green Screen zijn hyperrealistische video-animaties een fluitje van een cent
Runway, bestaande uit een klein team van artiesten, ontwikkelaars, ingenieurs en onderzoekers, integreert machine learning en AI met de wereld van kunst en creativiteit en ontwikkelt nieuwe videobewerkingstools. De startup heeft onlangs het webgebaseerde, real-time Green Screen gelanceerd, de eerste van een reeks op machine learning gebaseerde tools waarmee videobewerking volledig getransformeerd wordt. Met de software kun je ‘synthetische content’ creëren – of met andere woorden, AI-algoritmen gebruiken om automatisch audiovisuele content te genereren, wijzigen en bewerken. Het huidige proces van objecten uit video’s knippen is bekend als rotoscoping, een tijdrovend proces waarbij je de omtrek van een object in elke frame van een video nauwkeurig moet traceren. Daarna wordt een masker gemaakt dat wordt gebruikt om de achtergrond van het object te verwijderen of visuele effecten toe te voegen. De machine learning-modellen van Green Screen maken het mogelijk om dit moeizame proces volledig te transformeren en stellen je in staat een topkwaliteit masker te creëren – met slechts een paar klikken op een object en met slechts een paar frames van de video.
Voordat de startup werd gevormd, postte het team een tweet met het verzoek om feedback op hun nog te ontwikkelen AI-videobewerkingstool. Binnen 48 uur kwamen er reacties binnen van ingenieurs van techgiganten Google en Facebook, maar ook van geïnteresseerde partijen van universiteiten en de media, wat een indicatie was dat het team met hun idee op de goede weg zat. Onmiddellijk daarna richtte het team hun bedrijf op. “We blijven maar audiovisuele content creëren op dezelfde manier als we dat al decennia doen. Dat maakt het proces onnodig traag, duur en gecompliceerd. Met AI-algoritmen kan iedereen binnen enkele seconden hyperrealistische animaties maken en deze automatisch bewerken. Tot nu toe kon dit alleen door Hollywood of grote productiebedrijven gedaan worden”, vertelt Cristóbal Valenzuela, een van de drie oprichters van Runway.
Met AI verander je elke portretfoto in een Renaissance-meesterwerk
Wist je dat algoritmen inmiddels ook indrukwekkende schilders zijn geworden? Sato, een Japanse full-stack ontwikkelaar, heeft een AI-kunstgenerator of kunstenaars-app ontwikkeld die portretfoto’s transformeert in Renaissance-‘meesterwerken’. Sato heeft de AI-kunstgenerator, die de naam AI Gahuku heeft gekregen, ontwikkeld omdat hij het leuk vindt om mensen te entertainen. “Dus besloot ik mijn programmeervaardigheden te gebruiken om de app te creëren”, vertelt hij. Hij had echter nooit gedacht dat zijn werk zo populair zou worden. “Ik ben echt verbaasd dat zoveel mensen het gebruiken”, zegt Sato. Een probleem is dat mensen met een donkere huidskleur die de app gebruiken een Renaissance-versie met een lichte huidskleur ontvangen van hun geüploade foto. “We bevestigen dat de output van de AI-kunstenaar op dit moment helaas nog bevooroordeeld is. Maar we hopen in de toekomst een grotere verscheidenheid aan trainingsdata te kunnen gebruiken zodat we de diversiteit van de output kunnen uitbreiden”, aldus Sato.
Neural net Jukebox genereert muziek in verschillende genres en artiestenstijlen
Zelfs het componeren van muziek is kinderspel voor AI. OpenAI heeft onlangs zijn nieuwe machine learning-model Jukebox gelanceerd waarmee je volledig nieuwe muzieksamples kunt creëren. Het AI-model is indrukwekkend en produceert aardige melodieën en herkenbare teksten, hoewel de resultaten wel veel weg hebben van liedjes die we allemaal wel eens gehoord hebben. Het model werd getraind met rauwe audio in plaats van symbolische muziek – en deze bevat meestal geen stemmen. Het team maakte gebruik van neurale netwerken om onbewerkte audio te coderen en te comprimeren. Vervolgens gebruikten de onderzoekers een transformator om nieuwe, gecomprimeerde audio te genereren. Daarna werd dit ‘geüpsampled’ om het weer om te zetten in onbewerkte audio. Jukebox genereert ook zijn eigen teksten, in samenwerking met OpenAI-onderzoekers. De modellen werden getraind op een ruwe dataset van 1,2 miljoen nummers, waarvan de helft in het Engels, met behulp van metadata en songteksten uit LyricWiki. De resultaten zijn zeker indrukwekkend, maar er “is een aanzienlijk verschil tussen deze AI-gegenereerde resultaten en door mensen gemaakte muziek. En hoewel er bij de gegenereerde nummers wel sprake is van zogenaamde lokale muzikale samenhang, traditionele akkoordpatronen en zelfs indrukwekkende solo’s, horen we niet de bekende grotere muzikale structuren zoals herhalende refreinen”, schrijft OpenAI op zijn blog.
Kun je bestaande schilderijen opnieuw creëren door AI te leren schilderen?
De afgelopen jaren zijn onderzoekers begonnen met het ontwikkelen van algoritmen die in staat zijn om bestaande kunstwerken opnieuw te creëren. De teamleden van het Timecraft-project, geleid door Amy Zhao, een PhD-student aan het MIT die werkt aan computervisie en machine learning, hebben een paper geschreven met de titel ‘Painting Many Pasts: Synthesising Time Lapse Videos of Paintings’. Hierin wordt beschreven op welke manier een bestaand schilderij oorspronkelijk (mogelijk) geschilderd was. Voor een computer is een afbeelding niets meer dan een lange lijst met willekeurige getallen. Om al deze cijfers te begrijpen, heb je een CNN nodig – een Convolutional Neural Network – om een feature-map output te krijgen, ofwel een gefilterde versie van de originele afbeelding. Voor hun onderzoek trainde het team een algoritme door het te voeden met time-lapse-video’s van kunstenaars die schilderijen maken. Op deze manier leert het systeem ook uit te dokteren welke stappen genomen moeten worden om een bestaand schilderij opnieuw te creëren. Het team werd geïnspireerd door ‘artistieke stijloverdracht’, waarbij neurale netwerken worden gebruikt om kunst te maken door het werk van verschillende kunstenaars te combineren, of om kunst te creëren in de stijl van een bepaalde kunstenaar. De gemaakte time-lapse-video’s werden tijdens een enquête waar 158 mensen aan deelnamen geëvalueerd. Aan de deelnemers werd gevraagd om de Timecraft-video’s met de originele time-lapse-video’s te vergelijken. En hoewel de meeste deelnemers de voorkeur gaven aan de originele video’s, konden ze 50 procent van de tijd de Timecraft-video’s niet van de originele onderscheiden. Hier concludeert het team uit dat machine learning kan worden gebruikt om de individuele stappen waarmee een kunstwerk is gemaakt te ontcijferen.
Met behulp van AI schrijf je zelf poëzie in de stijl van beroemde dichters
Voor degenen die altijd al poëzie hebben willen schrijven maar daar niet de juiste skills voor hebben, is er nu de Verse by Verse-tool van Google. De poëzietool van de techgigant kan je helpen met suggesties in de stijl van 22 bekende Amerikaanse dichters. Om inspiratie op te doen, kies je een aantal dichters wiens werk je aanspreekt – bijvoorbeeld Paul Lawrence Dunbar, Edgar Allen Poe, Emily Dickinson of William Cullan Bryant. Vervolgens selecteer je een dichtvorm – bijvoorbeeld een sonnet, kwatrijn, haiku, limerick of rondeel. Iedere dichtvorm heeft namelijk zijn eigen structuur, klank, ritme en/of inhoud. Vervolgens vraagt Verse by Verse je om zelf de eerste regel te schrijven, waarna de AI verschillende suggesties doet om verder te gaan. De tool is ontwikkeld om inspiratie te bieden en je kunt de suggesties gebruiken, afwijzen of wijzigen. Google legt uit dat de suggesties van de tool niet afkomstig zijn uit de originele poëzie, maar nieuwe verzen zijn die lijken op poëzie die door deze beroemde dichters geschreven zou kunnen zijn. Voor het ontwikkelen van de tool hebben de ingenieurs van Google hun AI gevoed met een uitgebreide selectie klassieke poëzie en schrijfstijlen. En om de AI in staat te stellen relevante suggesties te genereren, “is het systeem getraind op het ontwikkelen van een algemeen semantisch begrip van welke zin(nen) het beste aansluiten bij een vorige. Dus zelfs als je over onderwerpen schrijft die in klassieke poëzie niet vaak voorkomen, zal het systeem toch proberen relevante suggesties te doen,” vertelt Google-ingenieur Dave Uthus.
We kunnen AI nu liedjes in meerdere talen leren zingen
De Australische AI-muziekstartup Popgun, bekend van de YouTube-video’s waarin de AI van het bedrijf muziek componeert en speelt, is er nu in geslaagd om zijn AI ook te leren zingen. “Het afgelopen jaar hebben we een AI leren zingen. Door tekst en midi als input te gebruiken, kunnen we vocale tracks in veel verschillende stemmen genereren. Deze video laat zien hoe we met de AI Singer interacteren, gevolgd door samples van recente nummers die met onze technologie zijn gemaakt”, aldus de beschrijving onder de nieuwste demovideo. Stephen Phillips, CEO van Popgun, zegt: “We hebben vooruitgang geboekt, maar we hebben nog een weg te gaan om de kwaliteit te bereiken die nodig is voor primetime. Het wordt een nieuw instrument dat door producers gebruikt kan worden. De AI’s kunnen gitaar, basgitaar en piano spelen en bovendien kunnen de verschillende AI’s naar elkaar luisteren en met elkaar samen spelen. En nu kunnen ze ook zingen”.
Ook de Chinezen hebben onlangs een AI-model ontwikkeld dat kan zingen – het DeepSinger-systeem. Een team van onderzoekers van de Zhajiang University en Microsoft heeft de ‘stem’ van een AI-zangeres gegenereerd met gebruik van algoritmen die de toonhoogte en duur van audio kunnen voorspellen en regelen. Het geluid dat mensen produceren als ze zingen bevat veel complexere ritmes en patronen dan het geluid dat ze maken als ze spreken. Hoewel er op het gebied van spraak nogal wat trainingsgegevens beschikbaar zijn, is dit niet het geval met trainingsgegevens voor zang. Om deze uitdaging het hoofd te bieden, hebben de onderzoekers een datapijplijn ontwikkeld voor het verzamelen en transformeren van audiogegevens. Van verschillende websites werden zangfragmenten geëxtraheerd, waarna de zang van de rest van de audio werd geïsoleerd en in zinnen werd opgedeeld. De techniek is vergelijkbaar met de tekst-naar-spraak-methode waarmee machines kunnen spreken.
Deze ontwikkelingen hebben ook duidelijke commerciële implicaties. Waar menselijke artiesten nu nog vaak naar de studio moeten komen om na een eerste opnamesessie eventuele fouten te herstellen, wijzigingen door te voeren of toevoegingen te verwerken, kan AI-ondersteunde spraaksynthese de noodzaak hiervan volledig elimineren, waardoor alle betrokken partijen tijd en geld besparen. Deze technologie kan echter ook worden gebruikt om deepfakes te creëren, waardoor het lijkt alsof bepaalde artiesten teksten zingen die ze in het echt nooit hebben gezongen. Bovendien zouden menselijke zangers en musici door deze ontwikkelingen in de toekomst bovendien volledig buiten spel gezet kunnen worden. Een voorbeeld van mogelijke toekomstige problemen met deze technologie is het voorval van de anonieme YouTuber die in april 2020 deepfake-video’s had geüpload. Hierin rapt de beroemde rapper Jay-Z, bekend van hip-hop klassiekers als Ni**as in Paris en Empire State of Mind, zogenaamd Billy Joel’s ‘We didn’t start the fire’.
Wordt AI een creatieve entiteit op zich?
Nieuwe technologieën als kunstmatige intelligentie transformeren de aard van creatieve processen. AI speelt een steeds belangrijkere rol bij creatieve activiteiten, zoals beeldende kunst, muziek en poëzie. Onze computers fungeren steeds meer als canvas of penseel en zelfs als muziekinstrumenten. Zal technologie – en met name AI – in de toekomst slechts een hulpmiddel blijven om de menselijke creativiteit te ondersteunen en creatieve vaardigheden toegankelijker te maken? Of wordt kunstmatige intelligentie een volwaardige, op zichzelf staande creatieve entiteit?
