Quickstart guides
We've made a couple of quickstart guides to get you started with AI models. These are mostly in Dutch for now. Disclaimer: please note that these do not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
- ChatGPT in Onderwijs
- Beeld genereren in een creatief proces
- Tekstmodellen inzetten in professionalisering
- Bewegend beeld genereren (text-to-video)
- Making music with AI
ChatGPT in Onderwijs
Please note that this quickstart does not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
Aan de slag met AI
Er zijn veel verschillende tools waarmee je tekst kunt genereren. De bekendste op dit moment is ChatGPT van OpenAI. Maar er zijn al langer verschillende alternatieven. Deze hebben vaak een wachtlijst, en/of het zijn betaalde diensten. Bij elk van deze opties gaat het om online platforms, waarbij niet altijd even duidelijk is wat er met jouw data gebeurt. Let dus goed op met privacy-gevoelige informatie!
• Notion AI (www.notion.so/product/ai), alternatief voor ChatGPT
• Rytr (www.rytr.me). Een AI tool vooral bedoeld om kopij voor websites mee te genereren
• Writer (www.writer.com). Nog een kopij-tool
• GPT-3 en GPT 4. De tool ‘achter’ ChatGPT, kun je ook direct benaderen via OpenAI.com. Deze mist daardoor wel de meer intuïtieve chatfuncties.
• Bing chat (www.bing.com). De AI achter Bing is ChatGPT.
• Lex.page. Een schrijfhulp-tool.
• Sudowrite (https://www.sudowrite.com). Nog een schrijfhupl-tool, vooral voor fictie.
• Fermat.ws. Een Miro of Mural achtige tool die tekst en beeld kan genereren
Wat is een goede vraag?
Hoe praat je met een AI? Dat verschilt nogal per tool. ChatGPT is daarin de meest ‘natuurlijke’, omdat deze goed met verschillende gespreksvormen om kan gaan. Wat de tool kan, is ook per tool anders. Maar vraag bijvoorbeeld eens om een lesplan op een voor jou relevant onderwerp, een samenvatting van een (online) artikel of een samenwerkingsvorm voor in je les. Bij de meeste tools kun je ook doorvragen:
• Kun je deze alinea herschrijven? / vertalen naar het Engels?
• Kun je deze samenvatting herschrijven in een informele stijl? / met tien spelfouten in?
• Kun je deze informatie vergelijken met de theorie van …?
• Kun je dit lesplan herzien met de volgende voorwaarden?
Wat zegt ‘ie nou?
Tekst-generatoren werken op basis van woordvoorspelling. Afhankelijk van de context genereren ze het meest waarschijnlijke volgende woord in de zin. Kort door de bocht gaat dat ongeveer zo: “ik loop door het bos en zie ...” AI: “een” ... “boom”. Waarop baseert de AI wat het meest waarschijnlijke vervolg is? Dat heeft hij geleerd uit de dataset, een enorme verzameling teksten die door de AI geanalyseerd is. Maar: de AI weet niet wat een bos is, of wat een boom is. Alleen dat het woord ‘bos’ vaak in de buurt van ‘boom’ voorkomt.
Dat betekent dus dat het niet per definitie daadwerkelijk waar is wat er geschreven wordt, alleen waarschijnlijk, op basis van de dataset.
Vragen over onderwerpen die breed besproken zijn, zullen daarom vaker tot nauwkeurige antwoorden leiden dan vragen over meer obscure onderwerpen. Interessante vragen om dit te onderzoeken zijn bijvoorbeeld vragen gebaseerd op onjuiste aannames:
• Kun je me uitleggen waarom de walvissen in de Atlantische oceaan groen zijn?
• Kun je me vertellen waarom er zoveel croissants worden gegeten in Taiwan?
• Waarom hebben de huizen in de Drieharingenstraat alleen oneven huisnummers?
Vergelijk de antwoorden tussen verschillende tools. ChatGPT kan vaak al beter met dit soort vragen overweg. Toch, als je op de antwoorden door blijft vragen kun je alsnog op interessant terrein terecht komen. Vraag dezelfde vraag ook eens meerdere keren, en kijk wat de verschillen tussen de antwoorden zijn.
Beeld genereren in een creatief proces
Please note that this quickstart does not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
Aan de slag met AI
Er zijn verschillende tools waarmee je beeld kunt genereren. De bekendste op dit moment zijn Dall-E, Stable Diffusion en MidJourney. Er zijn een veel alternatieven, maar een groot aantal daarvan maken zelf ook gebruik van een van de eerste drie. Bij de online platforms is het niet altijd even duidelijk wat er met jouw data gebeurt. Ook zijn alle online platforms betaald, maar krijg je bij aanmelden vaak een aantal credits om te starten. Zodra deze op zijn ga je betalen per afbeelding. Een aantal platforms:
- Stable Diffusion online: https://beta.dreamstudio.ai/home
- Midjourney https://www.midjourney.com/home/
- Dall-E https://openai.com/dall-e-2/
- Alternatief met een missie: Missjourney https://missjourney.ai genereert alleen vrouwelijke personen, bijvoorbeeld in werkvelden waarin de beeldvorming voornamelijk mannelijk is. Zoals jurist, astronaut, CEO, etc.
Wil je zeker weten dat er ‘niemand meekijkt’? Stable Diffusion kun je ook zelf op je eigen computer draaien, bijvoorbeeld als Diffusion Bee voor Mac, of Easy Diffusion voor Windows/Linux. Daar heb je een recente computer en/of stevige grafische kaart voor nodig, maar dan hoef je je niet te registreren bij een online platform. Je vindt hier een lijstje met tools en installers.
Prompts!(?)
Text-to-image beeldgenerators werken op basis van ‘prompts’. Dat is de tekst die je intypt om tot een afbeelding te komen. Elke beeldgenerator heeft eigen voorkeuren en eigenaardigheden op het gebied van deze prompts, en je komt daar het beste achter door het vooral te proberen! De modellen worden getraind op foto’s van internet en de omschrijvingen die gebruikers daarbij hebben geschreven. Die zijn vaak enorm specifiek en uitgebreid, om maar in zoveel mogelijk zoekmachines naar boven te komen. Dat is dus ook ongeveer de ‘taal’ waarin jij jouw afbeelding moet gaan omschrijven. Er is een heel nieuw werkveld ontstaan dat prompt-engineering heet!
Prompt tips
- Wees specifiek, vooral bij Stable Diffusion. Gebruik labrador in plaats van hond, of Versailles in plaats van kasteel. Denk ook aan het vermelden van kleuren, texturen, vormen, details. Maar ook sfeer kun je meegeven, zoals vrolijk, raar, spannend of ontroerend.
- Weid uit. Probeer geen korte prompts te gebruiken; herhaling in andere woorden kan goed werken.
- Neem de techniek mee. Als je voor een fotorealistisch beeld gaat, kan het helpen om bijvoorbeeld Canon EOS 90D te gebruiken, liefst ook nog met lenstype en focuslengte. Voor schilderkunst zou je de gebruikte penselen, verfsoort of verftechniek kunnen proberen. Ook de stijl van een fotograaf, filmmaker of schilder kun je in je prompt verwerken.
- Reverse engineer: gebruik een beeld naar tekst model zoals Clip Interrogator (Stable Diffusion) om jou bestaande beeld of inspiratie om te zetten in prompts. Gebruik deze prompts vervolgens om een nieuw beeld mee te genereren.
- Kijk ook eens naar de opties voor outpainting (een gemaakte afbeelding uitbreiden), inpainting (een deel van een afbeelding vervangen) en image-to-image (een foto of schets als input meegeven). Niet elke beeldgenerator heeft deze opties.
Tekstmodellen inzetten in professionalisering
Please note that this quickstart does not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
Aan de slag met AI
Er zijn veel verschillende tools waarmee je tekst kunt genereren. De bekendste op dit moment is ChatGPT van OpenAI. Maar er zijn al langer verschillende alternatieven. Deze hebben vaak een wachtlijst, en/of het zijn betaalde diensten. Bij elk van deze opties gaat het om online platforms, waarbij niet altijd even duidelijk is wat er met jouw data gebeurt. Let dus goed op met vertrouwelijke informatie!
Je kunt kiezen uit drie niveau’s:
Level 1: Laagdrempelig experimenteren met ChatGPT en andere taalmodellen.
Level 2: Een prototype maken voor een chatbot met een eigen karakter (OpenAI Playground).
Level 3: Taken of gewenste resultaten helemaal automatiseren (AutoGPT).
Voor level 2 en 3 heb je waarschijnlijk toegang tot de API van OpenAI nodig (platform.openai.com).
Level 1: formuleer een goeie openingszin
Wat is een goede vraag om mee te beginnen?
Hoe praat je met een AI? Dat verschilt nogal per tool. Tegen ChatGPT kun je praten alsof je tegen een mens praat, maar achter de schermen zit geen mens maar een combinatie van een taalmodel en een algoritme. Je kunt dus ook opdrachten geven die je niet zo snel aan een collega zou geven, zoals ‘vertaal dit gedicht naar code in programmeertaal Python’ of ‘maak van dit rommelige tekstbestand een overzichtelijke tabel’.
Tools die je kunt proberen:
- ChatGPT (chat.openai.com)
- Rytr (www.rytr.me). Een AI tool vooral bedoeld om kopij voor websites mee te genereren.
- Writer (www.writer.com). Nog een kopij-tool.
- Bing chat (www.bing.com). De AI achter Bing is ChatGPT.
- Lex (lex.page). Een schrijfhulp-tool.
- Sudowrite (www.sudowrite.com). Nog een schrijfhulp-tool, vooral voor fictie.
- Fermat.ws (fermat.ws) Een Miro of Mural achtige tool die tekst en beeld kan genereren.
- Notion AI (www.notion.so/product/ai), integreert AI in de schrijfinterface.
Voor zakelijke taken kun je beginnen met deze stappen:
1. Vertel ChatGPT (of andere tool) eerst iets over je project. Bijvoorbeeld een artist statement of andere projectomschrijving.
2. Vraag ChatGPT: 'Wat zijn vragen die ik jou zou kunnen stellen zodat je mij kan helpen om van dit project een zakelijk succes te maken?’
3. Kies vervolgens een vraag uit en vraag ChatGPT om dit onderdeel helemaal uit te werken. 4. Geef feedback in een vervolgvraag, bijvoorbeeld: “opnieuw, maar nu met zorgprofessionals als doelgroep”.
Level 2: geef je partner karakter
Het ‘antropomorfiseren’ van chatbots (doen alsof het een mens is) kan dus helpen in het verkennen van interactiemogelijkheden. Wees hier wel voorzichtig mee, want een taalmodel kan vooral goed doen alsof het een mens is: er zit niet daadwerkelijk een mens achter. Maar áls je dan doet alsof het een mens is, dan heb je best veel mogelijkheden om het karakter precies te ontwerpen zoals jij dat wil.
In de basis geven taalmodellen zoals ChatGPT vrij ‘grijze’ antwoorden, zonder humor, specifieke expertise of andere vormen van karakter. Met een ‘pre-prompt’ of ‘system prompt’ kun je het karakter in een bepaalde rol laten kruipen. Je stuurt hiermee de inhoud en tone-of-voice voor het hele gesprek.
Tools die je kunt proberen:
- Met ChatGPT (chat.openai.com) kun je dit toepassen door in je eerste vraag een karakterschets mee te geven.
- Met de Playground van OpenAI (platform.openai.com/playground) kun je dit karakter net iets overzichtelijker ‘vastzetten’ (selecteer Mode -> Chat)
- De bot ‘Forever Voices’ (t.me/ForeverVoicesBot) werkt met Text-to-Speech en ondersteunt karakters en stemmen van verschillende beroemdheden.
- ‘Awesome ChatGPT Prompts’ biedt een overzicht aan karakters, waaronder ‘Act as business coach’ (github.com/f/awesome-chatgpt-prompts)
Stappenplan:
- Geef een zo uitgebreid mogelijke beschrijving van de expertise van je karakter. Start met ‘Act as’ of ‘Acteer als’. Overdrijven lijkt te werken: ‘je bent meerdere keren uitgeroepen tot advocaat van het jaar en de beste in je vakgebied’.
- Voeg een voorbeeld toe van de tone-of-voice van je karakter en geef expliciet mee dat de chatbot deze stijl in elk antwoord moet verwerken.
- Maak er een natuurlijk gesprek van en geef feedback op de stijl en inhoud van de chatbot als je merkt dat de stijl niet helemaal naar je zin is.
Level 3: besteed je gehele takenpakket uit
Vind je zo’n gesprek maar met een chatbot maar moeilijk of tijdrovend? Ben je liever kortaf en besteed je liever je volledige huishouden uit? Dan belooft ‘AutoGPT’ een oplossing. Deze chatbot kan aan de hand van een simpele doelstelling ‘Schrijf een bedrijfsplan voor (...)’. AutoGPT verdeelt deze taak automatisch onder in subtaken en die subtaken weer in subtaken.
Uitproberen:
- AgentGPT (agentgpt.reworkd.ai)
- Cognosys (cognosys.ai/create)
Bewegend beeld genereren (text-to-video)
Please note that this quickstart does not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
Aan de slag met AI
Er zijn verschillende tools waarmee je bewegend beeld kunt genereren. De bekendste op dit moment zijn Runway, Pika & Deforum (Stable Diffusion).
Deforum is een extensie van het open source Text-to-Image model Stable Diffusion en genereert video’s zonder zelf ooit een video ‘gezien’ te hebben. Deforum werkt namelijk op basis van het achter elkaar plakken van een reeks met Text-to-Image gegenereerde afbeeldingen. Vervolgens ‘interpoleert’ de AI tussen de afbeeldingen en ontstaat een ‘vloeiende’ video/animatie. Deforum is gratis en kun je ook op je eigen computer of server werkend krijgen. Dit kost wel veel uitzoekwerk dus we raden de versie op Replicate.com aan voor je eerste experimenten. Link: www.replicate.com/deforum
Na Deforum was Runway de eerste grote speler op het gebied van Text-to-Video met een AI-model dat daadwerkelijk op video’s getraind is: Runway Gen 2. Online AI-platforms zoals Runway zijn betaald, mede omdat het veel energie kost om AI-video’s te maken. Wel krijg je bij aanmelden een aantal credits om te starten, wat Runway uitdrukt in het aantal seconden video dat je kan genereren. Zodra deze op zijn ga je betalen per video of een bedrag per maand. Link: www.runwayml.com
Recent alternatief Pika verkeert nog in ‘beta’-fase wat betekent dat je de service voorlopig gratis kunt testen. Net als Runway leert deze online dienst van je gebruik en is het niet altijd duidelijk wat er met je gegenereerde video’s/data gebeurt. Pika werkt net als veel andere AI-tools via communityplatform Discord. Je kan de Pika-bot DM’s (direct messages) sturen als je niet wil dat andere gebruikers je videocreaties zien. Wel is het interessant om via Discord te zien wat er in de openbare kanalen allemaal gemaakt wordt met Text-to-Video.
Link: www.pika.art (klik ‘join beta’, Discord-account nodig).
Tips voor Text-to-Video
- Wees concreet met je prompts. Beschrijf heel uitgebreid welke beweging je precies terug wil zien. Alleen ‘Moving’ werkt niet goed: beschrijf wat je wil dat er beweegt en hoe het beweegt.
- Image-to-Video: Start met een afbeelding. Dit kan zowel een gegenereerde foto zijn (Runway heeft ook een eigen Text-to-Image tool) of een ‘echte’ foto of digitaal ontwerp.
- Stuur de camera. In alle tools kun je instructie meegeven hoe de ‘camera’ moet bewegen, bijv. ‘zoom in’, ‘zoom uit’, ‘beweeg horizontaal’ of ‘beweeg verticaal’.
- Alternatief: animeer AI-afbeeldingen handmatig. Vind je Text-to-Video nog te onvolwassen? Je kan natuurlijk ook met Text-to-Image (bijv Stable Diffusion) een reeks afbeeldingen maken en die met After Effects of Premiere handmatig omzetten in een video.
- Alternatief: laat alleen gezichten/monden bewegen. Dit kan met D-ID.com en HeyGen.com.
Making music with AI
Please note that this quickstart does not deal with the question of whether you SHOULD be using generative AI in your processes. These quickstarts are part of our own sessions in which we make this an integral part of the discussion and process.
AI & Music
Artificial Intelligence (AI) has been playing a significant role in the way music is created, distributed,
and listened to for several years. Consider, for example, Spotify's 'you might also like' recommendations.
These apps usually utilize AI algorithms. Furthermore, tools have existed for some time that can isolate
the 'stems' (instruments and vocals) within a song.
Relatively new are generative AI tools trained to create something new. Think of ChatGPT for text,
Stable Diffusion for images, Runway for video, and Suno for music. 'Creating something new' is relative
here: the software is usually particularly good at creating new variations based on all the material it
has been trained on previously.
Whether all this is morally and legally permissible and desirable is a discussion in itself. However, for
musicians, the developments also offer interesting opportunities for new forms of musical creative
processes and music education. Consider experimenting with merging styles or creating a cover of your
own song with a different voice.
Video made by Sander Huiberts that showcases various tools: https://nextcloud.hku.nl/s/WwQGndyw7LTtrKt
What role can AI play in musical creative processes?
You'll find that professional creators almost always choose to collaborate with AI for only part of the
creative process (except for a few AI enthusiasts). Within this, there are many choices. A few
examples:
- De Staat wrote, sang, and played the song for 'Running backwards into the future' themselves but
created the 'dreamy' music video in collaboration with Stable Diffusion Deforum.
- Holly Herndon's third full-length album 'PROTO' isn’t about AI, but much of it was created in collaboration with her own AI Spawn; a voice model (mostly) trained on her own voice. In this podcast she discusses the history of generative AI music tools with Dadabots.
- The [Uncertain] Four Seasons is a global project that recomposed Vivaldi’s ‘The Four Seasons’ by AI using climate data for every orchestra in the world to grasp what 2050 will sound like.
- The AI song 'Heart on my sleeve' used voices from Drake and The Weeknd, but the lyrics and vocal
input were done by TikTokker Ghostwriter977 himself.
- SETUP and Pure Ellende experimented in 2021 with an AI-generated ‘smartlap’ (folk song), but the
lyrics were only half generated by GPT-2 (alternating one line by the AI and one by a human).
In recent months, we also see tools appearing that generate tracks without needing a text, voice, or
sample as input. Stable Audio does this for (electronic) music without (understandable) vocals. Suno
gives you the choice to write or generate lyrics and then combines vocals and instruments in a style of
your choice. It still sounds a bit crackly, but such a song might inspire a new melody, a piece of text, or
a combination of music styles.
Want to experiment yourself?
- Suno.ai: Generate songtext and music including vocals. (Temporary) free account needed.
- StableAudio.com: Generate music without vocals. Free account required.
- Sounds.studio: AI enhanced DAW for stem splitting, text to audio, style transfer, voice swapping. (Free account + credits required)
- Vocalremover.org: Separate vocals and instruments from existing audio files.
- Voicify.ai: Voice changer. Paid plan only.