Introducing ChatGPT: Een Conversational AI-model van OpenAI

OpenAI heeft een nieuw model genaamd ChatGPT ontwikkeld dat in staat is om op een conversatiegerichte manier interactie aan te gaan. Dit betekent dat ChatGPT niet alleen vragen kan beantwoorden, maar ook opvolgvragen kan beantwoorden, fouten kan erkennen, onjuiste uitgangspunten kan weerleggen en ongepaste verzoeken kan weigeren.

ChatGPT en InstructGPT: Broertjes met verschillende vaardigheden

ChatGPT is een model dat in dezelfde familie valt als InstructGPT, maar met verschillende vaardigheden. Waar InstructGPT getraind is om instructies in een prompt te volgen en gedetailleerde antwoorden te geven, richt ChatGPT zich op het voeren van conversaties. OpenAI is enthousiast om ChatGPT te introduceren en feedback te ontvangen om de sterke en zwakke punten van het model te ontdekken.

Training van ChatGPT met Reinforcement Learning from Human Feedback (RLHF)

Het trainingsproces van ChatGPT omvatte Reinforcement Learning from Human Feedback (RLHF). Het model werd eerst initieel getraind met supervised fine-tuning, waarbij AI-trainers conversaties voorzagen waarin ze zowel de gebruiker als de AI-assistent speelden. Ze kregen modelgeschreven suggesties om hen te helpen bij het formuleren van hun antwoorden. Deze nieuwe dataset werd gecombineerd met de InstructGPT-dataset, die werd omgezet naar een dialoogformaat.

Om een beloningsmodel voor reinforcement learning te creëren, werd vergelijkingsdata verzameld waarbij meerdere modelantwoorden werden gerangschikt op kwaliteit. AI-trainers kregen gesprekken met de chatbot, waarbij een modelgeschreven bericht willekeurig werd geselecteerd, verschillende alternatieve voltooingen werden bemonsterd en de trainers ze beoordeelden. Met behulp van deze beloningsmodellen werd het model verfijnd met Proximal Policy Optimization, en dit proces werd herhaaldelijk herhaald.

Sterke punten en beperkingen van ChatGPT

ChatGPT is verfijnd vanuit een model in de GPT-3.5-serie en heeft veel potentie. Toch heeft het ook enkele beperkingen, zoals het geven van plausibele, maar onjuiste of onzinnige antwoorden. Het model is gevoelig voor kleine variaties in de formulering van een vraag en kan soms overdreven langdradig en repetitief zijn.

Daarnaast heeft ChatGPT moeite met het vragen van verduidelijking bij een onduidelijke query van de gebruiker en kan het ongewenste instructies of vooringenomen gedrag vertonen. OpenAI heeft echter veiligheidsmaatregelen geïmplementeerd, waaronder de Moderation API om bepaalde soorten onveilige inhoud te waarschuwen of te blokkeren. Desondanks verwelkomt OpenAI feedback van gebruikers om het systeem verder te verbeteren.

Iteratieve implementatie en toekomstige updates

ChatGPT wordt nu als onderzoeksversie gelanceerd en past in het iteratieve implementatieproces van steeds veiligere en nuttigere AI-systemen door OpenAI. Het bedrijf heeft geleerd van eerdere implementaties zoals GPT-3 en Codex en heeft veiligheidsmaatregelen genomen om schadelijke en onwaarachtige output te verminderen.

Hoewel ChatGPT zijn beperkingen heeft, is OpenAI van plan om regelmatig updates uit te brengen om het model te verbeteren. Het ontvangen van feedback van gebruikers is van groot belang om eventuele problemen te identificeren waar het bedrijf nog niet van op de hoogte is. Gebruikers worden aangemoedigd om feedback te geven over problematische modeloutputs en de werking van de externe contentfilter.

Doe mee aan de ChatGPT Feedback Contest

Als onderdeel van de lancering van ChatGPT, kunnen gebruikers deelnemen aan de ChatGPT Feedback Contest. Hierbij maken zij kans op het winnen van API-credits ter waarde van maximaal $500.