Het Australische Sapia.ai gebruikt AI om het recruitmentproces effectiever en efficienter te maken met de volgende volzin:

Hire better talent, faster with chat interviewing

En chatbot interviewing is nu uitgebreid met een functie to detect and flag responses sourced by generative AI, such as ChatGPT, in real time. Die chat interviewing gaat volgens Sapia via een conversational, Natural Language Processing (NLP) based chat AI. En de nieuwe functie voorkomt (volgen Sapia) dat kandidaten door AI gegenereerde antwoorden op de vragen van de chatbot geeft:

Candidates will be alerted in real-time as they respond when their answers are likely to be AI generated content (AGC), giving them an opportunity to change it ahead of the final submission. Failing this, it will then flag to the decision-maker the likely inclusion of AGC in the candidate’s response for further review.

Barb Hyman (Sapia CEO and founder) zegt hierover het volgende:

“This is something our competitors can’t do. It’s our competitive moat. While it is possible to detect use of generative ChatGPT through analysis, we’re conducting it in real-time. Our data set also gives us the ability to readily adapt to new iterations of generative AI.”

Het lijkt me overdreven om te stellen dat de concurrentie dit niet zou kunnen, er zijn tenslotte al (niet al te goed functionerende) AI checkers die controleren of een tekst al dan niet door een mens is geschreven.

Maar Hyman heeft meer:

“It builds on the plagiarism flag which we released in 2019. It  identified candidates who sourced their answers from the internet or other candidates. Adding a new flag for AI generated content maintains the integrity of the structured interview as a fair, and accurate way to assess talent.“

Dus Sapia had al een ‘plagiaat’ vlag. En dat op via een chatbot gegeven antwoord, van niet al teveel woorden per reactie. Klinkt bijna te goed om waar te zijn.

Sapia.ai’s Chief Data Scientist Dr. Buddhi Jayatilleke voegt hier nog iets aan toe:

“We tested our [detector] with thousands of generated answers from GPT-2, GPT-3 and ChatGPT on various prompts related to multiple role families. We were able to achieve a ROC-AUC of over 95%, which is a strong indicator of the accuracy of a classifier. This is due to our ability to distinguish the differences between human-written text and the formulaic nature of content coming from generative AI models, leveraging our large human-written response data set,” he said.

Ten aanzien van ROC-AUC: When we need to check or visualize the performance of the multi-class classification problem, we use the AUC (Area Under The Curve) ROC (Receiver Operating Characteristics) curve. It is one of the most important evaluation metrics for checking any classification model’s performance.

Interessante materie, en het wachten is op de volgende AI chatbot die deze functionaliteit gaat bieden. Het lijkt me relevante en waardevolle functionaliteit voor de kwaliteit van het recruitmentproces, dus dat zal niet lang op zich laten wachten.