Tekstanalyse met Qlik Sense:
Verrassend verhelderend
Gespreksverslagen; correspondentie; email-verkeer; schriftelijke afspraken met klanten, cliënten of partners. Veel bedrijven en instellingen leggen teksten, gemaakte afspraken vast in systemen. Die tekst kan interessant zijn om te analyseren.
Wat wordt er gezegd en besproken? Wat zijn meestgestelde vragen en antwoorden? Zijn er patronen? Worden verzoeken goed afgehandeld en wat is het sentiment? Tekst is interessant om te analyseren met Qlik Sense. Over de mogelijkheden gaat dit blog.
Verhaal
In BI analyseren mijn collega’s en ik vooral cijfers en specifieke indelingen en groeperingen. Bij het zien van vrije tekstvelden is een eerste reactie dan ook vaak: ‘daar kunnen we weinig mee’. Bij een project, dat ik vanuit HippoLine namens partner EscuLine (BI-zorgspecialist) uitvoerde voor een zorginstelling, kwam het verzoek om juist wel iets met vrije tekst te doen.
Cliëntgesprekken
De organisatie voert frequent gesprekken met cliënten. Opmerkingen worden vastgelegd in een database en ons is gevraagd een zogeheten woordenwolk te maken. Op die manier kun je met Qlik Sense een statisch plaatje per thema of onderwerp maken, maar dan haal je niet het maximale uit de BI-software. Ik heb met de ‘Word cloud chart’ uit de Qlik Visualization Bundle de applicatie van de zorginstelling verrijkt met een woordenwolk die volledig interactief is en zich aanpast aan de selecties.
Input collega’s
Om dat te realiseren moest nog wel het een en ander gebeuren. In de vrije tekstvelden staan immers leestekens, enters, tabs, cijfers en dergelijke. De zinnen moesten ook nog worden omgezet in losse woorden. Ik heb met input van collega’s – Thijs de Bruijn en Ronald van der Does – deze ongewenste tekens gefilterd met functies als PurgeChar, KeepChar en Replace. Daarbij heb je Ascii-codes nodig, omdat het script anders niet goed gaat op tekens als ‘ en “. Nu had ik een tabel van meerdere woorden per opmerking en kon deze inladen in de Qlik Sense applicatie.
Vrij snel was er een volgende hobbel: in de woordenwolk kregen we alleen maar standaardwoorden als: de, het, een, je, ik, is, ben, zijn et cetera. Een collega kwam met een waardevolle suggestie. Gysbert Wassenaar had een link naar een woordenlijst met standaardwoorden uit een R-analyse van Twitterberichten. Op die woordenlijst kon ik de tabel van woorden filteren, waardoor alleen de kernwoorden uit de opmerkingen overbleven.
Mijn verwachtingen voor de woordenwolk waren aanvankelijk niet hoog, maar dit bleek onterecht. De verschillende visualisatieopties in het object maken een groot verschil. Bij het maken van selecties komen er duidelijk herkenbare verschillende woordenwolken naar voren en het object leert de eindgebruiker echt iets over het sentiment van de gevoerde gesprekken.
Tekst website
Al het voorgaande is toegepast op de applicatie van een zorginstelling, maar heb ik ook gebruikt op de tekst van onze eigen website en blogposts sinds 2010. Dat viel nog tegen, want HippoLine gebruikt WordPress, en WordPress-export bevat nog veel coderingen (PHP en HTML) waardoor ik nog een paar stappen verder moest gaan om te filteren tot een bruikbare woordenlijst. De uitkomst was de moeite waard!
1 – Om te beginnen heb ik de blogs van collega Thijs de Bruijn vergeleken met die van mijzelf. Mijn teksten gaan o.a. over GeoQlik, kaartlagen, GIS, buurten, postcodes en dakoppervlak. Het zal u als lezer dan ook niet verbazen dat ik mij als BI-consultant heb toegelegd op geografische data en kaartvisualisaties. Thijs is helemaal thuis in de wereld van de statistiek, variabelen, het modificeren en omgaan met lastige data.
2 – Blogs hebben een datum. In de afgelopen drie jaar gingen onze teksten op vrijdag opvallend vaak over ‘Qlik’ en ‘Sense’. Op andere dagen gaan de teksten kennelijk over ons eigen merk: HippoLine. Of wij ons daarvan bewust zijn? Het antwoord is nee. Ik ontdekte ook dat als je de woorden ‘Mirjam’ en ‘Kooten’ selecteert, direct duidelijk is dat onze pr-man de meeste teksten schrijft over de CEO.
Cijfers zijn cijfers, maar tekst vertelt altijd een verhaal… De mogelijkheden van tekstanalyse met Qlik Sense zijn legio. Denk aan het contact met de spoedeisende hulp, of callcenters. Wat wordt er gezegd en besproken? Wat zijn de meest gestelde vragen of welk moment? Worden verzoeken adequaat behandelt? Wat is het sentiment? Zijn er trends in demands te ontdekken?
Wilt u op al die woorden wel eens het vergrootglas leggen, neem dan vooral contact met ons op. Ik en mijn collega Frank de Krou vertellen u er graag meer over.
