In dit artikel:
3 tips voor bedrijven om marktonderzoek te doen met web scraping

Online zijn veel interessante bronnen te vinden die je kunt gebruiken voor marktonderzoek in alle soorten en maten. Brancherapporten, cijfers en trends. Openbaar gepubliceerd door toonaangevende organisaties en voor iedereen beschikbaar, maar breed opgezet en niet (volledig) toegespitst op jouw onderzoeksvraag. Kies je dan voor uitbesteden of zelf doen?

Er is een heel scala aan toepassingen te verzinnen, waarvoor je onderzoek naar de markt wilt doen. Een haalbaarheidsonderzoek voor een nieuw bedrijf, dienst of product? Het analyseren van concurrentie en monitoren op nieuwe toetreders? Trends en ontwikkelingen op de voet volgen? De doelgroep online onderzoeken om dit te vertalen naar buyer persona’s of een customer journey?

Ongeacht het type marktonderzoek dat je wilt doen of het onderwerp dat de onderzoeksvraag beslaat; je wilt zoveel mogelijk relevante informatie om een goed beeld te vormen en de juiste conclusies te trekken. Voor die informatie moet je iets dieper graven. Tal van onderzoeksbureaus bieden hun diensten aan om dit voor je uit handen te nemen. Dat brengt vaak een flink kostenplaatje met zich mee. Toch maar in eigen hand houden dan. Hoe pak je dat aan?

Drie belangrijke aspecten van een marktonderzoek

Met een marktonderzoek ga je op zoek naar meningen en behoeften van potentiële klanten voor jouw bedrijf, product of dienst. Ook wil je weten hoe de markt eruit ziet en met wie je concurreert. Zo ontdek je of er markt voor is en welke aanpassingen nodig zijn om naadloos aan te sluiten op de vraag. Dergelijk onderzoek kun je uitvoeren met kwalitatief onderzoek en/of kwantitatief onderzoek.

Vaak ben je geïnteresseerd in de volgende aspecten:

De branche – kennis over ontwikkelingen in de branche

Je wilt inzicht hebben in de ontwikkelingen in de branche waarin je je begeeft om je propositie hierop aan te sluiten en de succesfactor van je onderneming te vergroten.

Om kennis op te doen over de branche ga je op onderzoek uit:
– wie zijn de belangrijkste spelers?
– wat is hun omzet en/of marktaandeel?
– hoe groot is het aanbod en hoeveel vraag is er?
– wat zijn de trends en ontwikkelingen in de branche?

Het beantwoorden van dit soort vragen geeft inzicht in de haalbaarheid van je plannen. Dit soort informatie vind je onder andere bij de Kamer van Koophandel, het CBS en de Rabobank.

Klanten – kennis over de doelgroep

Om je bedrijf, product of dienst levensvatbaar te maken, heb je afnemers nodig en een gezonde stroom omzet. Het is dus van essentieel belang dat je weet wie je potentiële klanten zijn, waar je ze kunt vinden en welke behoefte zij hebben.

Om te achterhalen waar de behoefte ligt, maak je een analyse van potentiële klanten:

– welke eigenschappen heeft jouw (ideale) klant?
– welk type bedrijf of consument heeft behoefte aan jouw aanbod?
– welk problemen ervaart de klant?
– op welke manier lossen zij dit nu op?

Informatie over je doelgroep kun je halen uit algemene bronnen als het Sociaal Cultureel Planbureau, het CBS of branche organisaties. Vergeet ook de zichtbare informatie van de concurrentie niet mee te nemen, zoals klantbeoordelingen en reviews. Ook op andere plekken op internet kun je waardevolle informatie verzamelen over jouw doelgroep. De meningen, ervaringen en behoeften van jouw potentiële klanten staan openbaar op het web. Doe er je voordeel mee.

Concurrentie – kennis over concurrenten en hun aanbod

Om je aanbod aan te laten sluiten op de vraag in de markt én onderscheidend en concurrerend te laten zijn met andere aanbieders, wil je zoveel mogelijk weten over je concurrenten.

Om je concurrenten te leren kennen, maak je een analyse van de belangrijkste spelers:
– welk aanbod heeft de concurrentie?
– hoe onderscheid de concurrentie zich?
– op welke doelgroep richt de concurrentie zich?
– wat is de prijsstrategie van de concurrentie?
– hoe tevreden zijn hun klanten en waar hebben zij opmerkingen over?

Het antwoord op deze vragen is grotendeels online te vinden. Bekijk de website van concurrenten en de reviews die zij krijgen. Kijk waar concurrenten online genoemd worden zijn en of ze veel autoriteit hebben.

Hoe kan ik web scraping gebruiken voor mijn marktonderzoek?

Goede vraag. Al dat handwerk kost een hoop tijd, dus het is mooi als dat efficiënter kan.

Laten we eerst even stil staan bij wat web scraping is. Het is een techniek waarbij specifieke informatie met behulp van een geprogrammeerde bot van het internet gericht wordt verzameld en opgeslagen. De bot kan alles vinden wat jij handmatig ook kunt vinden, maar doet dit vele malen sneller en effectiever.

Een scraper verzamelt snel en efficiënt concrete informatie waar jij iets aan hebt.

Na het verzamelen van de data ben je er nog niet. Een volgende uitdaging ligt in het analyseren van de data en het omzetten van de ruwe data naar concrete informatie waar jij iets aan hebt. Met behulp van web scraping verzamel je alleen de data die voor jou interessant is, om het vervolgens om te vormen naar bijvoorbeeld conclusies en leerpunten.

Hoe je web scraping kunt gebruiken voor marktonderzoek? Je kunt web scraping gebruiken voor diverse aspecten van kwantitatief onderzoek.

Wij hebben 3 tips voor je:

1. Branche onderzoek – concreet zicht op het landschap in de branche

Stel, je wilt een webshop starten en online barbecues gaan verkopen. Dan wil je bijvoorbeeld weten hoeveel andere online aanbieders er zijn, wie deze aanbieders zijn en hoe zij verdeeld zijn over de markt (qua aanbod en spreiding).

Het is met web scraping mogelijk om de hele markt inzichtelijk te krijgen en vervolgens met alle verzamelde data te segmenteren op elke gewenste manier. Denk bijvoorbeeld aan het segmenteren van de grootte van deze bedrijven, de verdeling per geografische regio of de hoeveelheid bedrijven per type webwinkel die barbecues in het assortiment opgenomen hebben.

Deze data kun je uitstekend gebruiken om je marktpositie te bepalen en een succesvolle strategie te kiezen ten opzichte van de concurrentie. Met deze informatie kun je beoordelen op welk vlak potentie ligt om marktaandeel te veroveren: prijs, product of propositie.

Wanneer je data verzamelt via web scraping, krijg je in één overzicht zeer relevante informatie die je niet kunt missen bij het beoordelen van de haalbaarheid van een idee. Informatie die anders verborgen blijft óf veel bloed, zweet en tranen kost om te verzamelen.

Voor het onderzoeken van de branche, kun je een variatie op brand scraping gebruiken.

2. Klantenonderzoek – inzicht in potentiële klanten voor jouw bedrijf, product of dienst

Het is belangrijk om inzicht te krijgen in je doelgroep om de meest kansrijke propositie, prijs en assortiment voor jouw onderneming te bepalen. Je wilt onder andere weten wat men bereid is te betalen, wat drijfveren zijn voor een aankoopbeslissing en welke kenmerken jouw potentiële klanten typeren.

Online marktonderzoek naar de doelgroep levert waardevolle input voor strategiebepaling en online marketing. Het verschaft duidelijkheid over de eerste fasen van de customer journey van (latente) behoefte tot koop. Doelgroep onderzoek is een interessante aanvulling op kwalitatieve interviews bij het samenstellen of perfectioneren van buyer persona’s, sales funnels of de customer journey.

Waar zoeken jouw klanten naar informatie als ze een oplossing zoeken voor een ‘probleem’ in de awareness fase? Welke vragen hebben jouw potentiële klanten initieel en waarin uit zich hun behoefte naar jouw product?
“Het wordt mooi weer en ik wil in de tuin eten met vrienden.”
“Ik wil graag vlees bereiden op kolen.”

Op welke zaken letten jouw potentiële klanten in de consider fase als ze een afweging maken tussen verschillende oplossingen of aanbieders? Voldoet jouw assortiment en je algehele aanbod als (web)winkelier aan de breedte van de zoekvraag van de consument?
“Zal ik een barbecue of een kamado aanschaffen?”
“Heb ik een grote of een kleine Weber nodig?”

Richten jouw potentiële klanten zich op prijs, kwaliteit, service of het type aanbieder in de purchase fase? Welke afwegingen maken zij in de beslissing over hun aankoop?
“Ik wil de goedkoopste barbecue, want het is maar voor één vakantie op de camping.”
“Ik hou van het culinair bereiden van grote stukken vlees en wil een goed product en perfecte service van een gespecialiseerd bedrijf, prijs speelt in mindere mate een rol.”

Dit soort informatie is te halen uit kwalitatieve interviews met een dwarsdoorsnede van de doelgroep, maar is ook te destilleren van diverse fora, blogs en reviews van concurrenten. Je ontdekt waar ruimte voor verbetering is en welke zaken gevoelig liggen bij de bedrijven waarmee je de concurrentie aan gaat.

Voor het onderzoeken van de doelgroep, kun je een variatie op review analyse gebruiken.

3. Concurrentie onderzoek – ken je concurrentie en weet wat er speelt

Je kunt het met een heel mooi woord competitive intelligence noemen, maar het komt er op neer dat je geïnformeerd wilt zijn over het aanbod en de werkwijzen van de concurrentie.

Je wilt weten waar winst te halen valt en of je een deel van de markt kunt ‘pakken’ waarop een concurrent nog niet is ingesprongen. Om dat te bepalen, heb je enerzijds de behoefte van je potentiële klant nodig, maar anderzijds enorm goed inzicht in je concurrentie.

Als je de concurrentie in kaart brengt wil je in ieder geval weten welke merken en typen barbecues zij verkopen, waar zij die producten online verkopen en tegen welke prijs.

Daarnaast geeft het volgen van concurrenten een goed beeld van overeenkomsten, kansen en trends in de markt. Wat is het online sentiment van deze merken? Hoe doen ze het op social media? Waarover wordt geklaagd? Met deze informatie kun je ontdekken, vergelijken en optimaliseren.

Voor het onderzoeken van de concurrentie, kun je een variatie op retail scraping gebruiken.

Conclusie: als je een complexe vraag hebt, is web scraping een goed idee

Of je nu al jarenlang in business bent of net gaat starten? Het maakt niet uit. Voor elk type marktonderzoek is online eenvoudig en relatief goedkoop belangrijke informatie te vinden. Voor elke onderzoeksvraag kun je putten uit een onuitputtelijke bron van informatie op het web.

Ongeacht het doel van het onderzoek, met web scraping verzamel je data die antwoord geeft op veel van jouw vragen.

Voor welk type onderzoek je web scraping kunt gebruiken? Denk bijvoorbeeld aan media onderzoek, imago onderzoek, klanttevredenheidsonderzoek, haalbaarheidsonderzoek, website onderzoek, naamsbekendheid onderzoek, prijsonderzoek, productonderzoek, concurrentie onderzoek, marketinganalyse, SWOT analyse en benchmarking. Je verzamelt met web scraping een complete dataset op basis van de specifieke informatie die je nodig hebt voor het onderzoek.

De bots zijn zo te programmeren, dat zij precies de informatie vinden die jij nodig hebt. De crawlers worden aangepast naar jouw specifieke zoekvraag. Wil je eens brainstormen over jouw vraag en de bijdrage die web scraping hieraan kan leveren? Neem gerust vrijblijvend contact met ons op.

Ander idee: wil je de markt in kaart brengen voor promotionele doeleinden, zoals content marketing? Kijk eens naar de mogelijkheden van web scraping voor onderzoeksdata om data te vinden voor unieke content.

In dit artikel:
ideeën waarmee je eenvoudig jouw Google Shopping advertenties verder kunt optimaliseren

Google biedt voor webshops via Google Analytics en Google Ads een grote hoeveelheid data aan gebruikers van het Google Advertising platform. Het geeft een goed beeld van het functioneren van de webshop en de prestaties van de advertenties in Google Shopping. Toch vertelt deze gigantische bron aan informatie niet het hele verhaal.

Ondanks dat er door Google veel data beschikbaar wordt gesteld over de prestaties van advertenties, blijft er nog veel belangrijke informatie liggen. De nadruk in de aangeboden data ligt met name op het verbeteren van de prestaties door het verhogen van biedingen per product of productgroep. Dat is immers het verdienmodel van Google.

Echter is het lastig om de werkelijke prestaties van advertenties op álle vlakken te beoordelen met de informatie die je wordt aangeboden via Google Analytics en Google Ads. Google laat bijvoorbeeld het vergelijken van jouw advertenties met concurrenten buiten beschouwing. Ook wordt uit de data niet duidelijk waarom een concurrent de verkoop wint na de klik in Google Shopping.

De blinde vlek in jouw Google advertentie data

De data die via Google beschikbaar wordt gesteld, laat veel vragen onbeantwoord. Welke concurrenten scoren beter op belangrijke zoekwoorden (met koopintentie)? Waarin verschillen hun advertenties met die van jou? Wat gebeurt er na de klik dat invloed heeft op het succes van de advertentie?

Het antwoord op onder andere deze vragen maakt een substantieel verschil in de resultaten van je Google Shopping bestedingen. Aangezien adverteren in Google Shopping een flink budget kan vragen, is het prettig om te weten dat je jouw marketingeuro zo optimaal mogelijk besteedt.

Het combineren van de data uit Google Ads, Google Analytics en de webshop geeft een redelijk inzicht in het rendement van de advertentie bestedingen. Je vindt onder andere informatie over de kosten per artikel(groep) versus de opbrengsten en de verwachtte weergave- en klikresultaten op basis van de hoogte van je bod.

Google data geeft een eenzijdig beeld en laat veel ruimte voor verbetering over.

De informatie beperkt zich echter tot de eigen Google Shopping prestaties. Dit is direct waar de crux zit: de Google data geeft een heel eenzijdig beeld en laat veel ruimte voor verbetering over. En jij wilt natuurlijk weten waar verbeterpunten liggen.

Wat heb je nodig? Meer data.

Alternatieve data voor een compleet inzicht in de Google Shopping campagne

Als je het succes van de Google Shopping campagne wilt sturen, zijn de prestaties van de concurrentie een belangrijke informatiebron. Dit is belangrijke informatie die uit de data van Google niet goed zichtbaar wordt. Je wilt weten tegen wie je opbokst in het gevecht om de consument.

Om een volledig beeld te krijgen van de aanpassingen die je kunt maken om het succes van je Google Shopping campagne te beïnvloeden, heb je meer informatie nodig. En welke informatie, buiten Google Ads, kun je gebruiken om je advertenties te maximaliseren?

Hieronder drie P’s die je hiervoor kunt gebruiken:

1. Prijs – hanteer je een goede prijs voor het product?

Het is geen verrassing, maar prijs is vaak een beslissende factor voor consumenten om tot koop over te gaan.

Als een concurrent een betere deal heeft voor hetzelfde product, zullen – zéker in beconcurreerde markten – veel consumenten voor hun aanbod kiezen. Ongeacht hoe goed jouw Google Shopping campagne is ingesteld, resulteert dit vanzelfsprekend in een slechter presterende Google Shopping campagne.

Het verhogen van een bieding voor betere zichtbaarheid levert naar verwachting onder de streep weinig op als de prijs niet goed is. Je kunt meer kliks verwachten, maar per saldo minder resultaat. Kortom, weggegooid advertentiebudget.

Het is raadzaam om verkoopprijzen te vergelijken met andere online aanbieders. Online verkoop is vluchtig, in sommige branches wijzigen de prijzen dagelijks. Een goede prijs ten opzichte van de concurrentie levert omzet op.

Je kunt dagelijks of wekelijks handmatig de prijzen van de concurrentie in bijvoorbeeld Excel bijhouden voor een overzichtelijke vergelijking. Wanneer je inzicht hebt in de prijzen van de concurrent, kun je je eigen prijzen hierop aanpassen. Zo kun je, op basis van vraag en aanbod de markt, de beste prijsstrategie kiezen voor je product.

Wil je dit automatiseren? Dan biedt web scraping een oplossing. Je kunt met een bot de webshops van concurrenten frequent controleren en zo de meest actuele prijzen verzamelen. Ook is het mogelijk om het concurrerende aanbod op verkoopplatforms als Bol.com of Beslist.nl te volgen. Met de prijsinformatie kun je zelfs automatisch de prijzen van producten dynamisch aanpassen.

De actuele prijzen in jouw webshop worden bij een automatische feed vanzelf zichtbaar in Google Shopping. Met de beste prijs is de kans op een verkoop ná de klik op jouw advertentie een stuk groter.

2. Promotie – hoe presteert je Shopping campagne vs. de concurrentie?

Naast prijs is het belangrijk om te kijken naar zichtbaarheid. En de rendabiliteit hiervan.

Welke verbeteringen kun je aanbrengen in de promotie van je product om het resultaat van de investering in Google Shopping te optimaliseren?

Deze vraag is iets breder dan de vorige. Je zou promotie kunnen opdelen in nog een paar andere P’s: product, plaats, prestaties en purpose. Wij brengen de vragen die hierbij horen samen onder één noemer om het overzichtelijk te houden.

Om te ontdekken waar – naast de prijs – verbeterpunten liggen in jouw Google Shopping campagne, kun je de volgende stappen nemen:

a. Onderzoek welke producten er verschijnen per zoekwoord

Doorzoek Google Shopping, apart per regio en/of via een in cognito venster in je browser, op alle voor jou relevante zoekwoorden. Bekijk welke producten er verschijnen per zoekwoord of zoekwoord combinatie.

Je kunt dan zien hoe je dekking is in Google Shopping en op welke positie de producten worden getoond. Positie 2 tot 5 (mobiel vs. desktop) geven de meeste resultaten.

Je kunt dan ook vrij snel zien of de ‘juiste’ producten worden getoond als antwoord op de zoektocht van de consument. Mis je belangrijke producten in de Google Shopping resultaten? Optimaliseer dan de teksten op je productpagina op de zoekwoorden waar het artikel ‘mist’. Google Shopping gebruikt ook de content op je productpagina om te bepalen of het product geschikt is voor weergave bij een specifieke zoekterm.

b. Bekijk welke producten van de concurrentie zichtbaar zijn naast jouw producten

Bij het doorzoeken van Google Shopping uit de vorige stap, kun je ook direct nagaan welke concurrenten er ook zichtbaar zijn én welke van hun producten worden getoond. Wat kun je leren van hun advertentie om vervolgens toe te passen op je eigen Google Shopping campagne?

Kijk bijvoorbeeld naar de titel of aanvullende informatie die bij concurrenten worden getoond. Zo kan het vermelden van informatie over de verzending of een tevredenheidsscore de consument nét dat duwtje geven om op jouw advertentie te klikken.

Ook kun je met het monitoren van je score ten opzichte van de concurrentie actief aan de slag met hoger scoren op een relevant zoekwoord met koopintentie. Dit doe je door de informatie in je advertentie te optimaliseren, de productpagina te verbeteren en eventueel een hoger bod in te stellen voor het product.

c. Reken uit of het bod op het product rendabel is

Stel, je hebt de advertentie geoptimaliseerd en nog steeds verschijnt jouw advertentie op positie 6 of lager. Het bod dat je hebt uitgebracht in Google Shopping is eigenlijk al aan de hoge kant ten opzichte van de marge op het product.

Besluit dan of het bod dat je doet opweegt tegen het resultaat. Je kunt uit alle macht proberen het bieding spelletje te winnen van de concurrentie, maar als je er per saldo geld op toelegt, kun je het wellicht beter laten voor wat het is.

Zichtbaarheid kan ten koste gaan van rendabiliteit, dus het is belangrijk om je continu af te vragen of het rendabel is om mee te gaan met de concurrentie. Soms is het beter dat je een laag bod instelt en je richt op andere zoekwoorden en producten. Wanneer je het als webshop moet hebben van cross-sells dan kan het interessant zijn om geld te verliezen op een advertentie, omdat je het in het geheel weer terug verdiend.

Het monitoren van de prestaties van jouw advertenties ten opzichte van de concurrentie is een doorlopend proces.

Ook bij de bovenstaande stappen geldt dat dit continu gemonitord moet worden. Op basis van vele factoren wisselt het advertentie aanbod in Google Shopping. Daarnaast wil je continu weten of de inspanningen ook resultaat opleveren, dus is het van belang om dit nauwlettend in de gaten te houden.

Je kunt deze werkzaamheden handmatig uitvoeren, maar ook hier kan web scraping uitkomst bieden. Je kunt geautomatiseerd de advertenties in Google Shopping monitoren en via een publishing tool zoals Google Data Studio direct inzicht hebben in de conclusies van deze data.

3. Propositie – waarop wint de concurrentie de verkoop?

Tot slot is propositie een belangrijke factor. Bij prijs en promotie heb je gezorgd dat je advertentie optimaal toont en dat erop wordt geklikt. Hiermee is het je gelukt om een potentiële koper naar je webshop te krijgen. Nu is het tijd voor de laatste hobbel: conversie van bezoeker tot koper.

Je bevindt je in de laatste fase van het besluitvormingsproces van een consument. Waar gaat hij of zij de bestelling plaatsen?

De beslissing hangt sterk samen met prijs, zoals we eerder bespraken. Echter zijn ook een hoop andere factoren cruciaal in de keuze voor de online aanbieder. Zaken als betrouwbaarheid, reviews, levertijd, voorraad, retourbeleid en verzendkosten spelen hierin ook een rol.

Het is dus van belang om continu op de hoogte te zijn van het aanbod van je concurrenten in de breedste zin. Met deze informatie kunnen jullie aanbiedingen bijstellen of het advertentiebudget inzetten voor producten met een betere propositie.

Ook hier kan een web scraping bot je werk besparen. Sommige zaken zijn gemakkelijk handmatig bij te houden, zoals wijzigingen in USP’s. Actuele data over de voorraad en levertijd is onderhevig aan wijzigingen, dus kun je ervoor kiezen om die data náást prijsinformatie mee te laten scrapen.

Naast de propositie van de online aanbieder is ook de informatie per product van belang. Welke informatie op de productpagina van een concurrent haalt de consument over tot koop? Bekijk onder andere titels, teksten, attributen en beelden. Uitgebreide informatie die vragen beantwoord, geeft vertrouwen, dus het is interessant om hier tijd en energie in te stoppen.

Conclusie: zet data aan het werk voor jouw webshop

 De data die je tot je beschikking hebt uit Google Ads, Google Analytics en de webshop geeft een goed beeld, maar geeft een halve waarheid. Om het succes van de Google Shopping campagne te beïnvloeden is andere data nodig.

De data die nodig is om het aanbod en de Google Shopping prestaties van concurrenten naast die van jullie te leggen is vrij beschikbaar. Met aanvullende informatie over prijs, promotie en propositie krijg je een volledig beeld en kun je concrete verbeteringen doorvoeren in de advertentie bestedingen.

Het is mogelijk deze informatie handmatig te verzamelen, maar dit vergt veel tijd en inspanning. De rekenkracht van computers is hiervoor goed te gebruiken.

Wanneer je gebruik maakt van web scraping verzamelt de bot frequent de informatie voor je en dit kan vervolgens op elke gewenste manier gepresenteerd worden. Zo krijg je direct antwoorden en kun je de bevindingen toepassen. Het slim benutten van deze data maakt het verschil in Google Ads (voorheen: Google AdWords) campagnes.

Wanneer ook de data uit Google Analytics en Google Ads wordt geïntegreerd, kan lering getrokken worden uit voorgaande periode en kunnen prognoses voor de toekomst gemaakt worden.

Met deze data tot je beschikking kun je zeer interessante vraagstukken beantwoorden:

– Is er een duidelijke correlatie tussen conversie en de prijs van het product in vergelijking tot de concurrentie?
– Hoe groot is de invloed van andere factoren, zoals de levertijd en beschikbaarheid, op de conversie?
– Welke variabelen vergroten de kans op een bestelling bij jullie webshop?
– Zijn er piekmomenten in advertenties en bestellingen te definiëren en wat is dan het beste moment om zichtbaar te zijn in Google Shopping?
– Wat is het ultieme recept voor een succesvolle advertentie?

Zodra bepaald is welke variabelen duidelijke invloed hebben op de rendabiliteit van de Google Shopping campagne, kunnen automatische acties ingesteld worden in de Google Ads campagne of in de webshop. Denk hierbij aan zaken als het aanpassen van de productprijs binnen een gestelde marge of het automatisch aanpassen van Google Ads biedingen.