Begin met het probleem
Formuleer bijvoorbeeld lage CTR op een belangrijk querysegment, slechte voorraadposities of een terugkerende relevance-fout.
Querysegmenten →Een rankingwijziging kan sterke zoekroutes helpen én beschadigen. Werk daarom met een expliciet probleem, een hypothese, een afgebakende wijziging en vooraf gekozen evaluatiecriteria.
Formuleer bijvoorbeeld lage CTR op een belangrijk querysegment, slechte voorraadposities of een terugkerende relevance-fout.
Querysegmenten →Beschrijf welke wijziging je doet, waarom die zou moeten helpen en welke uitkomst dat moet opleveren.
Experimenttemplate →Controleer bekende sterke, zwakke en kritieke queries vóór en na de wijziging.
Query testset →Een verbetering op één segment is onvoldoende wanneer belangrijke exacte of commerciële queries achteruitgaan.
Regressietests →Gebruik relevance judgments naast gedrag zoals CTR en conversie. Eén metriek mag de rest niet onzichtbaar maken.
KPI-framework →Documenteer ook experimenten die niet werken zodat dezelfde wijziging later niet zonder context terugkomt.
Change log →Gebruik een release gate wanneer de testset en belangrijkste KPI's aantonen dat de wijziging binnen afgesproken grenzen blijft. Bij twijfel is terugdraaien beter dan een onverklaarde regressie accepteren.