Assessor er en person, der efter instruktioner fra udviklerne af søgemaskinen vurderer, hvor meget det fundne dokument matcher forespørgslen. Oftest er bedømmere ikke fortrolige med informationssøgning fagligt. Deres kvalifikation nærmer sig viden hos gennemsnitlige internetbrugere. En af de første arbejdsbedømmere begyndte at bruge Google i 2003. Yandex-bedømmere dukkede op i 2006.
Assessors workflow
I første omgang finder en automatisk søgning sted, og søgemaskinen danner en sekvens af websteder i henhold til deres relevans, beregnet af robotten. Derefter vurderer bedømmeren, som på det tidspunkt kan være placeret hvor som helst i verden ved hjælp af et særligt program og almindelig logik, resultatet. Bedømmelsesskalaen udvikles af hver søgemaskine uafhængigt. Det indeholder norm alt seks eller flere genstande. Bedømmernes arbejde adskiller sig med en fejl på ca. 5%.
Bedømmeren sender resultatet af sin aktivitet til søgemaskinens hovedkvarter, hvor den endelige bedømmelse af dokumentet beregnes baseret på den fælles analyse af søgerobottens data og bedømmerens information.. Resultatet, somhjælper med at opnå bedømmeren er en væsentlig stigning i objektiviteten af vurderingen af dokumenter, udelukkelse fra vurderingen af ressourcer fejlagtigt inkluderet i vurderingslisten på grundlag af formelle træk.
Alle søgemaskiner har deres egen stab af bedømmere, som konstant roterer. Den bedst egnede bedømmer er en bruger med et gennemsnitligt niveau af internetfærdigheder. Formålet med det arbejde, han udfører, er at forbedre søgemaskinernes funktion, så de besvarer brugerspørgsmål så præcist som muligt.
Bedømmere, der evaluerer søgeresultater, udfører opgaver. Deres indhold er et nøgleord, et link og instruktioner til at evaluere korrespondancen af et link til et givet ord. Det givne ord ifølge instruktionen, som bedømmeren skal overholde, er en handling af formen "gå", "gør" eller "lær".
Bedømmeren skal afgøre, om nøgleordet svarer til en specifik handling foretaget af brugeren (foretage et køb, se en film, lytte til musik) eller nogle data, der interesserer ham.
Typer af bedømmerskarakterer i Yandex
Yandex-bedømmere giver konsekvent to typer karakterer:
1. Foreløbigt skøn. Om dette dokument henviser til pornografi og ikke indeholder skadelig kode. Hvis svaret er "ja", stopper evalueringen af dokumentet.
2. Relevansvurdering (compliance). Denne vurdering er ikke-kvantitativ. Bedømmeren giver sin vurdering ved at tildele dokumentet til enhver kategori:
- "Vital"– hvis det er et officielt websted eller et officielt svar på et spørgsmål.
- "Nyttigt" - et dokument, der indeholder data, der nøjagtigt matcher søgeforespørgslen.
- "Relevant+" - et dokument, der matcher søgeforespørgslen.
- "Relevant-" - et dokument, der ikke nøjagtigt matcher søgeforespørgslen.
- "Irrelevant" - et dokument, der ikke matcher søgeforespørgslen.
- "Spam" - et dokument med tegn på sort optimering (forsøg på at bedrage søgemaskinen).
- “Not about that” er en kategori, der er designet til at adskille koncepter, der ligner hinanden for en robot, men fundament alt forskellige for en person. Så for søgeforespørgslen "Leo Tolstoy" bør søgemaskinen ikke returnere dokumenter om fede mennesker og dyr som resultater.
Betydning af bedømmerkarakterer
Bedømmernes arbejde hjælper med at vurdere graden af søgenøjagtighed og træne søgerobotten. Bedømmere er ikke i stand til at påvirke de positioner, der er besat af et bestemt websted.
Bedømmere af websteder i deres arbejde vejledes af klare instruktioner. Det er blevet et ret stort og komplekst dokument og opdateres konstant med nye krav.
