En søkemotor slik vi er blitt kjent med Google, er et dataprogram og portal som henter informasjon fra internett eller andre databaser. Før de moderne søkemotorene kom brukte man ofte manuelle kataloger, der nettsider var sortert i emner og underemner. Disse katalogene var nyttige da nettet var mindre, men ble raskt uoversiktlige og tungvinte etter hvert som antallet nettsider eksploderte. Med introduksjonen av WWW endret internett seg dramatisk: HTML gjorde det mulig å lage nettsider med tekst og bilder, HTTP sørget for at informasjon kunne hentes over nettet, og URL ga hver side en unik adresse slik at man enkelt kunne finne frem. Fra 1993 til 1997 vokste antallet nettsider fra noen tusen til flere millioner, og etter hvert ble nettet for stort til at man kunne finne alt ved å bla i kataloger.
Brukerne fikk behov for automatiske verktøy som kontinuerlig kunne oppdage, indeksere og vise relevante resultater basert på søkeord. Informasjon ble lagt ut hele tiden, og søk måtte være både raske og presise. Folk ønsket ikke bare alle sider med et bestemt ord – de ville ha de mest relevante. Brukere uten teknisk bakgrunn trengte dessuten en enkel måte å finne frem på. Google lyktes fordi de leverte det riktige verktøyet til rett tid, akkurat da internett vokste eksplosivt og WWW ble standarden for informasjonsdeling.
Archie, lansert i 1990, var den første søkemotoren. Den indekserte File Transfer Protocol (FTP)-arkiver og gjorde det mulig å finne programvare og dokumenter på nettet. I 1994 lagde to Stanford-studenter, Jerry Yang og David Filo, en manuell katalog over nettsider. Dette ble til Yahoo!, som raskt ble den mest brukte portalen på nettet. På den tiden ble internett nesten oppfattet som et bibliotek, der innhold ble klassifiserte i emner og underemner. Året etter kom de første automatiske søkemotorene, og en av de første og mest kjente var AltaVista, lansert i 1995. Den imponerte med lynraske søk, støtte for avanserte spørringer og en stor database. Mange trodde AltaVista var fremtidens vinner. Som den første søkemotoren med mulighet til å gjøre fulltekstsøk over en stor del av internett, ble den raskt ett av verdens mest besøkte nettsteder. I 1998 ble AltaVista som var en del av Digital-konsernet solgt til Compaq, som redesignet Altavista til en webportal for å konkurrere med Yahoo!. Men i løpet av de neste årene ble det klart at portal-strategien var mislykket, og søkemotoren tapte besøkende til fordel for konkurrenten Google. Google skilte seg ut allerede fra starten med en minimalistisk nettside som lastet inn på under et sekund – mens et AltaVista-søk ofte brukte flere sekunder på å vise siden, fylt med reklame og portalfunksjoner.
Google startet i januar 1996 som et forskningsprosjekt ledet av Larry Page og Sergey Brin, mens de begge var doktorgradsstudenter ved Stanford University i California, USA. Larry Page, født i 1973 i USA, hadde en bachelorgrad fra University of Michigan og spesialiserte seg innen datavitenskap ved Stanford. Hans fagfelt inkluderte særlig søkemotorer, maskinlæring og skalerbare datasystemer. Maskinlæring innebærer at datamaskiner kan forbedre sine resultater basert på erfaring og data, uten å bli eksplisitt programmert for hver oppgave. Sergey Brin, som også var født i 1973, kom opprinnelig fra Moskva, men flyttet til USA med familien i 1979 på grunn av antisemittisme. Han studerte matematikk og informatikk ved University of Maryland, og fortsatte så med doktorgrad ved Stanford hvor han møtte Page. Brin hadde også fordypet seg i statistikk, maskinlæring og informasjonssøk.
Sammen utviklet Page og Brin ideen om en ny måte å rangere nettsider på. Page fikk idéen til det som skulle bli PageRank-algoritmen – et system som rangerer nettsider ut fra hvor mange, og hvor viktige, lenker de får fra andre nettsider. Tanken var at en nettside med mange «siteringer» (lenker) fra anerkjente sider burde anses som viktig, på samme måte som akademiske artikler vurderes etter hvor ofte de siteres. På denne tiden benyttet de fleste konkurrentene enklere metoder, som bare å telle nøkkelord eller bruke manuelle kataloger.
For å levere treff på brukernes søk trengte søkemotoren først å gjennomføre en prosess kalt indeksering. Dette skjer ved at søkemotoren benytter roboter, kalt “crawlere”, til å besøke og analysere nettsider. Disse robotene samler inn data om innholdet på hver side – slik som tekst, bilder, lenker og metadata – og lagrer denne informasjonen i en stor database. Når vi utfører et søk, kan søkemotoren raskt hente frem relevante sider fra denne databasen. Indeksering gjør det mulig å navigere i det enorme omfanget av nettsider på internett på en effektiv måte. Relevans handler om hvor godt en nettside eller et dokument passer til det du søker etter. Søkemotoren vurderer relevans ut fra ulike faktorer, som hvor ofte søkeordet forekommer på siden, hvor viktig siden anses å være i nettverket av lenker, og hvor godt innholdet matcher brukerens intensjon. Dette sikrer at resultatene som presenteres, ikke bare inneholder alle sider med søkeordet, men prioriterer det mest relevante og nyttige først.
Etter at teknologien var på plass, ble domenenavnet www.google.com registrert i 1997. Dette markerte det første steget mot å tilby tjenesten til et bredere publikum. Videre førte denne innovasjonen til at Google i perioden fra 1999 til 2003 opplevde en rekordrask vekst, hentet inn betydelige investeringer og ansatte dyktige dataeksperter og ingeniører. Denne banebrytende teknologien gjorde det mulig for Google å vokse raskt og tiltrekke seg oppmerksomhet i en stadig mer konkurransepreget bransje. I 2004 ble Google børsnotert, og grunnleggerne Brin og Page ble både milliardærer og sentrale personer i teknologiverdenen.
Oppsummert kan man si at denne utviklingen viste hvordan kombinasjonen av teknologisk nyskaping, brukervennlig design og solid faglig kompetanse la grunnlaget for Googles raske fremvekst i markedet.
Bak kulissene investerte Google tungt i egne datasentre, optimalisert for å håndtere enorme mengder søk – på 2000-tallet kunne de prosessere over 200 millioner søk daglig. Til forskjell fra konkurrenter som ofte leide serverkapasitet, bygget Google skreddersydde systemer for lagring og rask datahenting, noe som gjorde tjenesten både mer robust og skalerbar.
Kommersielt revolusjonerte Google annonsemarkedet med lanseringen av AdWords i år 2000, nå kjent som Google Ads. Plattformen gjorde det mulig for bedrifter i alle størrelser, også små og mellomstore virksomheter, å få tilgang til målrettet og kostnadseffektiv annonsering som tidligere var forbeholdt store aktører med omfattende budsjetter. Annonsører kan kjøpe annonser som vises sammen med søkeresultater eller på nettsteder i Googles annonsenettverk, tilpasset etter språk, geografisk område, enhet eller tidspunkt på døgnet.
Google introduserte et banebrytende system som kombinerte budgivning med en vurdering av relevans og kvalitet. Dette betydde at annonsene ikke nødvendigvis gikk til høyeste bud, men til de aktørene som tilbød relevante og nyttige annonser for brukeren. For annonsørene førte dette til høyere avkastning på annonseinvesteringen, ettersom de fikk kontakt med publikum som faktisk var interessert i produktene eller tjenestene deres. For brukerne innebar det at reklamen de så, oftere var nyttig og opplevdes mindre forstyrrende enn tradisjonelle bannerannonser.
Dessuten fikk mindre bedrifter og gründere mulighet til å konkurrere med større selskaper om synlighet på nettet, fordi de kunne tilpasse sine kampanjer nøyaktig til relevante søk og budsjetter. Denne demokratiseringen av reklame bidro til et mer mangfoldig annonsemarked og åpnet for innovasjon innen digital markedsføring.
Resultatet var en enorm vekst for Google: Ifølge Googles årsrapport for 2003 genererte Google Ads allerede da over 1,5 milliarder dollar i inntekter og i dag utgjør annonser omtrent 80 % av selskapets inntekter. Samtidig opplevde brukerne at søkemotoren forble rask og relevant, med annonser som ikke forstyrret søkeopplevelsen – en avgjørende forskjell fra tidligere løsninger hvor reklame ofte tok overhånd og senket sidene ned.
Fra år 2000 og helt fram til i dag har Google vært markedsleder i søk på nettet. Baidu har vokst frem som den dominerende aktøren i Kina (Kina har blokkert Google), mens Yandex tok posisjonen i Russland (i Russland er Google saksøkt for en ufattelig sum med penger for å ha stengt ned Youtube kanaler som støttet Russlands krigføring i Ukraina). I dag er Google nærmest synonymt med søk, med over 90 % markedsandel i store deler av verden.
Fra rundt 2015 begynte søkemotorene å endre seg fra rene lenkesamlinger til intelligente systemer. Google introduserte AI-modeller som forstod kontekst og betydningen av ord. Dermed kunne søkemotoren besvare spørsmål i naturlig språk, ikke bare matche nøkkelord.
De siste årene har søk igjen vært i en revolusjon. Lanseringen av ChatGPT i 2022 og fremveksten av AI-baserte tjenester har vist at søk ikke lenger trenger å være en liste med lenker – men en samtale.
Søkemotorene har skapt en helt ny bransje. Søkemotoroptimalisering har blitt en industri, der bedrifter konkurrerer om å tilpasse innholdet sitt til Googles algoritmer. Man benytter metoder som fører til at nettsider oppnår bedre synlighet eller ranking på søkemotorens resultatsider.
Søkemotorene har hatt en avgjørende rolle i utviklingen av den digitale økonomien. Først og fremst gjorde de internett navigerbart: uten søk ville informasjonen vært fragmentert og vanskelig å finne, mens søkemotorene gjorde kunnskap tilgjengelig for alle og skapte grunnlaget for at nettet kunne brukes til handel, utdanning og kommunikasjon.
De ble også en økonomisk motor i seg selv. Med Googles introduksjon av AdWords ble annonser knyttet direkte til søkeord, og søkemotorene utviklet seg til verdens største reklameplattformer. Dermed fikk den digitale økonomien en stabil inntektsmodell som samtidig åpnet for at små bedrifter kunne markedsføre seg globalt. Dette la grunnlaget for en ny bransje innen søkemotoroptimalisering (SEO), der synlighet i søk ble en viktig konkurransefaktor.
Søkemotorene ble dessuten sentrale datamaskiner i overført betydning: de samler enorme mengder informasjon om hva mennesker leter etter, og denne innsikten har gjort data til en valuta i den digitale økonomien. Med kontrollen over søk utviklet aktører som Google seg til å bli hele økosystemer, der søketjenesten fungerer som inngangsport til alt fra kart til video og skylagring.
Nå er vi på vei inn i en ny fase. Med kunstig intelligens blir søk mindre en liste med lenker og mer en samtalebasert kunnskapsassistent. Dermed går søkemotorene fra å være et navigasjonsverktøy til å bli selve navet i en kunnskapsdrevet digital økonomi.
Søkemotorer har helt siden starten blitt utfordret på personvern. Når søkemotorer lagrer store mengder søkedata, kan dette for eksempel føre til risiko for datalekkasjer, eller at brukere blir profilert uten deres samtykke. Slike profiler kan brukes til målrettet reklame eller til å trekke slutninger om enkeltpersoners interesser, helse eller politiske holdninger – ofte uten at brukeren har full oversikt over hvordan informasjonen benyttes.
Søkemotorer har sterke insentiver til å samle inn mye data, fordi personalisering og reklame gir høyere inntekter. Dette kan gå ut over brukernes rett til privatliv og kontroll over egen informasjon. Samtidig må personvernvennlige søkemotorer konkurrere med dette uten å ha tilgang til like mye data, noe som kan resultere i mindre relevante eller langsommere søkeresultater.
På den positive siden bidrar personvernvennlige søkemotorer (DuckDuckGo) til økt beskyttelse av brukernes data og rettigheter. Ved å begrense innsamlingen av personopplysninger, gir de brukerne større kontroll over egen informasjon og kan styrke tilliten til tjenesten. Dette kan være avgjørende for dem som verdsetter anonymitet og ønsker å unngå uønsket sporing eller profilering.
Norge har vært med i øverste divisjon når det gjelder søkemotorteknologi. FAST Search & Transfer ble etablert i 1997 i Trondheim, i et forskningsmiljø knyttet til NTNU og SINTEF. John Lervik og Professor Arne Halaas var sentrale personer i oppstarten av selskapet som vokste raskt frem som en pioner innen søketeknologi. Allerede fra starten fokuserte FAST på å utvikle avanserte søkeplattformer tilpasset store, komplekse datasett – ofte brukt i bedriftsinterne nettverk, arkiver og intranett.
Den raske veksten skyldtes i stor grad selskapets evne til å utvikle innovative løsninger på utfordringer knyttet til store datamengder. Nedenfor følger noen av de viktigste teknologiene FAST utviklet.
For det første var evnen til å bygge opp effektive indekser helt avgjørende. Indeksbygging innebærer å lage en strukturert oversikt over alt innholdet, slik at søk kan gjennomføres raskt og effektivt – nærmest som et avansert register i et bibliotek, som gjør det mulig å finne en bok på sekunder, uansett hvor stort biblioteket er. Videre kunne plattformene deres skaleres over store klynger av servere. Dette førte til at de håndterte milliarder av dokumenter uten å gå på kompromiss med hastighet eller relevans. Når det gjelder hvordan informasjonen ble rangert, utviklet FAST avanserte rangeringsalgoritmer. En rangeringsalgoritme vurderer hvor viktig et ord er i et dokument sammenlignet med hvor ofte ordet forekommer i hele datasettet. I tillegg benyttet de statistiske modeller for å estimere sannsynligheten for at et dokument er relevant for et gitt søk.
Videre utviklet selskapet teknologi som vurderte hvor mange og hvor viktige lenker et dokument fikk fra andre dokumenter. Dette prinsippet er inspirert av Googles PageRank, hvor viktige nettsider får mange referanser – tenk på det som en slags popularitetsmåling, der nettsider med mange «anbefalinger» rangeres høyere.
Ved å kombinere ulike teknologiske tilnærminger kunne FAST tilby svært relevante og raske søk, noe som gjorde dem attraktive for alt fra mediehus til globale konserner.
Fra tidlig 2000-tall valgte FAST å satse på business-to-business (B2B)-markedet, i stedet for forbrukerrettede web-søketjenester slik som Google. Dette innebar at FAST spesialiserte seg på løsninger for søk i store bedriftsmiljøer, og ikke på åpne internettjenester for vanlige forbrukere.
Denne strategien ga høyere marginer, men mindre synlighet blant forbrukere. FAST bygget opp et internasjonalt team av eksperter innen informasjonsgjenfinning og kunstig intelligens, og fikk etter hvert globale kunder som CNN, Reuters, Dell og Fidelity. Selskapets raske vekst og ambisiøse prosjekter førte samtidig til store kostnader og økende press på lønnsomheten.
I januar 2008 ble FAST Search & Transfer kjøpt opp av Microsoft for 6,6 milliarder kroner, etter å ha etablert seg som et ledende selskap i sitt nisjemarked. Etter oppkjøpet forsvant FAST som selvstendig varemerke, og teknologien deres ble integrert i Microsofts egne produkter.
FAST var en teknologisk suksess i sin nisje, med spisskompetanse fra Norge og kunder over hele verden. Likevel hadde selskapet et helt annet fokus enn Google, som satset på det åpne, globale søkemarkedet og dermed fikk langt større rekkevidde og innflytelse. Valget om å satse på bedriftsmarkedet førte til en annen vekstkurve og et annet sluttresultat: FAST ble aldri den dominerende søkemotoren for vanlige brukere, men ble i stedet en verdifull aktør for spesialiserte miljøer og til slutt et viktig oppkjøp for Microsoft.
Kilder:
https://en.wikipedia.org/wiki/Archie_(search_engine)
https://no.wikipedia.org/wiki/AltaVista
https://no.wikipedia.org/wiki/Google
Alpabet Investor Relations – https://abc.xyz/investor/
https://no.wikipedia.org/wiki/S%C3%B8kemotoroptimalisering
https://no.wikipedia.org/wiki/Microsoft_Development_Center_Norway
https://www.nrk.no/kultur/studie_-googles-sokemotor-blir-darligere-1.16790067
