Pinterest ser fremtiden

Hvordan visuel AI vil ændre den måde, vi spiser, spiller og handler på.

Pinterest-CEO Ben Silbermann. Getty.

AF MARK WILSON

Det hele startede for 16 måneder siden med en avokado. (Det er trods alt Californien.)

Denne særlige avokado blev sat på et bestyrelsesbord i Pinterest's San Francisco hovedkvarter. Omgivet af et halvt dusin kolleger henvendte Albert Pereta sig til frugten og målrettede sin telefon omhyggeligt. Den kreative direktør fra Pinterest testede virksomhedens seneste opfindelse, en funktion kaldet Lens, som - hvis den fungerede korrekt - ikke kun ville identificere frugten, men også søge gennem milliarder af fotos, der var blevet uploadet til tjenesten i de sidste syv år for at find lignende billeder.

Pereta klikkede på billedet. Appen tog et par øjeblikke at synkronisere med skyen og trak derefter resultaterne op. Peretas skærm fyldt med en tilsyneladende uendelig rulle med modne avocadoer med hud på fotografier fra enhver tænkelig vinkel.

”Mange mennesker var ærefrygtige og sagde” Se, hvor god denne ting er! ”Fortæller Pereta. Pinterest havde formået at identificere et objekt gennem visuelle signaler alene, et utroligt vanskeligt teknisk problem. Men Pereta var ikke tilfreds: ”Og du ved, jeg kiggede på det - tusind avokado-pins - og jeg tænkte:" Hvem er ligeglad med? "

Den visuelle søgeteknologi havde fungeret perfekt, men dens resultater var meningsløse. Ingen tager et foto af en avokado i håb om at få et næsten identisk foto af en avokado, så meget mindre en uendelig strøm af dem. ”Vi begyndte at spørge rummet, 'Hvad ville du have, hvis du tog et billede af en avokado?'” Husker Pereta. Nogen chimede og sagde, at han ville have guacamole-opskrifter. ”Så du ville ikke engang se en avokado, du ville se en mættet guacamole,” siger Pereta. Eller måske kunne Pinterest give dig information om, hvordan du dyrker avokado, eller hacks, du kan gøre med avokado. ”Fuck ja, det ville være fantastisk,” husker Pereta og sagde.

I dag er avocado-historien steget til lignelsen inde i krydsfinervægge på Pinterest HQ - en påmindelse om, at personalisering er mere værdifuld end perfektion. Dette gælder især, da virksomheden dykker ned i det nye felt af visuel søgning med værktøjer som Lens, der blev lanceret i beta i februar sidste år. Den version kaldte ikke bare tusinder af avocados billeder. Ved at inkorporere Peretas indsigt kunne appen tilbyde ideer til ting at gøre med dem, som, ja, at lave guacamole. Det var et tidligt kig på, hvordan Pinterest i en reel forstand sætter sine forhåbninger på visuel AI til at gennemgå alt fra, hvordan folk handler til, hvordan de spiser.

I de sidste to årtier har vi kigget efter ting online ved at skrive i en søgefelt. Takket være fremskridt inden for maskinlæringsteknologi er computervision på randen af ​​at lade os søge ved blot at tage fotos. Google, Facebook, Microsoft og Amazon hælder ressourcer ind i teknologien. Det er ikke underligt: ​​Google indtager anslåede 28,6 milliarder dollars i 2017 gennem reklame på traditionel tekstsøgning. Potentialet for stemmesøgning ved hjælp af tjenester som Alexa, Siri og Google Assistant realiseres kun. Og visuel søgning? Det kan være monumentalt, da mange teknologer forestiller sig, at fremtidens smartphone ikke lever i vores lommer, men på vores øjne.

”Jeg tror virkelig, at kameraet vil være det næste tastatur,” siger Pinterest-direktør Ben Silbermann. "Det vil være et grundlæggende værktøj, du bruger til at spørge verden omkring dig, opdage ting omkring dig eller visualisere, hvordan noget kan passe ind i dit liv."

I dette konkurrencedygtige landskab kan Silbermanns 1.200-personers opstart - bedst kendt for at lade folk pin ideer til rustik bryllupsindretning og DIY-børns partifavour til digitale tavler - virke en usandsynlig udfordrer. Men Pinterest har gemt sig meget under den bunke avokado. På et tidspunkt, hvor partikansk råb har overtaget mange apps og websteder, vender Pinterest's 200 millioner månedlige brugere hen til tjenesten for at bogstaveligt tænke et bedre liv, det være sig i form af en hyggelig stue, en eventyrlig tur eller en sund snack. De leder ikke efter madporno, a la Instagram, men hverdagsmåltider kan de faktisk lave mad: Otteoghalvfjerds procent af Pinterest-brugere rapporterer om at prøve nye ting, de finder på tjenesten, ifølge en Nielsen-undersøgelse. Og annoncører omfavner webstedet. Pinterest's årlige indtjening forventes at gå til $ 500 millioner fra 2015 til 2017, mens brugerne vokser over hele verden med en sund 40%. (Pinterest nægtede at kommentere omsætningsvækst og prognoser.)

Pinterest-medstifter Evan Sharp. Getty

Pinterest's popularitet hviler på dens evne til at skabe en unik “smagsgrafik” for hver bruger, hvor man uforpligtende forbinder prikkerne mellem hendes pins for at udlede, hvad hun ellers kan være interesseret i. Nu arbejder det på at integrere computervision i sin dybe forståelse af en brugers præferencer. ”Alt kæmper for, hvor nyttigt Pinterest er til at opdage ideer til dit faktiske liv,” siger Silbermann. ”Hvis folk faktisk bruger Pinterest til at bestemme alle de ting, de lægger i deres hus, eller mad, de skal lave mad, eller deres næste ferie, er der en enorm værdi der.” Det betyder, at Pinterest ikke kun er nødt til at mestre at finde den ene ting, du leder efter, som Google gør; det skal også forudsige de ting, du aldrig vidste, at du ville have. Hvis virksomheden lykkes, kan det bruge vores kameraer til at låse op for en verden af ​​uendelig, personlig opdagelse.

"Den varige effekt af visuel søgning vil ikke være noget specifikt produkt eller funktion," siger Pinterest-grundlægger Evan Sharp, "snarere hvad det giver folk mulighed for at gøre: forvandle alt, hvad de ser, til noget, de kan bruge til at opdage mere på Internettet."

Jeg står i en tak, havenlejlighed i San Franciscos kvarter SOMA. Studioets vinduer er blot spalter i væggene, der er bordet op til privatliv om natten, men alligevel er hoveddøren glas, hvilket gør beskedenhed mere eller mindre umulig. Den prisniveau, der koster $ 250 pr. Nat, som Airbnb opkræver for denne lejlighed, synes absurd, men lejen er upåklageligt iscenesat med al midcentury-glæden ved et stereotype Pinterest-bord.

Jeg trækker Pinterest-appen ud. Selv i kælderbelysningen fungerer linse usynligt godt, hvilket matcher genstande, jeg fotograferer, med skarp specificitet. Objektiv ser ikke kun en stol, men en klubstol. Ikke kun en pude, men en kilim pude. Ikke kun "kunst", men et Rothko-maleri. Jeg lærer faktisk noget. Mange resultater har brugbare links, som jeg kan fastgøre eller endda købe.

Senere prøvede jeg at placere lignende fotos via Google Lens, en Pinterest-linse-konkurrent, der lancerede tidligere i år, i beta, på Pixel-telefonerne. Googles version forstår ikke, at den ser en stol eller endda møbler, og giver mig en undskyldning. Det fejler puden til en dyne. Det eneste, det stemmer overens med, er, at Rothko udskrives, skønt det er værd at bemærke, at identificering af 2D-kunst i vid udstrækning anses for at være blandt de enkleste udfordringer for visuelle søgeværktøjer.

Google-objektiv er bare ikke særlig god. I det mindste endnu ikke. Men du kan se, hvordan visuel AI binder sig til virksomhedens større forretningsimperativ såvel som andre teknologigiganter. Google handler med indeksering, så det giver mening, at virksomheden ønsker at hjælpe brugere med at visuelt identificere verden omkring dem. Facebook har sin sociale graf, der er fokuseret på at forbinde brugere til venner og en interesseret i at bruge AI til at identificere ansigter. Amazon har e-handel. For det kan visuel søgning være en bro mellem den digitale og den fysiske verden - for eksempel at lade dig fotografere et par sko for at se efter lignende, måske billigere, på Amazon. Hvert firma nærmer sig muligvis visuel AI forskelligt, men implikationerne er de samme: Der er penge på spil i dette spirende felt, selvom det er for tidligt at formulere, hvor meget. ”Tænk på muligheden for at tage et billede for at søge efter noget, du ikke engang kan beskrive - det er temmelig magtfulde ting,” siger Foresters søgeanalytiker Collin Colburn. ”Det er måske den mest umodne [søgning], men det har sandsynligvis mest potentiale.”

Google har hundreder af ansatte, der kun arbejder på visuel AI. Facebook har 20.000 ansatte og 300 AI-forskere, plus det driver 1,2 millioner visuelle AI-eksperimenter på det sociale netværk på ethvert givet tidspunkt. Amazon har over 500.000 medarbejdere, hvor 5.000 arbejder med Alexa - dets nye Echo Show-funktioner er ikke kun en mikrofon, men et kamera der også kan interagere med Alexa - et kamera giver Amazon udsigten til et helt rum inde i dit hjem. Pinterest? Det har kun 12 ansatte dedikeret til visuel søgning.

Men Pinterest er mægtigere end det ser ud til. Til at begynde med har det et massivt datasæt, som dets visuelle AI skal trænes til. Jo flere billeder du har, jo smartere får algoritmen, og jo bedre vil det være ved at servere anbefalinger, som brugerne faktisk ønsker. Det største offentlige datasæt, der er brugt af mange forskere, Image Net, består af 14 millioner sammenpressede fotos af hverdagsobjekter. Pinterest har milliarder - uploadet af ivrige pinnere, skummet fra blogs og sendt af virksomheder selv - hvoraf de fleste er immaculeret iscenesat og tændt, fordi de er officiel produktfotografering. Computere ser perfekte billeder med mere lethed. Lige så markant: Disse fotos er blevet håndmærket og mærket af Pinterests egne loyale brugere i årevis.

”Du vil have prøver på alt, hvad der kan ske, og alt, hvad der kan ses. Jo større datasættet er, jo større er sandsynligheden for, at du ikke vil blive overrasket, ”siger Manuela Veloso, leder af maskinuddannelse ved Carnegie Mellon University. "Det, der er interessant ved [Pinterest's] milliarder, er, at de vil dække ekstremer."

Det hjælper også, at Pinterest, efter design, giver noget fuzzy resultater for enhver søgning. Forespørgsler om denimjakker vil fremkalde resultater med denimjakker. Men hvis et billede i foderet har sort denim snarere end blåt, eller måske en blå denimpung, ligner det ikke en fejl. Det er lektionen, som Pinterest har lært af avocadoer. Præcise kampe er specialiteten i Google-søgning, der er optimeret til at svare på specifikke spørgsmål - som "Hvordan grill du fisk?" - med det perfekte link. Pinterest-brugere har en tendens til at stille vaguer-forespørgsler: De søger muligvis efter “ideer til fiskemad” flere gange om ugen. For dem er et ikke-nøjagtigt match ikke en fejl. Det er inspiration.

Med andre ord kan Pinterest's AI mislykkes i en visuel søgning, men alligevel held til et rigtigt svar. Forestil dig, at Siri gør det samme. ”I nogle andre virksomheder talte vi meget om nøjagtig tilbagekaldelse. Men i slutningen af ​​dagen er det hvor nyttigt brugeren føler [en funktion er], ”siger Li Fan, teknikchef for Pinterest. ”De kræver muligvis ikke 100% præcision. Det er okay. Så længe vi lever op til forventningerne, føler de, at det er en konsekvent oplevelse, de føler, at de er nyttige. ”

Pinterest har også skabt brugernes tillid på et tidspunkt, hvor konkurrerende platforme er under ild for at invadere privatliv. Folk ser på Pinterest som noget andet end enten en søgemaskine eller et socialt netværk. ”Det forhold, vi forsøger at have til vores brugere, er, når du deler ting om dig selv, deler du dem, fordi du vil have bedre anbefalinger, og vi giver dem dem,” siger Silbermann. ”Den forventning er ret klar. Du bruger Pinterest til at finde stil, så hvis vi spørger dig 'Hvad er dine yndlingsfarver?' Der er ikke noget [invasivt] ved det. ”Disse slags interaktioner giver Pinterest mulighed for at levere resultater, der er både overraskende og nøjagtige. Og det gør det på et designsprog, der føles mere kurateret end beregnet, mere menneskeligt end robotisk.

Pinterest blev grundlagt i 2010 med en stor indsats på design: en platform, der giver dig mulighed for at samle og sortere de emner, du er interesseret i, ikke så grimme blå tekstlink, men som smukke fotos, der sidder på virtuelle indekskort. Cofounder Sharp var den kreative visionær - en designer, der uddannede ved Columbia's Graduate Architecture School - og det perfekte supplement til CEO Silbermann, en ledelseskonsulent, der er gået iværksætter. Platformen var et hit: I 2012 erklærede comScore analytics det som den hurtigst voksende webtjeneste i historien.

Men Pinterest's én gang nye tilgang til fotokort er siden blevet vedtaget af titaner som Google, der bruger dem i alt fra søgeresultater til Android's OS. Og dens meteoriske vækst er aftaget. I dag er pinnetjenesten overskygget af Instagram med sine 800 millioner aktive brugere hver måned og Snapchat med sine radikale augmented-reality-teknologier.

I stedet for at forfølge aggressiv vækst er Pinterest dog fordoblet på sit kernetilbud: at forudsige, hvad brugerne vil se. ”Vi endte med at investere meget på [maskinlæring],” siger Sharp, der nu fungerer som chefproduktchef, mens han løber rundt på et konferencebord i en hvid T-shirt med Pinterest-mærke. Sharp har ikke sit eget kontor, teknisk set. Ingen på Pinterest gør det. I stedet overtages han et lille rum med en konungs Arthurian-stil rundbord i midten. På bagvæggen er et stort, analogt tavlepynt pyntet med et kryds syet Pinterest-logo, lavet af hans mor. ”Det meste af det [brugere] ser er algoritmisk bestemt,” siger han. "Det er en anbefaling, et søgeresultat eller en relateret pin."

Denne sidstnævnte funktion, en relativt simpel liste over foreslåede stifter, genereret fra det, du sidst har set, lanceret i 2013. Den tegnede sig snart for 10% af alle indtryk på Pinterest, men plateaued indtil virksomheden havde få AI-ingeniører i opgave at gøre det bedre i 2014. De uddannede algoritmer til at foreslå relaterede emner og anbefaler lignende elementer, der kun er baseret på visuelle signaler, idet de prioriterede stifter, der får flest klik. Tryk på en frakkekrok lavet af faldne trægrene, og Relaterede stifter inkluderer et Venn-diagram med fornuftige forslag, der blander boligindretning og træfasthed, herunder et trækstativcoatstativ, en træplante rumdelere og en genvundet bagagerum til trætræ. I dag repræsenterer Relaterede pins 40% af alt engagement på Pinterest.

Virksomheden fulgte op på denne tidlige investering i visuel AI ved at rekruttere computer-vision guru Fan fra Google i 2016. En barndomsmaler med en passion for visuel kunst blev Fan skubbet ind i teknik af hendes forældre i en alder af 12 år. Hun fortsatte med at arbejde på Google i otte år, før han førte de 1.000 ingeniører, der arbejdede med søgning på Baidu. Så vendte hun tilbage til Google igen og valgte en mere fokuseret rolle som leder af Googles billedsøgning. Endelig kom Pinterest og bankede. ”Li's værdier - som leder og person - var meget på linje med Pinterest-værdier,” siger Silbermann. ”En ting, der virkelig genklang med mig, var at hun så teknologi som en måde at berige menneskers liv på, ikke teknologi af hensyn til teknologien.”

Under Fan er Pinterest's visuelle søgninger - udført på Lens, Pins og virksomhedens browserudvidelse - steget næsten 70% årligt over år med mere end 300 millioner søgninger om måneden. Pinterest's købmandspartnere har i mellemtiden set gennemgangsvolumen på deres "Shop the Look" -nåle - en funktion, der giver brugerne mulighed for at klikke på og derefter købe varer i billeder - dobbelt.

Alt dette konvergerer til en rig forretningsmulighed. ”Oprindeligt [Pinterest] blev kurateret efter kategori, af mennesker,” siger Rick Heitzmann, venturekapitalist fra FirstMark Capital, der skar Pinterest's cofounders deres første check i 2009 og har været involveret i hver investeringsrunde siden. ”Men efterhånden som teknologien har udviklet sig, handler det om AI, billedgenkendelse og at finde de ting, du elsker og holder af.” Da Pinterest's mission kodificerer mod visuel søgning, er Heitzmann begejstret over mulighederne. ”Du kan se, at det potentielle marked er stort.”

Pinterest giver allerede annoncører, der ønsker at markedsføre deres pins, en overbevisende platform. Brugere er typisk der på en mission: Ifølge interne undersøgelser bruger 93% af dem Pinterest til at planlægge køb, og 87% har købt noget, de opdagede gennem det, ifølge en undersøgelse af Milward Brown. Men afgørende er, at pinnere endnu ikke har fundet op til det nøjagtige produkt, de ønsker. Ifølge Pinterest har 97% af søgeforespørgsler ikke et mærke, der er specificeret i dem. I mellemtiden gør visuelle søgeværktøjer denne brand-opdagelsesproces endnu mere lokkende, især når resultaterne er bundet til en brugers personlige "smagsgraf."

Target blev for nylig den eksklusive amerikanske detailpartner for Pinterest's Lens-teknologi. Snart inden i forhandlerens hovedapp vil du være i stand til at bruge en integreret version af objektiv til, for eksempel, fotografere en lampe og se et foder af visuelt lignende solgt af Target. ”Vores gæster higer efter lethed og bekvemmelighed i enhver shoppingoplevelse. Visuel søgning er en enorm oplåsning for det, fordi det eliminerer meget af friktionen i produktsøgning, ”siger Rick Gomez, CMO for Target. “Ved blot at tage et billede af et emne af interesse returnerer Pinterest Lens produkter, der er specielt tilpasset det, som vores gæst leder efter.” (Walmart, American Eagle, og Tommy Hilfiger har også visuelle søgefunktioner på deres apps, oprettet ved opstarten Slyce.) Pinterest har også samarbejdet med Samsung for at skabe visuel søgning i selskabets Galaxy-smartphones og med Shopstyle for at linke Lens-resultater til købbare stifter på mere end 5 millioner modetilbehør. Mærker begynder at forstå, at visuel søgning er en vigtig del af deres fremtid.

Problemet er selvfølgelig, at mærker har begrænsede marketingbudgetter. Og Pinterest er ikke den eneste, der ønsker at sælge dem på visuel AI.

I november debuterede Pinterest med sin seneste iteration af Lens: Lens Your Look, som hjælper brugerne med at finde nye måder at bære tøj, de allerede ejer. Fotografer noget i dit skab, ligesom et par tykke sorte hæle, og brug derefter tekstforespørgsler til at søge efter tøjgenstande, der muligvis følger med det (som "sorte kjoler"). Lens Your Look vil tjene billeder af mennesker, der bærer sorte kjoler og tykke hæle - måske endda nøjagtigt det samme mærke og stil som dit eget.

Når brugerne trykker på bestemte billeder, lærer Pinterest, hvilke resultater der i det væsentlige var rigtige eller de mest rigtige i den større bunke og kan prioritere dem næste gang. Det er den perfekte destillation af virksomhedens tilgang til visuel søgning: minedrift af sin store database, udnyttelse af brugernes smag og omfavne ufuldkommenhed.

Det betyder ikke, at brugerflowet af Lens Your Look nødvendigvis vil holde sig rundt. Sharp er den første til at indrømme, at den nøjagtige beholder til visuel søgning måske ikke engang er blevet opfundet endnu: Vil vi virkelig bruge vores kameratelefoner til at pege-og-søge, eller har vi brug for noget augmented-reality headset for, at konceptet kan starte ? "Vi er super tidligt," siger Sharp, "Det er som om vi er på, hvor tekstsøgning var i midten af ​​90'erne. Der er denne teknologi, det er interessant, men ingen er virkelig helt gravet dybt nok til at vide, hvad produktet er, eller hvilke problemer det vil løse. ”

Spørgsmålet er fortsat, hvis Pinterest, for alle virksomheder, kan være den, der knækker koden. Vil vi nogensinde "fastgøre det" snarere end "Google det"? Udsigterne lyder skræmmende, især da Pinterest går imod nogle af de mest værdifulde, magtfulde virksomheder i verden.

Når han taler om dette i sit provisoriske ”kontor”, ser Sharp ud til at sluge trangen til at give udløb. Han vil dele sin playbook så meget som han ikke gør. Til sidst kan han ikke holde sig, så han går hen til tavlen og tegner et 2 × 2 gitter. På x-aksen skriver han "Deling og søgning." På y-aksen skriver han "Tekst og vision."

Tekstdeling? Denne kvadrant hører til Facebook og Twitter. Vision deling? Facebook, Instagram og Snapchat. Søger du tekst? Det er Google og Bing. Men søger gennem vision? Sharps markør hænger i luften et øjeblik. Så skriver han et firma i det tomme felt. “Pinterest.” At tegne en x-y-akse og dramatisk sætte din virksomhed alene i en kvadrant er et klassisk grundlæggerbevægelse. Men Sharp har ret om en ting: Vision er et sjældent, ukoloniseret rum.

”Du kommer tilbage og råber på mig om 5 til 10 år. Dette er den mest værdifulde kvadrant her oppe ved en fanden mil, ”fortsætter han og kaster markøren tilbage på bakken for at præcisere hans pointer. ”Det er forudsætningen for Pinterest.”