• Virksomhedsvækststrategier har tre variabler, der kan dekonstrueres og måles:toplinjebrugervækst, fastholdelse og engagement
• En simpel regressionsmodel, oftest via den almindelige mindste kvadraters metode, kan derefter fastslå den benchmark "normale" vækst, som virksomheden oplever. Dette kan teste en række interne og eksterne kræfter for deres indflydelse på vækstpræstationer.
• Behandl ikke hver anvendt vækststrategi som en isoleret hændelse – en række hændelser kan have varierende ydeevne på hvert tidspunkt, men deres samlede virkning kan kombineres for at give betydelige resultater

Dels som en opfølgning på min tidligere artikel om, hvordan man identificerer drivkræfterne for vækst i virksomheder, vil jeg nu gå længere ned i kaninhullet og se på, hvordan man så kan måle effekten af ​​vækstinitiativer. Jeg vil give nogle værktøjer til at vurdere virkningen af ​​handlinger såsom produktopdateringer, PR og marketingkampagner på kundevækst, fastholdelsesmålinger og engagement. Dette repræsenterer refleksioner fra mit tidligere arbejde som statistiker, der hjælper virksomheder med at vurdere indvirkningen på deres værdiansættelse af interne og eksterne begivenheder via reaktionerne fra deres handlede værdipapirer.

Jeg tror, ​​at statistiske effektværktøjer, mere almindelige i hedgefonden og Wall Street-verdenen, kan være til langt mere brug for teknologivirksomheder til at styre vækst, end hvordan de i øjeblikket anvendes. På grund af teknologi, der gør en række højfrekvente informationer tilgængelige for os om bruger- eller klientadfærd, kan en dygtig statistisk eller dataanalytiker være et reelt aktiv i kommercielle teams.

Der er mange måder at måle virkningen af ​​vækst på

Som et eksempel på måling af statistisk indvirkning på værdiansættelse, lad os antage, at en børsnoteret virksomhed annoncerer et nyt produkt og ønsker at vide, i hvilket omfang det har påvirket værdiansættelsen. At estimere den reelle effekt kræver, at der tages højde for:

1. Hvordan markedet selv klarede sig den dag i sammenhæng med værdipapirets korrelation med det.
2. Effekten af ​​enhver anden virksomhedsrelevant information, der frigives på samme tid.
3. Den simple kendsgerning, at værdipapirpriser og brugeradfærd bevæger sig på daglig basis fra generel afvigelse, selv i mangel af ny information.
4. Længere sigt påvirkning i form af en statistisk signifikant tendens i prisstigninger.

For en privat virksomhed kan den samme analyse foretages på ændringen i aktive brugere eller kunder, både på kort og lang sigt, som tjener som følge af aktiekursaktivitet. Dette gælder også for fastholdelse og dybde af engagement-metrics.

Etablering af denne afrundede form for analyse giver virksomheder mulighed for at styre deres begrænsede ressourcer baseret på langt stærkere informationssignaler i stedet for at blive ført på afveje af, hvad der kan se ud til at være en markeds- eller brugerreaktion, der i virkeligheden ikke repræsenterer andet end tilfældige udsving. Det indledende arbejde med at opsætte den statistiske model, der adskiller signalet fra støjen, kan give et enormt udbytte via den indsigt, den giver til en virksomheds vækstbestræbelser. Det er også en iterativ proces, der nemt (og ofte automatisk) kan opdateres og forfines, efterhånden som nye data modtages.

Valg af den målværdi, der skal testes

Enhver måleindsats fra en virksomheds side bør målrettes mod mindst én af følgende vækstdimensioner:

1. Toplinjevækst , defineret som ændringen i det samlede salg eller aktive brugere/klienter over tid.
2. Retention af brugere og klienter, defineret som den gennemsnitlige levetid for en given bruger eller klient.
3. Dybden af ​​engagement af brugere og klienter, defineret som enten hyppigheden af ​​den udførte kernehandling eller mængden af ​​transaktioner via platformen.

Alle tre dimensioner er kvantificerbare, og virksomheden kan konceptualisere sin værdi som arealet af trekanten dannet af disse tre punkter. Hvis den ene kollapser, så er værdipotentialet fra de to andre stærkt begrænset. Selvom jeg bestemt er enig med mange stiftere og investorer i, at "nogle få brugere, der elsker dig, er bedre end mange, der kan lide dig", tror jeg ikke, at dette modsiger vigtigheden af ​​toplinjevækst ud over stærkt engagement og fastholdelse. Banen betyder meget mere end niveauet, og begyndende med en mindre gruppe af virkelig dedikerede brugere sætter de første forudsætninger for langsigtet vækst bedst i første omgang.

Nøgleopgaven for virksomheden er derefter at etablere den analytiske ramme, der gør det muligt at måle den sande effekt af deres handlinger på en eller flere af disse tre nøglemålinger. Virksomheden kan enten teste forskellige modeller for hver eller bruge værktøjer såsom simultane ligninger til at forbinde dem mere direkte. Markedsførings- og PR-indsatsen har, efter min erfaring, en tendens til at lide særligt under mangel på grundige analyser af, om virksomheden får et afkast af sin investering. Visse målinger, såsom samlede visninger, klik og delinger, registreres næsten altid, men disse er alle midler til et mål, og det næste spørgsmål om virkningerne på kundekonvertering og -engagement bliver sjældent analyseret seriøst.

Valg af benchmark og eksempel på en engangsbegivenhed

Vi begynder med den forenklede version af en engangsbegivenhed. Lad os antage, at en virksomhed udgiver en ny produktopdatering eller udgiver en stor PR-historie på dag 0 og ønsker at vide, om det repræsenterer et skridt i den rigtige retning med hensyn til effekt på vækst. At afgøre, om der er modtaget et reelt signal om, at virksomheden skal fortsætte med lignende indsats, kræver, at man ved, hvor meget den steg, i forhold til hvor meget den ville have, uden den pågældende begivenhed.

Benchmark-væksten kan estimeres via en regressionsmodel, der forudsiger virksomhedens vækst, fastholdelse eller engagement baseret på eksterne og interne variabler. I visse tilfælde giver muligheden for at isolere de brugere, der er berørt af en produktopdatering, mulighed for direkte A/B-test med en kontrolgruppe. Dette er dog ikke tilfældet for større produkt-, PR- og forretningsindsatser, der påvirker alle nuværende og potentielle brugere nogenlunde ensartet. Selvom der er nogle fremragende ressourcer til rådighed til sådanne tests, kan mange virksomheder i de tidlige stadier finde dem dyre.

Variabler, der kan tages i betragtning for denne model, omfatter:

Alle variabler skal angives som en ændringshastighed i stedet for et absolut niveau, ved at bruge logaritmer i stedet for procenter.

Tidsrammen for hver variabel skal ligeledes overvejes nøje. Nogle variabler er førende (f.eks. aktiemarkedet er stærkt baseret på forventninger), mens andre såsom brugertilfredshedsvurderinger er baseret på tidligere erfaringer, men bestemt kan have relevans for forventet vækst.

Til selve regressionen anbefaler jeg at begynde med Ordinary Least Squares (OLS) og derefter kun gå videre til andre funktionelle former af specifikke årsager. OLS er alsidig og giver ligeledes mulighed for mere direkte fortolkning af resultaterne end andre mere komplekse former. Ændringer i sammenhæng med OLS vil omfatte en logaritmisk regression for ikke-lineære variabler, interaktionsvariabler (for eksempel måske aktuel kundetilfredshed og aktivitet på sociale medier) og kvadreringsvariabler, som du mener har uforholdsmæssige effekter ved større værdier. Da væksten forhåbentlig er eksponentiel, kunne logaritmiske regressioner helt sikkert vise sig at passe godt.

Med hensyn til tidshorisonten for virkningen af ​​handlingen, skal du sørge for at overveje dine brugeres frekvens af handlinger eller køb for at hjælpe dig med at bestemme det korrekte interval, som du skal kigge efter virkningen over. Når du bruger tidsrammer, der er længere end én dag, skal du huske, at ugentlige aktive brugere ikke er summen af ​​de daglige aktive brugere i den pågældende uge. Hvis jeg aktivt bruger dit produkt hver dag i den uge, så vil jeg blive talt hver dag til en daglig analyse. Hvis du derefter skifter til en ugentlig analyse, skulle jeg kun dukke op én gang, og derfor ville en summering af de enkelte dage tælle for meget.

Denne model giver dig derefter mulighed for at estimere forventet vækst/fastholdelse/engagement for ethvert givet øjeblik eller igangværende tidsperiode baseret på ydeevnen af ​​disse forklarende variabler. Forskellen mellem denne forventede vækst og den faktiske vækst observeret efter hændelsen er så den unormale del, der kan indikere påvirkning. Ved at dividere denne unormale vækst med standardafvigelsen af ​​den forventede vækst angiver det, hvor sandsynligt det var, at den unormale komponent opstod ved et tilfælde. Typisk bruges et resultat på 1,96 (der er ca. to standardafvigelser væk fra den forudsagte værdi) som cut-off for at vurdere, at det ikke er sket tilfældigt.

I sammenhæng med kohorter kan fastholdelse og engagement enten betragtes i form af forandring på tværs af successive kohorter (med andre ord at holde værdierne faste for hver kohorte), eller ændringen over tid af total fastholdelse og engagement uden at nedbryde det med kohorte.

Kumuleret vækstpåvirkning fra en række begivenheder

Vækststrategier gør ofte et punkt ud af at implementere en række begivenheder i stedet for engangsbestræbelser, både for den mere umiddelbare effekt af at have flere indsatser og den underliggende effekt af at vise kunderne selve mønsteret. Effektanalyse kan derfor også se på kumulativ effekt. En række hændelser, der er individuelt ubetydelige, kan resultere i en betydelig kumulativ påvirkning, og omvendt kan en række væsentlige hændelser blive ubetydelige.

Den første situation kan opfattes som "langsom og stabil vinder løbet." Lad os sige, at dit salg stiger med en brøkdel af en procent om ugen hurtigere end din relevante sektor. Over en kort periode ville dette ikke betyde noget, da enhver given virksomheds vækst tilfældigt vil afvige en smule fra benchmark. Hvis din lille overpræstation dog fortsætter længe nok, kan du i sidste ende erklære med tillid til, at virksomhedens vækstrate virkelig overstiger markedets.

Den anden situation er i det væsentlige enhver form for vending. De stadig mere højfrekvente midler, hvormed folk kan reagere på udviklingen, før de virkelig behandler informationen, såvel som kortsigtet flokmentalitet, bringer udfordringen med at sikre, at du overvejer den sande størrelse og varighed af reaktionen gennem den mere umiddelbare støj. Under visse omstændigheder kan brugere og markeder have en tendens til systematisk at overreagere på kort sigt (nye teknologier, valutamarkeder og ofte dårlige nyheder, der ikke udgør en alvorlig trussel mod en virksomhed), men så senere korrigere sig selv.

De to situationer kan illustreres som følger. Konfidensintervallet angiver de grænser, inden for hvilke vi kan forvente, at 95 % af observationerne falder, hvilket typisk bruges som tærskelværdien for at vurdere noget statistisk signifikant.

Fraværet af en væsentlig vending kan tages som bevis på varig indvirkning. Man skal være forsigtig med denne logik, da den er i modstrid med den normale regel for empirisk skepsis om, at fravær af beviser ikke er bevis på fravær, men det er det bedste, vi kan gøre.

Vær forsigtig, når du sammenligner procentvise/logaritmiske ændringer over individuelle tidsperioder. Et fald på 99 % efterfulgt af en stigning på 99 % udligner ikke ligefrem en ubetydelig kumulativ ændring. Sørg for at overveje kumulative ændringer i sidste ende.

Hvis du måler den kumulative effekt af en række begivenheder, såsom en specifik PR-kampagne inden for en begrænset periode (dvs. en feriesæson), vil du måske spore væksten over alle kalenderdage eller -uger inkluderet i tidsrammen , uanset om hver enkelt havde en bestemt handling eller ej. Du håber stadig i bund og grund, at 1-2-3-slaget giver en knockout inden for en bestemt periode, selvom der kan være små forsinkelser mellem hits.

Hvis de pågældende begivenheder er længere fra hinanden, men du stadig ønsker at vurdere den kumulative effekt, kan du overveje at tilpasse dem til en enkelt sammenhængende række af dage og derefter køre den samme analyse. I dette siger du i det væsentlige "Dag 1 er 5. januar, Dag 2 er 15. marts, Dag 3 er 10. april...") og tester deres kumulative ændring i forhold til den, der er forudsagt af benchmark, som om de i virkeligheden var fuldstændig sekventielle datoer. Afprøvning af signifikansen er så den samme formel som ved enkeltstående hændelser, bortset fra at denne hæver standardafvigelsen til kvadratroden af ​​antallet af dage/uger, der danner den kumulative periode.

Håndtering af forurenede oplysninger ved måling af virksomhedsvækst

Verden giver os sjældent høfligheden af ​​perfekte laboratorieforhold til at teste vores ideer, så når kernemodellen er etableret, vil den højst sandsynligt skulle kontrollere for anden information, der påvirker den forventede vækstrate på samme tid som de handlinger, vi' søger at måle.

Lad os antage, at samtidig med en PR-begivenhed eller produktopdatering, beslutter en topchef desværre at tage afsted til en konkurrent under megen fanfare fra pressen, og du bliver bekymret for, at nogle brugere kan tage dette som et signal om de relative fordele ved to produkter. En meget hurtig løsning er desværre blot at markere datapunktet som en forvirret, ikke-relateret hændelse med en indikatorvariabel.

Men hvis du kan få data om tidligere tilfælde af den "forvirrende" hændelse, så kan du udføre en tværsnitsanalyse, der giver dig mulighed for at forudsige, hvor stor en påvirkning den pågældende hændelse har en tendens til at have under lignende omstændigheder, og du kan fjerne den forventede effekt fra de endelige resultater. I ovenstående eksempel vil data om brugeraktivitet omkring højt profilerede teammedlemmers afgange i andre virksomheder give dig mulighed for at estimere og adskille effekten af ​​den pågældende faktor for at isolere effekten af ​​PR-begivenheden eller produktopdateringen, som du håbede evaluere.

Mange virksomheder kan også stå over for sæsonudsving baseret på årstiden eller bestemte nøgleøjeblikke såsom helligdage. Tildel indikatorvariabler til den pågældende tid på året for at kontrollere dette.

De ikke-lineariteter af visse virkninger

Når du overvejer resultaterne af din analyse og strategier for vækstbestræbelser, er visse ikke-lineære effekter i, hvordan mennesker er blevet dokumenteret at reagere på positive udviklinger værd at huske på.

Op- versus ned-følsomhed kan være meget forskellige. Overvej, hvis data og tid tillader det, at estimere de forventede effekter af både positive og negative hændelser, hvis begge er relevante for dig. Desværre kan nedadgående bevægelser i mange tilfælde lige fra brugeradfærd til de finansielle markeder være langt mere bratte og alvorlige end opadgående bevægelser.

Den kombinerede effekt af at udføre flere handlinger på én gang er måske ikke lig med at udføre dem i rækkefølge, fordi selve det igangværende mønster i sig selv kan have positiv eller negativ effekt. Mønstret med en virksomhed, der udsender en produktopdatering hver måned, kan indgyde tillid hos brugerne, mens den annoncerer negative begivenheder såsom fyringer eller nedskrivninger mere end én gang, kan have en uforholdsmæssig stor effekt ved at forårsage bekymringen om, at virksomheden ikke fuldt ud forstår sine egne. situation. Børsnoterede virksomheder vil ofte "tage et bad" og frigive alle dårlige nyheder på én gang, da der kan have en tendens til at være et indledende "fast" hit fra selve de dårlige nyheder med en marginal efterfølgende effekt. "Torpedoeffekten" beskriver for eksempel det empiriske fænomen, at blotte tilstedeværelsen af ​​dårlige nyheder kan stå for en meningsfuld del af et prisfald. Negative fald kan derfor nedbrydes til en initial fikseret effekt, der giver plads til en aftagende marginal effekt fra nyhedens eller udviklingens faktiske indhold. PR-kampagner fungerer bedre som en sekvens end en enkelt megabegivenhed, da målet er at positionere virksomheden over tid.

Varians kan naturligvis kun måles historisk, men visse begivenheder kan ændre den underliggende sande varians og sandsynlighed for, at den unormale vækst skete ved et tilfælde. Da den nye varians i sig selv er resultatet af den pågældende begivenhed, bør den forudgående varians bruges for at undgå det cirkulære ræsonnement om at afvise betydningen af ​​begivenheden baseret på den større varians, der følger med den. Som altid er der dog debat, og hver situation kan være anderledes.

Som tidligere nævnt kan vækst eller en afmatning i væksten begge få lignende effekter i et stykke tid, både på grund af menneskelig psykologi og meget reelle markedsstrukturer. Selvom der findes forskellige smarte autokorrelationstests til måling af momentumeffekter, synes jeg, at den mere "manuelle" tilgang med at regressere vækstserien på en forsinket version af sig selv er mere gennemsigtig og lettere at eksperimentere med.

Afsluttende tanker om tilgang til maskinlæring i erhvervslivet

Når først modellen, der giver mulighed for en sådan test, er udviklet, er der ingen grund til, at virksomhedens platforme til sporing af brugeradfærd, salg osv. ikke kan kobles direkte til sin kode for løbende at opdatere koefficienterne, efterhånden som nye data modtages. Min personlige præference har altid været at have en rullende etårig estimeringsperiode, når det er muligt, idet det balancerer størrelsen af ​​datasættet med den højere værdi af nyere information og naturligvis også inkluderer alle tidspunkter på året i tilfælde af sæsonbestemte.

Forudsat at der ikke er strukturelle brud i virksomhedens og produktets karakter, er der ingen grund til ikke at forlænge estimeringsperioden ud over et år, men unge hurtigt voksende virksomheder har en tendens til at udvikle sig hurtigt. Softwaredrevne virksomheder kunne linke direkte til deres GitHub for at skabe den proces, hvorved softwareopdateringer automatisk testes for effekt. Ved at oprette dette direkte link og lade funktionerne udvikle sig automatisk, har du taget det første skridt mod at implementere maskinlæring for din virksomhed.

Det bliver ofte påpeget, hvordan information er verdens mest værdifulde vare, men det nævnes sjældnere, at data ikke er information. Tværtimod er virksomheder overvældet med så meget data, der kan synes at fortælle konkurrerende fortællinger, hvoraf mange bare kan være falske mønstre baseret på tilfældighed. Statistik, når det er bedst, er en reduktionsproces – med hurtigt at gribe ind på de vigtigste variabler og sammenhænge og implementere dem til praktiske tests. Ånden i denne form for analyse er frem for alt at indgyde sund skepsis i beslutningsprocessen ved at tvinge dataene til at bevise sig selv som reelle oplysninger, før du baserer en beslutning på det.