Denní používání AI není obchodní výsledek
Jeden tým dostal za úkol vázat používání AI na růst ARR — čísla, které tým neovládá a které má tucet dalších příčin. Tahle chyba v nastavení cíle je běžná a snadno se odhalí dřív, než se z ní stane skórovací karta.
Vedení stanovilo cíl: 80 % vývojářů denně používá AI, sleduje se to po týmech. Důsledek za nesplnění: růst ARR daného produktu, hodnocený po týmech a navázaný na tutéž skórovací kartu.
Jeden vývojář to nevyžádaně popsal na Redditu: číslo o používání se bude sledovat po týmech a odměna nebo postih týmu poběží přes růst ARR produktu, který vlastní. Pokud ARR neroste — ať už z jakéhokoli z tuctu důvodů, proč nemusí růst — projeví se to jako mínus pro celý tým, bez ohledu na to, kolik jejich práce teď dělá AI.
Je to jeden hlas z jednoho vlákna, popisující jednu organizaci. Není to benchmark ani tvrzení o tom, jak fungují AI mandáty obecně. Přesto je to užitečné, protože to pojmenovává chybu v nastavení cíle, kterou je snadné udělat a drahé napravit, jakmile si na tom číslo tým postaví celý rok.
Co je špatně na tom vázat používání AI na obchodní výsledek, který tým neřídí?
Každý dřívější mandát vázal používání AI na metriku používání — přihlášení, míru přijetí návrhů, počet promptů. Tenhle ho váže na ARR, a ARR má tucet příčin, které vývojářský tým nevlastní: cenotvorbu, kapacitu obchodu, konkurenta, který vydal řešení dřív, zrušenou obnovu smlouvy v jiném oddělení, kvartál, jaký zrovna měl trh.
Přišpendlete jeden nově zavedený vstup k výsledku s tuctem dalších příčin, a metrika přestane měřit používání AI. Začne měřit, kolik nesouvisejícího šumu kolem ARR se ten kvartál náhodou posunulo ve prospěch týmu.
Co potřebuje mandát na používání, než se spustí?
Pojmenovanou, ověřitelnou vazbu mezi chováním, které po týmu chcete, a výsledkem, kterým ho hodnotíte — prověřenou dřív, než skórovací karta vyjde, ne až po prvním kvartálu, který nevyšel.
Tři otázky tohle zachytí už při návrhu, ne až při pitvě po faktu:
- Co tým skutečně řídí? Pokud odpověď není samotná metrika, metrika měří něco jiného.
- Kolik dalších vstupů hýbe stejným číslem? ARR, tržby, retence a většina obchodních výsledků má víc nezávislých příčin. Používání jednoho nástroje je jeden vstup z mnoha.
- Co se stane, když používání roste a výsledek se nehne? Pokud je poctivá odpověď „tým to stejně odnese", mandát neměří výsledek, ale poslušnost návyku.
Co by se mělo měřit místo toho?
Workflow, který mělo používání AI změnit — pojmenovaný, měřený a porovnaný před a po.
Pokud je cílem za „80 % denního používání" kratší doba na kontrolu kódu, měřte dobu kontroly kódu. Pokud je to rychlejší reakce na incidenty, měřte dobu reakce na incidenty. Pokud je to, že tým dodá víc bez vyhoření, měřte propustnost i hodiny strávené kontrolou a předěláváním. Denní používání může být jeden vstup do tohoto obrazu. Nikdy by nemělo obraz nahrazovat.
Verze na jednu větu
Číslo o používání říká, že se nástroj otevřel. Obchodní výsledek říká, že se workflow změnil. Když se ty dvě věci spletou, mandát se změní ve skórovací kartu, kterou nikdo v týmu ve skutečnosti nemůže pohnout — a to je chyba v nastavení, kterou pětiminutová rozprava odhalí dřív, než se z ní stane kvartál frustrace.