To, co jest mierzone, staje się przedmiotem gry
Istnieje jedno zjawisko, które wyjątkowo trafnie opisuje wiele patologii współczesnych organizacji, instytucji publicznych, szkół, korporacji, a nawet całych systemów gospodarczych. Zjawisko to streszcza angielskie powiedzenie: “What gets measured gets gamed”. W wolnym tłumaczeniu oznacza ono, że to, co zostaje objęte pomiarem, bardzo szybko staje się przedmiotem manipulacji. Gdy wskaźnik przestaje być jedynie narzędziem obserwacji, a zaczyna pełnić rolę celu, ludzie zaczynają optymalizować nie rzeczywisty rezultat, lecz samą liczbę.
Na pierwszy rzut oka idea mierzenia wydaje się rozsądna. Trudno zarządzać czymś, czego nie da się obserwować. Trudno poprawiać efektywność, jakość lub produktywność bez danych. Właśnie stąd bierze się popularne przekonanie, często przypisywane Peterowi Druckerowi, że to, co jest mierzone, jest zarządzane. Problem polega jednak na tym, że pomiar sam w sobie nie jest neutralny. W chwili, gdy wskaźnik zaczyna decydować o wynagrodzeniu, awansie, budżecie, reputacji lub przetrwaniu organizacji, przestaje być wyłącznie opisem rzeczywistości. Staje się bodźcem. A bodźce zmieniają zachowanie ludzi.
To właśnie w tym miejscu ujawnia się ciemniejsza strona zarządzania przez liczby. Miara, która miała pomagać zrozumieć rzeczywistość, zaczyna ją deformować.
Podstawę intelektualną tego zjawiska opisują między innymi prawo Goodharta oraz prawo Campbella. Prawo Goodharta mówi, że gdy wskaźnik staje się celem, przestaje być dobrym wskaźnikiem. Innymi słowy: jeżeli liczba miała jedynie sygnalizować jakość jakiegoś procesu, to w momencie, gdy ludzie zaczną działać pod tę liczbę, traci ona swoją wartość poznawczą. Prawo Campbella idzie dalej i wskazuje, że im silniejsza presja związana z danym miernikiem w procesach podejmowania decyzji społecznych, tym większa pokusa korupcji tego miernika i tym większe zniekształcenie procesów, które miał on monitorować.
W praktyce oznacza to, że organizacje bardzo często mylą mierzalność z rzeczywistą wartością. Zamiast pytać, czy klient rzeczywiście otrzymał lepszą usługę, pytają o liczbę zamkniętych zgłoszeń. Zamiast pytać, czy uczeń rzeczywiście rozumie materiał, pytają o wynik testu. Zamiast pytać, czy urzędnik rozwiązał problem obywatela, pytają o czas obsługi sprawy. Zamiast pytać, czy programista stworzył stabilny, bezpieczny i utrzymywalny system, pytają o liczbę zadań zamkniętych w sprincie albo liczbę linii kodu. W każdym z tych przypadków pojawia się ryzyko, że organizacja zacznie nagradzać nie rzeczywiste efekty, lecz umiejętność gry pod system.
Najbardziej podstawowym problemem jest tutaj problem bodźców. Człowiek działa racjonalnie w ramach systemu, w którym funkcjonuje. Jeżeli nagroda, premia, budżet albo bezpieczeństwo stanowiska zależą od konkretnego wskaźnika, to naturalną reakcją będzie koncentracja na poprawie tego właśnie wskaźnika. Nie musi to nawet wynikać ze złej woli. Bardzo często jest to zwykły mechanizm adaptacyjny. Jeżeli menedżer call center rozliczany jest przede wszystkim z długości rozmowy, zacznie promować szybkie kończenie połączeń, nawet kosztem jakości pomocy. Jeżeli lekarz jest oceniany przez liczbę pacjentów obsłużonych w ciągu dnia, może ograniczać czas poświęcony na trudniejsze przypadki. Jeżeli pracownik działu sprzedaży odpowiada wyłącznie za wolumen sprzedaży, będzie dążył do domykania transakcji także tam, gdzie produkt nie jest klientowi naprawdę potrzebny.
W ten sposób pojawia się fundamentalna rozbieżność między celem formalnym a celem rzeczywistym. Formalnie organizacja mówi, że zależy jej na jakości, edukacji, bezpieczeństwie, zdrowiu, zadowoleniu klienta czy trwałej wartości. Faktycznie jednak nagradza to, co da się łatwo policzyć. A to, co da się łatwo policzyć, bardzo często stanowi jedynie ubogi przybliżony model znacznie bardziej złożonej rzeczywistości.
Drugi problem to systemowe zniekształcenie działania organizacji. Gdy dana miara staje się dominująca, zaczynają zanikać te obszary pracy, które są ważne, lecz trudne do uchwycenia w arkuszu kalkulacyjnym. W firmach oznacza to często poświęcenie jakości architektury oprogramowania na rzecz krótkoterminowej prędkości dostarczania funkcji. W edukacji oznacza to redukcję nauczania do zestawu przewidywalnych zadań egzaminacyjnych. W administracji oznacza to wytwarzanie pozorów sprawności bez realnego rozwiązywania problemów. W ochronie zdrowia może oznaczać koncentrację na procedurach, które dobrze wyglądają w raportach, zamiast na tych, które rzeczywiście pomagają pacjentowi.
To zniekształcenie jest szczególnie groźne dlatego, że początkowo bywa niemal niewidoczne. Liczby wyglądają dobrze. Raporty wyglądają dobrze. Cele kwartalne są realizowane. Wskaźniki rosną. Na papierze system działa. Dopiero po pewnym czasie okazuje się, że klient jest sfrustrowany, produkt jest kruchy, uczniowie nie rozumieją materiału, pracownicy są wypaleni, a koszty ukryte zaczynają narastać. Organizacja przez pewien czas może wręcz sprawiać wrażenie bardziej efektywnej niż wcześniej, ponieważ poprawia to, co raportuje. Problem polega na tym, że często pogarsza wszystko to, czego nie raportuje.
Klasycznym przykładem jest tak zwany efekt kobry. Historia, choć bywa przytaczana w różnych wariantach, oddaje istotę mechanizmu.
Władze, chcąc ograniczyć populację jadowitych węży, zaoferowały nagrody za martwe kobry. Na poziomie samego wskaźnika rozwiązanie wydawało się logiczne: im więcej dostarczonych martwych węży, tym skuteczniejsza walka z problemem. Ludzie jednak szybko dostosowali się do systemu bodźców i zaczęli hodować kobry, aby następnie zabijać je dla nagrody. W rezultacie mechanizm stworzony po to, by rozwiązać problem, zaczął go odtwarzać, a nawet wzmacniać.
To właśnie najważniejsza lekcja płynąca z takich historii: ludzie nie reagują na intencję systemu, lecz na jego faktyczne reguły. Jeżeli system wynagradza wynik pozorny, pozorny wynik będzie produkowany. Jeżeli system wynagradza liczbę, liczba będzie produkowana. Jeżeli system wynagradza wskaźnik, wskaźnik będzie optymalizowany, niezależnie od tego, czy prowadzi to do rzeczywistej poprawy.
Bardzo wyraźnie widać to również w edukacji.
Gdy finansowanie szkół, reputacja dyrektorów czy przyszłość nauczycieli zależą w dużym stopniu od wyników standaryzowanych testów, nauczanie łatwo zaczyna podporządkowywać się egzaminowi. Nie chodzi już o rozwijanie rozumienia, ciekawości, krytycznego myślenia czy umiejętności samodzielnego rozwiązywania problemów. Chodzi o podniesienie wyniku mierzalnego sprawdzianu. Pojawia się zjawisko nazywane teaching to the test, czyli uczenie pod test. Uczeń może uzyskać lepszy wynik w konkretnej procedurze pomiarowej, a jednocześnie nie otrzymać lepszej edukacji. Szkoła poprawia wskaźnik, ale niekoniecznie realizuje swój rzeczywisty cel.
Analogiczny problem występuje w biznesie. W sprzedaży można łatwo doprowadzić do sytuacji, w której handlowcy maksymalizują liczbę transakcji kosztem marży, jakości klienta lub trwałości relacji. W obsłudze klienta można stworzyć system, w którym konsultanci zamykają zgłoszenia jak najszybciej, nie rozwiązując realnej przyczyny problemu. W zespołach inżynieryjnych można doprowadzić do produkowania dużej liczby zmian o niskiej wartości, bo mierzy się tempo dostarczania, a nie trwałość, bezpieczeństwo, niezawodność i koszt utrzymania. W korporacjach finansowych można osiągać kwartalne cele kosztem długoterminowej stabilności przedsiębiorstwa, ponieważ system premiowy skupia uwagę na krótkim horyzoncie raportowym.
W świecie technologii problem ten jest szczególnie niebezpieczny, ponieważ wiele najważniejszych cech dobrego systemu informatycznego jest trudnych do prostego skwantyfikowania. Łatwo policzyć liczbę wdrożeń, liczbę zamkniętych zgłoszeń, czas dostarczenia funkcji czy nawet liczbę wykrytych defektów. Trudniej zmierzyć jakość architektury, przejrzystość kodu, odporność na awarie, bezpieczeństwo projektowe, łatwość przyszłej rozbudowy, czy też rzeczywistą zgodność rozwiązania z potrzebami biznesu. Jeżeli organizacja myli wskaźniki techniczne z wartością techniczną, może bardzo szybko wpaść w pułapkę pozornej produktywności. Zespół wygląda na szybki, ale buduje system coraz droższy w utrzymaniu. Raporty są zielone, a fundamenty się kruszą.
Nie oznacza to oczywiście, że pomiar jest błędem. Byłoby to równie fałszywe, jak bezkrytyczne uwielbienie dla wskaźników. Pomiary są potrzebne. Problem nie leży w samym mierzeniu, lecz w sposobie projektowania i używania miar. Dobrze zaprojektowany system pomiaru powinien rozumieć własne ograniczenia. Powinien traktować wskaźniki jako przybliżenia, a nie jako prawdę absolutną. Powinien zakładać, że każda liczba może stać się obiektem optymalizacji oportunistycznej. Powinien uwzględniać, że człowiek dostosowuje się do systemu, a nie do deklaracji zapisanych w prezentacji strategicznej.
Dlatego rozsądne organizacje nie opierają zarządzania na jednym dominującym wskaźniku. Zamiast tego stosują zestawy miar, które wzajemnie się równoważą. Jeżeli mierzy się szybkość, należy równocześnie mierzyć jakość i trwałość efektu. Jeżeli mierzy się produktywność, należy także mierzyć liczbę błędów, reklamacji, koszt poprawek i satysfakcję odbiorcy. Jeżeli mierzy się wynik krótkoterminowy, należy dołożyć wskaźniki długoterminowe. Jeżeli mierzy się rzeczy ilościowe, trzeba uzupełniać je oceną jakościową. Innymi słowy: trzeba projektować system tak, aby utrudniał osiąganie dobrego wyniku liczbowego przez psucie tego, czego wskaźnik akurat nie obejmuje.
Istotna jest również pokora metodologiczna.
Wiele problemów ma charakter wielowymiarowy i nie daje się zamknąć w jednym prostym numerze. Dobra edukacja, dobra opieka zdrowotna, dobre zarządzanie, dobre prawo, dobre oprogramowanie czy dobra polityka publiczna to zjawiska złożone. Obejmują jakość, trwałość, adekwatność, bezpieczeństwo, sprawiedliwość, odporność i użyteczność. Każda próba sprowadzenia ich do jednego wskaźnika rodzi ryzyko, że zamiast zarządzać rzeczywistością, zaczniemy zarządzać uproszczoną reprezentacją rzeczywistości.
W praktyce potrzebne są więc co najmniej cztery zasady.
Po pierwsze, należy odróżniać wskaźnik od celu. Wskaźnik ma pomagać w ocenie, a nie zastępować sens działania organizacji.
Po drugie, trzeba przewidywać zachowania adaptacyjne. Każdy system premiowy należy analizować nie tylko pod kątem zamierzonego efektu, lecz także pod kątem najbardziej prawdopodobnych sposobów jego obchodzenia.
Po trzecie, należy chronić obszary trudnomierzalne. To, że czegoś nie da się łatwo policzyć, nie oznacza, że jest mniej ważne. Często jest odwrotnie.
Po czwarte, pomiar musi być wsparty osądem eksperckim. Liczby są użyteczne, ale nie zastąpią rozumienia kontekstu, doświadczenia i zdolności interpretacji.
Warto więc zestawić dwa znane powiedzenia. Pierwsze mówi: to, co jest mierzone, jest zarządzane. Drugie odpowiada: to, co jest mierzone, staje się przedmiotem gry. Oba zawierają część prawdy. Pomiar rzeczywiście może pomóc w poprawie działania. Jednak tylko wtedy, gdy nie zapomnimy, że każdy wskaźnik jest uproszczeniem, a każde uproszczenie może zostać wykorzystane przeciwko intencji systemu.
Dojrzałe zarządzanie nie polega zatem na ślepym mnożeniu wskaźników ani na fetyszyzacji danych. Polega na rozumieniu, co dokładnie mierzymy, po co to mierzymy, jakie zachowania wywoła ten pomiar i czego przez ten pomiar nie widzimy. Tam, gdzie tego rozumienia brakuje, organizacje zaczynają mylić poprawę liczb z poprawą rzeczywistości. A to jedna z najgroźniejszych iluzji nowoczesnego zarządzania.
Ostatecznie najważniejsze pytanie nie brzmi: czy mamy metryki. Najważniejsze pytanie brzmi: czy nasze metryki nadal opisują rzeczywisty sukces, czy już tylko opisują sukces w grze pod metryki. Między tymi dwiema sytuacjami istnieje zasadnicza różnica. W pierwszej organizacja rzeczywiście staje się lepsza. W drugiej jedynie nauczyła się lepiej wyglądać w raporcie.
