【指南】如何设计更好的指标

2024年07月02日 由 alex 发表 96 0

衡量标准是一个强大的工具;它可以帮助你衡量你所关心的事情。拥有远大的目标固然很好,但要想知道自己是否取得了进展、激励团队并建立责任感,就必须能够用数字来表达这些目标。


但说起来容易做起来难。有几十种看似相同的衡量标准,而且每天都有新的时髦标准被发明出来。你应该使用哪些指标,又应该避免使用哪些指标呢?


原则 1:指标应能很好地代表你想要度量的东西

你通常无法直接衡量你所关心的确切事物。


比方说,我的目标是衡量电子报文章的质量,我该怎么做呢?"质量 "是主观的,没有公认的评估公式。因此,我必须为我的目标选择一个最佳(或最不差)的、我能够实际衡量的替代指标。在这个例子中,我可以用打开率、点赞数等来代表质量。


2


这与人们通常所说的指标 "相关性 "密切相关: 改进指标是否能为企业创造价值?如果不能,那为什么要衡量它?


例如,假设你在 Uber 工作,想了解供应方是否健康。你可能会认为,平台上的司机数量或他们在应用程序上的在线时间是一个很好的衡量标准。


这些指标并不可怕,但它们并不能真正告诉你,你的供应方是否真的健康(即足以满足需求)。可能是需求的增长速度超过了驱动力的增长速度,也可能是大部分需求的增长是在上午,而供应的增长主要是在下午。


更好的衡量标准是将供需结合起来,例如,乘客打开应用程序但没有司机可用的次数。


原则 2:指标应易于计算和理解

人们喜欢花哨的指标;毕竟,复杂的分析就是你付钱给数据团队的目的,不是吗?但复杂的指标是危险的,原因有以下几点:


  1. 它们难以理解。如果你不清楚某个指标是如何计算出来的,你就不知道如何解释它的变化,也不知道如何去影响它。
  2. 它们迫使分析集中化。数据科学通常是唯一能够计算复杂指标的团队。这就剥夺了其他团队进行分散分析的能力。
  3. 容易出错。复杂的指标往往需要多个团队的输入;我已经记不清有多少次因为上游输入中的一个出错而发现错误。更糟糕的是,由于公司里只有少数几个人能够计算这些指标,因此几乎没有同行评审,错误往往长时间不被发现。
  4. 它们通常涉及预测。许多复杂的指标都依赖于预测(例如,根据过去的数据预测同组绩效)。这些预测往往不准确,而且会随着新数据的出现而改变,从而造成混乱。


以 LTV:CAC 为例:


除了这个指标并不是最佳指标之外,它的危险性还在于计算起来非常复杂。分子 CAC 需要将营销和销售部门的各种成本按组群进行汇总,而分母 LTV 则是对各种因素的预测,包括保留率、追加销售等。


这类指标会让你在两年后意识到方法有问题,你一直在看 "错误 "的数据。


原则 3:好的(运营)指标应该是反应迅速的

如果你想根据某个指标持续管理业务,那么它就必须是反应灵敏的。如果指标滞后,即需要几周或几个月的时间才能看到变化对指标的影响,那么就无法形成反馈回路,无法进行持续改进。


你可能会想通过预测变化的影响来解决这个问题,而不是等待它们在指标中显示出来,但这往往是不明智的(见上文原则 2)。


当然,像收入这样的滞后指标也很重要(尤其是对财务或领导层而言),但大多数团队应该把大部分时间花在关注领先指标上。


原则 4:指标应难以操控

如果你选择了一个指标,并要求员工对改进该指标负责,他们就会找到最有效的方法。这往往会导致意想不到的结果。这里有一个例子:


  1. Facebook 希望向用户展示相关内容,以增加他们在网站上的停留时间
  2. 由于 "相关性 "难以衡量,他们使用参与度指标作为替代(喜欢、评论等)
  3. 出版商和创作者意识到算法的作用,并找到心理操纵方法来提高参与度 ➡ Click Bait 和Rage Bait应运而生


在上面的例子中,只要用户继续在平台上花费时间,Facebook 可能会对质量下降无所谓。但在很多情况下,如果指标被大规模操纵,就会造成严重损害。


比方说,你正在提供推荐奖励,用户推荐注册即可获得奖励。最有可能发生什么?人们会试图创建几十个假账户来领取奖金。更好的推荐指标是要求在平台上有最低交易额(如 25 美元)才能获得奖金。


因此,防止操纵的一种方法是设计指标来限制你预期的不受欢迎的行为。另一种方法是配对指标。


实际情况又是怎样的呢?如果你只是因为希望客户立即得到帮助而在 "首次响应时间 "上对客户支持人员进行激励,那么他们就会对每张新票据简单地回复一条通用信息。但如果将其与票单解决时间(或客户满意度)目标结合起来,就能确保客服人员真正专注于更快地解决客户的问题。


原则 5:好的指标没有任意的阈值

在科技公司中,你会发现许多常用指标都与阈值挂钩。


例如:

  • 至少有 5 个连接的用户数量
  • 浏览量大于 1,000 次的视频数量


这是有道理的;通常情况下,采取行动本身并不是一个非常有价值的信号,你需要设置一个阈值,使指标更有意义。一个人观看了视频的大部分内容,与一个人只是点击了视频是完全不同的。


不要因为 "1,000 次观看 "是一个漂亮的整数就选择它;阈值应该以数据为基础。观看次数达到 1000 次的视频是否会获得更高的点击率?或者产生了更多的后续内容?创作者留存率更高?


例如,Twitch 会衡量有多少用户观看了至少五分钟的视频流。虽然数据显然在这一选择中发挥了作用,但并不完全清楚为什么他们最终选择了五分钟。


在 Uber,我们试图让数据告诉我们门槛在哪里。例如,我们发现附近有很多其他餐厅的餐厅在 UberEats 上更可靠,因为这样更容易让快递员在附近停留。我们根据图表中的 "肘部 "设定了低密度餐厅的阈值:

3


这种方法在业务的许多领域都行之有效;例如,我们还发现,一旦乘客或司机在平台上的初始行程达到一定数量,他们就更有可能留下来。


你不一定总能找到这样一个 "神奇 "的临界值,但你应该在确定一个任意的值之前,先尝试找出一个临界值。


原则 6:好的衡量标准能创造语境

没有背景的绝对数字很少有帮助。你经常会看到这样的新闻公告:


  • "为客户处理了 1B 行数据",或
  • "向我们平台上的创作者支付了 1 亿美元的收益"。


这些数字说明不了什么。要想让这些数字有意义,就必须将它们与上下文联系起来。平台上的每个创作者平均赚了多少钱?在什么时间范围内?换句话说,将绝对数字转化为比率就能增加背景信息。


4


当然,在上述例子中,有些是有意为之;公司不想让公众知道细节。但这个问题并不仅限于新闻稿和博客文章。


从绝对值来看,销售管道可能会告诉你它是否在随着时间的推移而增长;但要使它真正有意义,你必须将它与销售团队的规模或他们的配额联系起来。这样,管道覆盖率,即管道与配额的比率,就是一个更有意义的指标。


创建这类比率还能使比较更有洞察力,也更公平;例如,比较每个部门的收入会让大部门看起来更好,但比较每个员工的收入则能实际反映生产率。


原则 7:指标需要有明确的所有者来控制指标

如果想看到某个指标的变化,就需要有一个人负责改进该指标。


即使多个团队的工作都有助于提高指标,你仍然需要有一个 "所有者 "来负责实现目标(否则,你会有很多人指责你)。


这里有三种可能出现问题的情况:

  1. 没有所有者。没有人执着于改进它,指标就会沿着目前的轨迹发展下去。
  2. 多个所有者。所有权不明确会导致摩擦和缺乏责任感。例如,在 UberEats,有些时候并不清楚某些指标是由当地城市团队还是中央运营团队所有。有一段时间,我们花在这个问题上的会议时间比实际执行的时间还多。
  3. 缺乏控制。指派一个无力(或感觉无力)执行指标的所有者是另一个导致失败的原因。这可能是因为所有者没有控制指标的直接杠杆,没有控制指标的预算,或者缺乏其他团队的支持。


原则 8:好的指标能最大限度地减少噪音

只有当你能够解读指标的变化时,指标才具有可操作性。要获得清晰的解读,就需要尽可能多地消除 "噪音 "来源。


举个例子: 假设你是一家小型 B2B SaaS 初创公司,你将网络流量视为漏斗顶部的领先指标。如果你只看 "原始 "访问量,那么你的员工、朋友和家人以及现有客户访问网站时会产生噪音,你可能会发现网络流量和漏斗指标之间几乎没有关联。


如果可能,将这些流量来源排除在报告之外,就能更好地了解潜在客户漏斗的实际情况。


原则 9:某些指标应符合行业标准

对于某些指标,重要的是它们可以在不同公司之间进行比较。例如,如果你从事的是 B2B SaaS,你的首席财务官会希望将你的净收入保留率(NRR)、CAC 回报率或 Magic Number 与竞争对手进行比较(你的投资者也会希望这样做)。


如果你计算这些指标的方式不符合市场标准,你就无法通过基准比较获得任何洞察力,从而造成大量混乱。这并不是说你不应该编造指标;


但大多数财务和效率指标的定义最好还是不要动。


总结

综上所述,我想说明一点:没有任何一种指标是完美无缺的。每个指标都有缺点,你需要选择 "最不坏 "的指标。

文章来源:https://medium.com/towards-data-science/how-to-design-better-metrics-9bad7bc8c875
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消