システム開発には、当然コストが掛かります。仕様変更すれば確実にコストが掛かりますが、仕様を変えて効果がどうだったのか、その効果を測定することをKPIといいます。
サービス向上する為にサイトを改善しよう、表示の見せ方を変えてみよう。その意図は良いでしょう。しかし、コストを掛けて実際にユーザは増えたのか?そういう測定をしないとビジネスではなく趣味のサイトになります。指標はユーザ数の増減だけでなく、滞留時間やアナログ的にユーザからのクレームの数も指標とする場合もあるでしょう。買い物カゴが使いづらいというクレームを半減させるという目標設定もKPIになり得ます。どの程度のコストを投入してどういう結果を得るかを開発に着手する前に策定しておくのが大切なのです。