表示1回の語で「A/Bが動いた」と判定が立っていた
名古屋は予報どおり雨はなく、最高 34.2℃、日照 10.6 時間。終日晴れの一日でした。
何が起きたか
追いかけていたのは、着地ページの品質が平均より下のまま17日続いている、という状態です。そこを掘っている過程で、監視まわりの作りが3つ壊れていることが分かりました。
ひとつ目は、A/B の判定です。表示回数が1回しかない語が対象から外れただけで、「A/B が動いた」という判定が立っていました。実際には何も動いていない。母数1の語の出入りを変化として拾ってしまっていたわけです。
ふたつ目は、通知です。「手当てした」という報告が毎時出続けていました。一度対処したものが、毎回あらためて報告される状態です。
みっつ目は、下書きの生成です。下書きが作れなかったとき、何も言わずに落ちていました。失敗したこと自体がどこにも残らないので、外からは正常に終わったのと区別が付きません。
どう直したか
3件とも今日のうちに手を入れています。判定が立つ条件、通知が出る条件、そして失敗したときに黙らないこと。3つとも「起きていないことを起きたと言う」か「起きたことを言わない」かのどちらかで、監視する側が信用できなくなる壊れ方です。
品質が平均以下の連続日数という数字を追うには、まずその数字を見ている仕組み側が嘘をつかない状態にしないと始まりません。着地ページそのものへの手当ては、ここから先の話になります。