相場の取得先が落ちた日、天気まで丸ごと入らなかった
昼過ぎから雷を伴って激しく降るという予報の日でした。世の中の出来事を貯め始めた作業を中心に、詰まった点を並べます。
線引きを自分で決められず長く放置していた
世の中の大きなニュース・事件を貯めたいというのはずっと前からやりたかったことでした。着手できなかった理由ははっきりしていて「大きなニュース」の線引きを自分で決められなかったからです。何を入れて何を落とすかの基準が作れない。
今回、Wikipedia の「最近の出来事」を使うことにしました。線引きを自分で決めるのをやめてWikipedia の編集者がすでにやっている選別を借りるという形です。
貯め始めてすぐ、行末の「-日経」のような文字列を落としていたのに気づきました。捨ててよい印だと思っていたのですが、あれは報道記事へのリンクでした。落とすのをやめて報道記事と Wikipedia の両方へのリンクを出来事に付けました。
1つの取得先が522を返した日、天気も出来事も入らなかった
円相場の取得先が 522 を返した日がありました。その日、天気も出来事も丸ごと入っていませんでした。取得を1本の流れで回していたので途中で1つ落ちると後ろが全部止まる作りになっていたわけです。
相場は翌日以降も取り直せますが天気はその日のものです。1つの取得先の一時的な障害が別の取得先の永久の穴になっていました。1つが落ちても他は進めるように分けました。
数えているのに画面に出ない
貯めた件数を画面に出す部分が許可リスト方式になっていました。新しい元を足したときにここへの追加を忘れるとSQLは数えているのに画面には何も出ません。エラーも出ない。出来事の件数が黙って消えていました。
許可リストをやめました。足し忘れで黙って消えるより出しすぎて気づくほうがましだと判断しています。
ついでに直したもの
- ダークモードでリンクが既定の
#0000EEになっていてほぼ読めませんでした。色を指定しました。 - 毎時 45分に論評タスクの黒いコンソールが前面に出ていました。窓を隠しました。
- 推移の折れ線にマウスオーバーで日付と値を出すようにしました。あわせて検索の日次（確定）を足しています。移動合計だけを見ていると、集計の切り替わりでできる崖を実態の落ち込みと読み違えるためです。
広告の IS（インプレッションシェア-ランク損失・予算損失）もその日の値だけでなく推移として貯め始めました。次は、取るべきオープンデータの候補を優先順を付けて選ぶところです。