GCPでUSAのGoogleの対応が神。それに比べ日本Google対応は。。。
AWSのS3やGoogle Cloud Platform(以下、GCP)のGoogle Cloud Storage(以下、GCS)などのStorageサービスでは、保存されているObjectに対してアクセスログを取れることを皆さんご存知でしたか？
AWS: https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/ServerLogs.html
GCP: https://cloud.google.com/storage/docs/access-logs
俺は以前から知っていましたが、実際使うケースに直面したことがないので使っていませんでした。
しかし、先日これは使えるかも！と言うケースが表れたので真剣に調べてみました。
今回のポストはその過程で経験したUSAのGoogleの神対応と日本Googleの対応の話。
発端
ある静的なHTMLに対して、どれぐらいアクセスがあったか分析するためにそのログを貯めて置く必要があるので、そのようなシステムを自前で用意して運用していました。
だけど、最近そのシステムにトラブルが続いていて、さらにメンテする時間もないので、他にもっと手軽に利用できるものを利用しようと思って俺はこのアクセスログに着目しました。
AWSのS3を調査
しかし、S3では早速使えないと言うことが判明。
理由は「ベストエフォート型のサーバーログ配信」（最善努力）。
つまり、ログに対して最善は尽くすけど、サーバーログの完全性や適時性は保証しないと明言しています。
適時性は兎も角、完全性は分析のために必要なので、S3は候補から脱落。
GCPのGCSを調査
GCSの公式文書ではこのように書かれていました。
Timeliness of access logs delivery is not guaranteed.
つまり、適時性は保証しない。
完全性(completeness)については日本語文書にも英語文書にも記載されていなかったので、これをどう判断すれば良いか迷いました。
これは人に聞いた方が良さそうですね。
他人の力を借りる
まず、この場合はGoogleの中の人に聞くのが一番的確そうですよね。
それで聞きました。
それと当時にSEの皆さんがお世話になっているんじゃないかと思うStackOverFlowでも聞きました。
The completeness and timeliness of server logging on Google cloud storage
これが2018/11/28の出来事。
Alexさんの回答
早速28日の内にAlexさんから回答が来ました。
ありがたや、ありがたや。
しかし、Alexさんの回答を簡単に見ると、
1. GCSがAccess Logを取得出来る
2. 完全性を保証しているように見える
3. Access Logの設定方法
と書かれていて、俺が欲しい答えではありませんでした。
だけど、ありがとうAlexさん！
lotさんのAlexさんへのコメント
しばらくしたら、また11月28日の内にAlexさんの回答に対してlotさんのツッコミが入りました。
The docs say nothing about completeness of GCS csv access logs -- it only mentions that timeliness is not guaranteed
そう！
俺が知りたいのは経験レベルの取れそうと言う話ではなく、それを裏付けられる何かなのだ！
俺の言いたいことを代弁したかのようなこのツッコミは、俺がAlexさんの回答を見る前に書かれたいたので、俺は何もコメントせずにパス。
lotさんの回答
またしばらくしたらコメントから1時間もしない内に今回はlotさんの回答が。
それが日付が変わって夜中の29日の0:25。
ありがたや、ありがたや。
回答を略して見ると、
If you're referring to access logs as linked in Alex' response: in practice, the generated csv logs are are almost always complete and delivered in a timely manner, but strictly speaking neither is guaranteed. Timeliness is already mentioned in the docs, I'll see if we can clarify completeness as well.
Alexの返答のリンクを参考に、大体完全に適時に取れるみたいだけど、厳密に言うとどちらも保証していない。適時性はすでに文書に言及してある。同様に我々が完全性を明らかに出来るか僕が見てみる。
とあり、公式文書には特に書かれてないことが再確認出来ました。
まあ、仕方ない。
読み違いがなかったことが分かったから、ここで質問した甲斐があったものです。
それにしてもlotさん優しいな。
俺とlotさんが完全性を明らかに出来るようにlotさんが今後も見てくれるって。
ありがたや、ありがたや。
で、これが俺の勘違いポイント。
lotさんの回答へlotさんのコメント
上記の回答から翌日の11月30日、lotさんからのコメントがありました。
The docs have been updated to call this our more clearly. Thanks for asking!
もっと明確に文書更新されたよ。質問してくれてありがとう！
ん？もしかして公式文書が更新されたと？？
Timeliness and completeness of access logs delivery is not guaranteed.
本当だ。。。and completenessが追加されている。
Googleと関係ないサイトのStackOverFlowに質問載せたのを、しかも二日しか経ってないのにそれに合わせて公式文書を更新するとか、やるなGoogle！
このスピードの速さにはとてもびっくりです。
公式文書に疑問を持っている人がいると言うのを素早くキャッチするのもそうですが、更新することにおいてもIT企業だとしても大企業であり、公式文書だから調べて更新するのにもっと時間取られるものだと思っていました。
それを二日でやるとはこの速さ尋常じゃないなと。
わざわざコメント残して教えてくれてありがとう、lotさん！
速さの秘訣調べ
ここまで来ると「Googleの中の人もStackOverFlowに張り付いている人多いのかな。」と思うのが普通ですよね。
ですから調べてみました。
回答残してくれたAlexさんとlotさんについて。
なるほど、二人ともGoogleの中の人だったんですね。
しかもStorage担当の。
lotさんにおいてはエンジニア。
そりゃ調べるのも早いわ。
上でlotさんが我々と言ったのは「あなたと俺」じゃなくて「Google」のことを指していたとこの時に勘違いに気づきました。
結果
GCSでもアクセスログで厳密な分析をするのは無理だと言うのが分かったので、既存のシステムをメンテすることになりました。
しかし、GCSも無理だと言うのが分かる経緯についてとても満足しています。
GCPに対する好感度急上昇。
Google USAは神。
その一方で日本Googleは
もうお忘れかも知れませんが、同じ質問を日本Googleにもしたと上に書いています。
その返信がこちら。
お世話になっております。
お問い合わせ有難う御座います。下記URLより詳しい内容に関しましては下記よりご覧頂ければと存じます。
https://cloud.google.com/storage/docs/access-logs宜しくお願い致します。
。。。いや、だからそこに書かれていないから質問したんだって。
まあ、意思疎通の行き違いは良くあることです。
気を取り直してもう一度砕いて同じ質問。
その返信がこちら。
ご連絡頂き、有難う御座います。
お送りさせて頂いたURLに記載されておらず、
また、GCPのご利用をご検討されているのならば、
いくつかのご質問にお応え頂き、詳しい内容は営業担当からのご説明が最適かと思います。付きましては、下記ご質問にお応えください。
何卒、宜しくお願い致します。・推定ストレージ容量
・導入のための時間
・購入にあたっての決済プロセス
・予算以上になります。
ご回答頂けると幸いです。
宜しくお願い致します。
質問の内容何一つ触れてないな。
もう良いです。
会話する気なくなりました。
ちなみにこのやり取りはStackOverFlowで二人回答がついた後からです。
これでもGoogle社員だから給料結構貰っているだろうな。。。