今日の話 まとめ

• 皆さん当然ご存知の通り、S3 の ListBuckets API のレスポンスの CreationDate は（その名前に反して）変更されうる という性質がある
• この調査の過程で、「パーティション」なる概念が AWS に存在することを知った
  • 厳密には「これ名前ついてて公式でも言及してたんだ」となった
  • しかし特に使いどころはなかった
• そこそこどうでもいい度が高く、オチもないです

AWS のサービスカテゴリ

https://docs.aws.amazon.com/ja_jp/whitepapers/latest/aws-fault-isolation-boundaries/aws-service-types.html 曰く

AWS は、障害分離境界に応じて、ゾーン、リージョン、グローバルという 3 つの異なるカテゴリのサービスを運用しています。

• ゾーンサービス
  • 障害単位が AZ なもの。EBS とか。
• リージョンサービス
  • AZ 気にしてないやつ。Lambda とか。
• グローバルサービス
  • リージョン気にしてないやつ。S3 とか。

グローバルサービスである、S3 の例 (1/2)

• S3 バケット名は グローバルに一意 である
  • ARN（例: arn:aws:s3:::wsaito-s3bucket）にリージョン名は含まれていません
  • バケット作成時にリージョンを選ぶのは、あくまで「データ」をどこに保存するか
  • S3 には「データ」（仮称）と「メタデータ」（仮称）があって、
    データがリージョナル、メタデータがグローバルに保持、というイメージ
    • 実際のところはよく分かっていないが

https://github.com/aws/aws-cli/issues/3597

• そんな S3 だが、どうやら「メタデータ」（仮称）側は、
  us-east-1 がマスタでありつつ、それ以外のリージョンへ複製されているらしい
• その結果、us-east-1 エンドポイントから S3 API を叩いたときと、それ以外のリージョンのエンドポイントから叩いたときで、CreationDate とかいう変更がありえなさそうなフィールドが信用できなかったりする
  • さらにこれは、S3 の実装依存や既存動作のしがらみのせいで、変更が難しいらしい

改めてドキュメントを見てみよう

• https://docs.aws.amazon.com/ja_jp/whitepapers/latest/aws-fault-isolation-boundaries/global-services.html
  • 「パーティション」という概念が出てくる
  • やっぱり us-east-1 リージョンは特別っぽい
• https://docs.aws.amazon.com/ja_jp/whitepapers/latest/aws-fault-isolation-boundaries/partitions.html
  • 複数のリージョンのグループが「パーティション」らしい
  • 我々の見慣れているのは aws パーティションだが、
    どうやら他に aws-cn（中国）、aws-us-gov（US の GovCloud）があるらしい
• S3 では、aws パーティションのマスターリージョンが us-east-1 であるようだ

どんなパーティションがあるんだよ

• SDK 等のリポジトリから、
  設定ファイル内にハードコードされているのを見ればいいっぽい
  • https://github.com/aws/aws-sdk-ruby/blob/version-3/gems/aws-partitions/partitions.json

$ curl https://raw.githubusercontent.com/aws/aws-sdk-ruby/refs/heads/version-3/gems/aws-partitions/partitions.json \
| jq '.partitions[] | [.partitionName, .partition, .regions, .dnsSuffix]'

こんなパーティションがあるっぽい

• ドキュメントに載ってた
  • AWS Standard : 我々の見慣れているもの
  • AWS China : 中国
  • AWS GovCloud (US) : US の GovCloud
• ドキュメントに載ってないがリリースによる明言はあった
  • AWS EUSC : European Sovereign Cloud ってやつらしい
• ドキュメントに載ってない（！）
  • AWS ISO (US)
  • AWS ISOB (US)
  • AWS ISOE (Europe)
  • AWS ISOF

ISO ってなんだよ

• なんの略称かは確定できなかったが、米国機密情報を扱うパーティションらしい
  • https://japan.zdnet.com/article/35180552/
  • 米政府の秘密区分レベルの Secret や Top Secret を扱うらしい
    • https://en.wikipedia.org/wiki/Information_Security_Oversight_Office
• dnsSuffix フィールドに amazon とか aws という文字列がなかったりする
• へぇ〜 すごい（小並感）

感想

• S3 はよく出来ているサービスだと思う（個人の意見です）んだけど、
  それでもわりと浅いところに負債が残っている
• 負債の元をたどるとアーキテクチャ上の都合などの理由が出てくるんだけど、
  それらを読むのは結構面白い
• パーティションの存在を意識すると、「AWS ですら "隔離専用環境" を作ることがあるんだな」という気持ちと、「むしろほとんどは aws なるパーティションでやってるのすごいな」という気持ちになれる
  • AWS China の S3 バケットは arn:aws-cn:s3:::wsaito-s3bucket になるんだけど、
    初期設計で arn:s3:::wsaito-s3bucket みたいな ARN にしなかったの偉すぎん？

（余談） AWS China は色々難しい

• 「AWS」という商標は使えない
• AWS は AWS China を運営していない（！）
  • 現地のパートナー企業による運営
• ホワイトペーパー は 1 枚目から味がする

など……

本スライドに基づくおすすめ資料

• https://www.allthingsdistributed.com/
  • Werner Vogels（Amazon.com の CTO）の個人ブログ
  • S3 のアーキテクチャの話とかが寄稿されていたりする
• 『サイバースペースの地政学』
  • 現実と切り離された仮想空間にみえるサイバースペースにも、結局は各国の
    法令であったり地理的要因というしがらみはある、という話を面白く感じるなら