さくっとLambda関数でDynamoDBに何かしたい時、AWS SAMを使ってやるテンプレートのメモ。
DynamoDBの多対多で隣接リストやった時の冗長性対策どうしよう
DynamoDBウキウキで初めて早速引っかかる問題の一つが多対多とn+1問題だと思うんだが、これについてはAWSのドキュメントに一応解決方法が乗っている。それについて書いた記事がこれ→「DynamoDBで多対多のテーブル設計 – 或る阿呆の記」。
隣接リストというデザインパターンで、初めて見た時はギョッとしたけど、実際やってみるとたしかに効率的にクエリが書ける。テーブルの構造についても、ああつまりRDBの中間テーブルに要素をもたせるとこうなるのか、ということで、個人的には納得もした。
ただこの方式は、冗長である。したがって、同一であるべきアイテムの情報に不整合が発生する可能性がある。それについて、どう対応したもんなんだろうか。
Lambda関数でDeadLetterQueue(DLQ)を試す
AWSのLambda関数をイベントで起動した時、複数回エラーを起こしたら、DeadLetterQueue、すなわちDLQを飛ばしたい。DLQを試すもの。Cloudformation使う。DLQはSNSとSQSが指定できるが、今回はSNSを使う。
AWS Lambdaのロギングを考える
ロギングをどうするかで困っていた。AWS Lambdaでは、プリント出力したものがCloudWatchに保存されてとても便利なのだが、考えもなしにとりあえずポンポン入れていたところ、確かに情報はあるので追えないことはないんだが、地道に時間にあたりをつけて検索するなど、非常に泥臭い作業が要求され、なにかとつらかった。
APIのコール回数など集計したいという要件も出てきて、重い腰をあげてロギングについて頑張って考えました、という話。
“AWS Lambdaのロギングを考える” の続きを読むAWS Lambdaをデプロイした時のダウンタイム
AWS Lambdaをデプロイした時、ダウンタイムは発生するのかについて。
直接答えとなる記述をドキュメントで見つけることができていないのだが、AWSフォーラムの開発者による回答を見るに、新旧両方のバージョンが動作する時間はあるものの、ダウンタイム自体は理屈のうえではなさそう。
“AWS Lambdaをデプロイした時のダウンタイム” の続きを読むDynamoDB から DocumentClient で get() した StringSet型 の値を取り出す
AWS DynamoDBで使える型の一つに、StringSetがある。これは文字列の集合だ。JavaScriptでもES6以降にはSet型があるので、それと対応していればよいのだが、残念ながらしていない。
といっても、値を取り出すには、.values でアクセスすればよいだけ。というメモ。普段Python使っているのですぐに忘れる。
“DynamoDB から DocumentClient で get() した StringSet型 の値を取り出す” の続きを読むAWS Lambda (Python 3.8)でイベント起動した時にeventに渡されるパラメータあれこれ
AWSのLambda関数で、S3とかSNSとかのイベントで発火させる時に、event変数に渡されるパラメータのjson形式についてのまとめ。
“AWS Lambda (Python 3.8)でイベント起動した時にeventに渡されるパラメータあれこれ” の続きを読む
AWS Lambda (Python 3.8)から Amazon Elasticsearchを使う(LambdaはSAMで)
LambdaからAmazon Elasticsearchにクエリを投げるためのテンプレメモ。LambdaはSAMで用意するが、Amazon Elasticsearchのドメインは事前に準備しておく。RuntimeはPython 3.8。Elasticsearchの接続にはelasticsearchのモジュールを利用する。
権限周りとかけっこうたいへん。
“AWS Lambda (Python 3.8)から Amazon Elasticsearchを使う(LambdaはSAMで)” の続きを読むAWS SAM CLIでSNSからLambdaを起動する(Python 3.8)、S3からSNSに通知する
AWS SAM CLIを使って、 SNS -> Lambda (Python3.8) 起動できるようなテンプレートのメモ。ついでに、S3のイベントでSNSに通知するような場合についても記述する。
“AWS SAM CLIでSNSからLambdaを起動する(Python 3.8)、S3からSNSに通知する” の続きを読むGrafana on EC2 で Let’s Encrypt 使ってSSL
AWSでGrafana用のEC2インスタンスをたてている。AWSならば、ELB経由にすると、ELBにACMで発行した証明書を割り当てられて楽なのだが、今回は漢のEC21本立ちなので、Let’s Encrypt を使って発行することにした。
grafana-serverでcertbotコマンドがうまくいかなかったので、nginxのリバースプロキシ機能を使い、nginx経由にしている。
“Grafana on EC2 で Let’s Encrypt 使ってSSL” の続きを読む