開発– category –
-
AWSのLambdaでcronみたいな感じで定期実行する
AWSのLambda関数を、Linuxのcronのような感じで定期的に実行したい時のやり方のメモ。 トリガーをCloudWatch Eventsのスケジュール式にすればよい。5分毎、のような設定が可能なRate式と、従来のcronとほぼ同じように毎月2時15分00秒、というような設定が可能なCron式の設定がある。 Webコンソールのやり方と、ついでにSAM使うときのtemplate... -
LambdaでS3をトリガーにした時にConfigurations overlap. Configurations on the same bucket cannot share a common event type.と怒られる
LambdaでS3をトリガーにして保存しようとすると、「Configurations overlap. Configurations on the same bucket cannot share a common event type.」とか言って怒られる。 多分前の設定が残っているのでそのメモ。 症状 LambdaでS3をトリガーにして保存した時に、Configurations overlap. Configurations on the same bucket cannot share ... -
Lambdaで、S3に画像がアップロードされたら、別のバケットにコピーする(python3)
S3のバケットsrc-bucketに画像がアップロードされたら、それをトリガーにして別のバケットdest-bucketにコピーする関数をLambdaで作成する。言語はpython 3.6。 やりたいこと src-bucketにobj.jpgがアップロードされたら、自動的にobj.jpgをdest-bucketにコピーしたい。 AWSのLambdaを使って、そのような関数を作成する。 IAMロールの作成 La... -
Pandasで2列を比較してTrue/Falseの新たな列を作る。さらに1/0へのマッピング
Pythonの便利なデータフレームのライブラリPandasを使って、2列の値を比較してTrue/Falseの新たな1列を作るやり方のメモ。また、他のシステムとの連携ではTrue/Falseじゃなくて1/0(or 0/1)が必要だったりするので、そのマッピングについても。 環境 python 3.7.0 panda 0.23.3 2列の比較 以下のようなcsvを用意する。 a,b 0,0 0,1 1,0 1,1 こ... -
既存システムにAWSのLambdaで作ったREST APIの認可で手こずる
既存のWebサービスのシステムについて、アプリケーションの肥大化とか、この先のことをメンテナンスとか、後はまぁ単にやってみたかったというのもあって、機能の追加でAWSのAPI Gateway + LambdaでREST APIを作成することにした。APIを誰でもかれでも使えては困ってしまうので、APIの保護をしなくてはならないのだが、これが思ったよりもだ... -
S3で特定のバケットを誰でも読み取りできるようにするバケットポリシー
Amazon S3のバケットについて、誰でも読み取りできるようにするためのバケットポリシーについてのメモ書き。jQueryなんかgetしたりなんだりするための設定も併せて。 S3の権限 S3において、特に設定を変更せずにバケットを作成すると、非公開のバケットが作成される。普通はそれでよいのだが、公開用のバケットを作成したい時もある。 誰でも... -
simpleMicroServiceRoleでDynamoDBをqueryする権限を与える
AWSのLambdaでは実行ロールを用いてアクセス制御を行うわけだが、テンプレートポリシーのsimpleMicroServiceRoleを用いると、Cloud Watch LogsとDynamoDBの基本的な操作権限が与えられて便利だ。便利なのだが、Queryの権限がないので（Scanはあるのに）、その権限を追加するメモ。 Queryの権限を与える AWSのLambdaでDynamoDBを操作したりな... -
pythonのpipで入れているもの
Pythonのpipで入れているものについてのメモ。新しく環境作るときとかのための備忘録。 環境はPython3系。 venvできる ログインシェル用の環境はvenvで切ってやる。 いれるもの poetry black flake8 numpy pandas matplotlib tqdm pyyaml テスト pytest pytest-mock pytest-cov xlsxwriter openpyxl そのほか git+https://github.com/bitban... -
AWS Lambda + API Gateway で/hoge/{group}/{user}のように階層構造のREST APIでパスパラメータの受け渡し
AWS系の記事を書くと、サービス名が入るのでどうしてもタイトルが長くなってしまうのがつらい。二時間ドラマでもここまで長くない。 AWS Lambda + API Gateway でREST APIを作るとして、/hoge/{group}/{user}のように、URI階層構造にして、かつ{group}と{user}をパスパラメータとして関数内で処理するようなパターンを考える。ちなみにLambda... -
AWS Lambda + API Gateway でREST APIを作成し、値を渡してDynamoDBに書き込んでついでに返り値を得るサンプル
やたらと長い表題になってしまったがこのとおり。AWS Lambda + API Gateway でREST APIを作成する。API経由で値をjsonで渡してDynamoDBに書き込み、さらに返り値をjsonで得られるようなサンプルを作成する。Lambdaはpython3.6で書く。 すっごいハマった……。 やること REST APIを叩いて、DynamoDBに書き込みを行いたい。かつ、返り値を得て結...
