開発– category –
-
Lambdaで、S3に画像がアップロードされたら、別のバケットにコピーする(python3)
S3のバケットsrc-bucketに画像がアップロードされたら、それをトリガーにして別のバケットdest-bucketにコピーする関数をLambdaで作成する。言語はpython 3.6。 やりたいこと src-bucketにobj.jpgがアップロードされたら、自動的にobj.jpgをdest-bucketにコピーしたい。 AWSのLambdaを使って、そのような関数を作成する。 IAMロールの作成 La... -
Pandasで2列を比較してTrue/Falseの新たな列を作る。さらに1/0へのマッピング
Pythonの便利なデータフレームのライブラリPandasを使って、2列の値を比較してTrue/Falseの新たな1列を作るやり方のメモ。また、他のシステムとの連携ではTrue/Falseじゃなくて1/0(or 0/1)が必要だったりするので、そのマッピングについても。 環境 python 3.7.0 panda 0.23.3 2列の比較 以下のようなcsvを用意する。 a,b 0,0 0,1 1,0 1,1 こ... -
既存システムにAWSのLambdaで作ったREST APIの認可で手こずる
既存のWebサービスのシステムについて、アプリケーションの肥大化とか、この先のことをメンテナンスとか、後はまぁ単にやってみたかったというのもあって、機能の追加でAWSのAPI Gateway + LambdaでREST APIを作成することにした。APIを誰でもかれでも使えては困ってしまうので、APIの保護をしなくてはならないのだが、これが思ったよりもだ... -
S3で特定のバケットを誰でも読み取りできるようにするバケットポリシー
Amazon S3のバケットについて、誰でも読み取りできるようにするためのバケットポリシーについてのメモ書き。jQueryなんかgetしたりなんだりするための設定も併せて。 S3の権限 S3において、特に設定を変更せずにバケットを作成すると、非公開のバケットが作成される。普通はそれでよいのだが、公開用のバケットを作成したい時もある。 誰でも... -
simpleMicroServiceRoleでDynamoDBをqueryする権限を与える
AWSのLambdaでは実行ロールを用いてアクセス制御を行うわけだが、テンプレートポリシーのsimpleMicroServiceRoleを用いると、Cloud Watch LogsとDynamoDBの基本的な操作権限が与えられて便利だ。便利なのだが、Queryの権限がないので（Scanはあるのに）、その権限を追加するメモ。 Queryの権限を与える AWSのLambdaでDynamoDBを操作したりな... -
pythonのpipで入れているもの
Pythonのpipで入れているものについてのメモ。新しく環境作るときとかのための備忘録。 環境はPython3系。 venvできる ログインシェル用の環境はvenvで切ってやる。 いれるもの poetry black flake8 numpy pandas matplotlib tqdm pyyaml テスト pytest pytest-mock pytest-cov xlsxwriter openpyxl そのほか git+https://github.com/bitban... -
AWS Lambda + API Gateway で/hoge/{group}/{user}のように階層構造のREST APIでパスパラメータの受け渡し
AWS系の記事を書くと、サービス名が入るのでどうしてもタイトルが長くなってしまうのがつらい。二時間ドラマでもここまで長くない。 AWS Lambda + API Gateway でREST APIを作るとして、/hoge/{group}/{user}のように、URI階層構造にして、かつ{group}と{user}をパスパラメータとして関数内で処理するようなパターンを考える。ちなみにLambda... -
AWS Lambda + API Gateway でREST APIを作成し、値を渡してDynamoDBに書き込んでついでに返り値を得るサンプル
やたらと長い表題になってしまったがこのとおり。AWS Lambda + API Gateway でREST APIを作成する。API経由で値をjsonで渡してDynamoDBに書き込み、さらに返り値をjsonで得られるようなサンプルを作成する。Lambdaはpython3.6で書く。 すっごいハマった……。 やること REST APIを叩いて、DynamoDBに書き込みを行いたい。かつ、返り値を得て結... -
eclipseで進行中のプロジェクトをbitbucketで管理したい
eclipseでローカルで開発しているプロジェクトを、bitbucketのリポジトリで管理したい。 eclipseにもgitにも慣れていない身の上。すごく、迷走しました……。 環境 macOS 10.13.5 High Sieera eclipse 4.7.2 egit やりたいこと 現在ローカルで開発中のプロジェクトexampleを、bitbucketで管理するようにしたい。 手順 手順は以下。 最初にbitbu... -
AWS S3上のjsonファイルをgetJSONしたらNo ‘Access-Control-Allow-Origin’ header is present on the requested resourceと怒られた時の対応
AWSのS3上にjsonファイルを置いて、サーバーからjQuery.getJSONで読み込みに行ったところ、怒られた。セキュリティ上の問題から、クロスドメインを許さない、Same-Origin Policyのため。S3側で対応が必要。 以下、メモ。 状況 AWSのS3上にjsonファイルを置いた。EC2インスタンスから、jQuery.getJSONでjsonファイルを読み込もうとした。 が、...
