開発– category –

pythonのmysqlclientを使って、AWSのRDSにアクセスするやり方のメモ。普通、AWSのRDSはプライベートネットワーク内にあるため、インターネットに繋がっている踏み台のサーバーをSSHで経由する必要がある。 やりたいこと pythonのmysqlclientを使って、AWSのRDSにアクセスしてSQL文を実行したい。RDSはプライベートネットワークにあるため、踏...

久しぶりにmatplotlib使ったら完全に忘れている。ちょっと使わないとすぐに忘れてしまうね。 なのでメモ書き。日付と時刻がyyyy/mm/dd HH:MM:SS形式で入ったファイルを読み込んで、x軸に適切な形で表示する。 環境 python 3.6.5 matplotlib 2.2.2 pandas 0.22.0 pandasはファイルの読み込みで使った。 コード 以下のようなデータtest.csvを読...

（追記: 2023-01-15）この記事書いた人（過去の私）なんでUUID使わないんだろうと思った。なんか制約があったのだろうか。それとも知らなかっただけ？ 重複しない英数字（0-9a-zA-Z）の文字列のリストを作成したい。既に使われている文字列も読み込めるとする。文字列の長さも指定できるとする。pythonで実行する。pythonは3.6。 コード ラン...

たまにcron使おうとすると、注意事項をしょっちゅう忘れてしまうので、自分用にメモ。なんか他にも色々あったような気がするがとりあえず思いついただけを。 実行ユーザーと環境変数 実行ユーザーはcrontabを実行して編集したユーザー。管理者権限がほしい場合は、sudoでcrontabを編集する。 環境変数を以下のようにして調べる。 * * * * * /...

Pandasでcsvおよびexcelデータについて、読み込みと書き込みをする。 環境はPython 3.6.3、Pandas 0.20.3。 やり方 pythonでcsvの読み書きにはcsvモジュールがあるし、excelファイルの読み込みにはxlrd、書き込みにはxlsxwriterなどがある。が、その後のデータの扱いなども考えると、pandasを使うのがやりやすい（内部的に何を使っているかは...

pythonにおけるcsvファイルの入出力について。csvは単なるテキストファイルであるけれど、文字コードやら改行コードやらクォーテーションの付け方やらを考えると、色々面倒臭い。 バージョンはpython3.6.4。Pandasは使わず標準のcsvライブラリでやる。たいていの場合Pandas使ったほうが楽ではある。 csvファイルの入出力 文字コードがsjisで...

pythonでファイルやディレクトリを扱うときに個人的によく使う操作。よく使う割によく忘れて毎回調べてしまっている…。ので、メモ。なおPython 3.6。 以下、osとshutilをインポートしつつ。「11.2. os.path — 共通のパス名操作 — Python 3.6.3 ドキュメント」とか見つつ。 ファイル f = 'hoge/hoge1/hoge2/hogehoge.txt' があるとして。 ファ...

複数のサイズがまちまちな画像ファイルについて、一括でまとめて正方形にしたい。一辺の長さは縦幅と横幅のうち大きい方を採用し、足りない分は白または透明で塗りつぶす。 imagemagickを使ってシェルスクリプトで実装した。 ソースコード 環境はmacOS 10.13でGNU bash 3.2.57。 まず、余白をつけるのは以下のコマンド。 convert hoge.jpg -b...

pythonで画像をダウンロードする。画像のURLに応じて、ディレクトリを分ける。たとえば、画像のURLがhttps://example.com/hoge/img/img01.jpg であったとしたら、example.com/hoge/img という階層構造ができるようにディレクトリを作成する。 ソースコード https://example.com/hoge/img/img01.jpg をダウンロードするとしてコードを書く。 ...

最近仕事で使うことになったので、AWS(Amazon Web Services)を急遽勉強している。さすがにネットに直に関係する分野なだけあり、入門的な記事は散らばっているが、AWSの変化が早いことや、立ち位置によって入門の意味が大きく違うために、どうにもイマイチ掴めない。 で、結局入門書を一冊購入し、そのとおりにやったつもりなのにやっぱりエ...