Python – 或る阿呆の記

pythonでRSSフィードを取得し、画像がない場合、リンク先の記事から拾う

pythonでRSSフィードを取得する。具体的にはhoge.rdfとか取得する。で、その中に画像情報が入っていない場合、リンク先の記事のまで飛んで、その中にある画像のURLを取得し、画像つき記事のみ出力してみるサンプル。

pythonのmysqlclientを使って、AWSのRDSにアクセスするやり方のメモ。AWSのRDSはプライベートネットワーク内にあるため、インターネットに繋がっている踏み台のサーバーをSSHで経由する必要がある。

久しぶりにmatplotlib使ったら完全に忘れている。ちょっと使わないとすぐに忘れてしまうね。

なのでメモ書き。日付と時刻がyyyy/mm/dd HH:MM:SS形式で入ったファイルを読み込んで、x軸に適切な形で表示する。

重複しない英数字（0-9a-zA-Z）の文字列のリストを作成したい。既に使われている文字列も読み込めるとする。文字列の長さも指定できるとする。pythonで実行する。pythonは3.6。

Pandasでcsvおよびexcelデータについて、読み込みと書き込みをする。

pythonにおけるcsvファイルの入出力について。csvは単なるテキストファイルであるけれど、文字コードやら改行コードやらクォーテーションの付け方やらを考えると、色々面倒臭い。

バージョンはpython3.6.4。Pandasは使わず標準のcsvライブラリでやる。たいていの場合Pandas使ったほうが楽ではある。

pythonでファイルやディレクトリを扱うときに個人的によく使う操作。よく使う割によく忘れて毎回調べてしまっている…。ので、メモ。なおPython 3.6。

pythonで画像をダウンロードする。画像のURLに応じて、ディレクトリを分ける。たとえば、画像のURLがhttps://example.com/hoge/img/img01.jpg であったとしたら、example.com/hoge/img という階層構造ができるようにディレクトリを作成する。

pythonのデータフレームライブラリPandasで、行の追加（縦方向の連結）の操作メモ。列の追加（横方向の結合）ではなく。一行だけ追加する感じで。

基本はappendとconcat。列名で一致しないところはNaNで埋められる。

PDFファイルから文章を抽出するあれこれ。画像化されているやつはOCRをかけることになるが、本記事では対象外。Mac環境下で実行。

大きくわけて、コピペする、Adobe Reader DCを使う、pdftotextを使う、pythonのpdfminer.sixを使う、のパターンで。