pythonでcsvファイルの入出力。エンコードとか改行コードとか考慮しつつ

pythonにおけるcsvファイルの入出力について。csvは単なるテキストファイルであるけれど、文字コードやら改行コードやらクォーテーションの付け方やらを考えると、色々面倒臭い。

バージョンはpython3.6.4。Pandasは使わず標準のcsvライブラリでやる。たいていの場合Pandas使ったほうが楽ではある。

“pythonでcsvファイルの入出力。エンコードとか改行コードとか考慮しつつ” の続きを読む

Pythonでファイル・ディレクトリ操作

pythonでファイルやディレクトリを扱うときに個人的によく使う操作。よく使う割によく忘れて毎回調べてしまっている…。ので、メモ。なおPython 3.6。

以下、osとshutilをインポートしつつ。「11.2. os.path — 共通のパス名操作 — Python 3.6.3 ドキュメント」とか見つつ。

“Pythonでファイル・ディレクトリ操作” の続きを読む

pythonで画像をダウンロードして、URLに応じてディレクトリ分けする

pythonで画像をダウンロードする。画像のURLに応じて、ディレクトリを分ける。たとえば、画像のURLがhttps://example.com/hoge/img/img01.jpg であったとしたら、example.com/hoge/img という階層構造ができるようにディレクトリを作成する。

“pythonで画像をダウンロードして、URLに応じてディレクトリ分けする” の続きを読む

seleniumのGoogle検索で最初にヒットしたサイトのスクリーンショットを撮る

最近クローラ+スクレイピングの勉強をしている。Web周りはこれまで不勉強だったものだから、非常に苦労している。種々のサイトを見ていると、サイトも色々だなぁと一サイトの管理人として思う。まぁWordPressをテンプレートそのまんまで使っているだけだが、それだけにこのサイトは扱いやすいだろうなと思う。

とはいえ世の中扱いづらいサイトのほうが多いわけで、学ぶべきことは多い。ということで、とりあえずGoogle検索からしてみる。

“seleniumのGoogle検索で最初にヒットしたサイトのスクリーンショットを撮る” の続きを読む

pythonでExcelファイル内の半角をすべて全角にする

表題のとおり。Excelファイル内の半角をすべて全角にする。住所録とかで、全角を指定されたり、とか。そういう時。人とやりとりしていると、Excelファイルは避けて通れないもので……。

Excelなのだから、Excel VBAでやるのが正道なのかもしれないけれど……わざわざ覚えるのもなー……ということで、python。便利なライブラリを開発してくれている方のおかげで、大して覚えることもなく。有難い。

“pythonでExcelファイル内の半角をすべて全角にする” の続きを読む

pythonのxlsxwriterでフォーマットの上書きをしたいが…

pythonでExcel形式のxlsxファイルを作成するのに、xlsxwriterモジュールを使わせてもらっている。とても便利で良いものだが、フォーマット関係で手こずった。具体的には、データ入力後、列単位でフォーマットを変更しようとしても、データ入力時のフォーマットが優先されてしまうこと。これは現在の仕様であるらしい。その対応のメモ。

“pythonのxlsxwriterでフォーマットの上書きをしたいが…” の続きを読む

pythonのPyYAMLでブロック形式で書き込み(dump出力)

pythonのPyYAMLでYAMLを取り扱うとき、出力はyaml.dump()を使いますが、ブロックスタイルで出力したいのにフロートスタイルで出力されることもあります。ブロックスタイルに指定して出力するには、オプションとしてdefault_flow_style=Falseを加えます。

“pythonのPyYAMLでブロック形式で書き込み(dump出力)” の続きを読む