カテゴリー: Python

Pandasでcsvおよびexcelデータについて、読み込みと書き込みをする。

環境はPython 3.6.3、Pandas 0.20.3。
“Pandasでcsv, excelデータの読み込み・書き込み” の続きを読む

pythonにおけるcsvファイルの入出力について。csvは単なるテキストファイルであるけれど、文字コードやら改行コードやらクォーテーションの付け方やらを考えると、色々面倒臭い。

バージョンはpython3.6.4。Pandasは使わず標準のcsvライブラリでやる。たいていの場合Pandas使ったほうが楽ではある。

“pythonでcsvファイルの入出力。エンコードとか改行コードとか考慮しつつ” の続きを読む

pythonでファイルやディレクトリを扱うときに個人的によく使う操作。よく使う割によく忘れて毎回調べてしまっている…。ので、メモ。なおPython 3.6。

以下、osとshutilをインポートしつつ。「11.2. os.path — 共通のパス名操作 — Python 3.6.3 ドキュメント」とか見つつ。

“Pythonでファイル・ディレクトリ操作” の続きを読む

pythonで画像をダウンロードする。画像のURLに応じて、ディレクトリを分ける。たとえば、画像のURLがhttps://example.com/hoge/img/img01.jpg であったとしたら、example.com/hoge/img という階層構造ができるようにディレクトリを作成する。

“pythonで画像をダウンロードして、URLに応じてディレクトリ分けする” の続きを読む

pythonのデータフレームライブラリPandasで、行の追加（縦方向の連結）の操作メモ。列の追加（横方向の結合）ではなく。一行だけ追加する感じで。

基本はappendとconcat。列名で一致しないところはNaNで埋められる。

“Pandasで行の追加（縦方向の連結）の操作メモ” の続きを読む

最近クローラ+スクレイピングの勉強をしている。Web周りはこれまで不勉強だったものだから、非常に苦労している。種々のサイトを見ていると、サイトも色々だなぁと一サイトの管理人として思う。まぁWordPressをテンプレートそのまんまで使っているだけだが、それだけにこのサイトは扱いやすいだろうなと思う。

とはいえ世の中扱いづらいサイトのほうが多いわけで、学ぶべきことは多い。ということで、とりあえずGoogle検索からしてみる。

“seleniumのGoogle検索で最初にヒットしたサイトのスクリーンショットを撮る” の続きを読む

表題のとおり。Excelファイル内の半角をすべて全角にする。住所録とかで、全角を指定されたり、とか。そういう時。人とやりとりしていると、Excelファイルは避けて通れないもので……。

Excelなのだから、Excel VBAでやるのが正道なのかもしれないけれど……わざわざ覚えるのもなー……ということで、python。便利なライブラリを開発してくれている方のおかげで、大して覚えることもなく。有難い。

“pythonでExcelファイル内の半角をすべて全角にする” の続きを読む

pythonでExcel形式のxlsxファイルを作成するのに、xlsxwriterモジュールを使わせてもらっている。とても便利で良いものだが、フォーマット関係で手こずった。具体的には、データ入力後、列単位でフォーマットを変更しようとしても、データ入力時のフォーマットが優先されてしまうこと。これは現在の仕様であるらしい。その対応のメモ。

“pythonのxlsxwriterでフォーマットの上書きをしたいが…” の続きを読む