開発日誌– category –

最近クローラ+スクレイピングの勉強をしている。Web周りはこれまで不勉強だったものだから、非常に苦労している。種々のサイトを見ていると、サイトも色々だなぁと一サイトの管理人として思う。まぁWordPressをテンプレートそのまんまで使っているだけだが、それだけにこのサイトは扱いやすいだろうなと思う。 とはいえ世の中扱いづらいサイ...

表題のとおり。Excelファイル内の半角をすべて全角にする。住所録とかで、全角を指定されたり、とか。そういう時。人とやりとりしていると、Excelファイルは避けて通れないもので……。 Excelなのだから、Excel VBAでやるのが正道なのかもしれないけれど……わざわざ覚えるのもなー……ということで、python。便利なライブラリを開発してくれている...

あまりすることはないと思うが、bashで簡易的にスクレイピングする時によく使うコマンドとかのメモ。基本は行単位の処理なので、お手軽さを求めるなら用途は限られるか…。でも前処理とかに便利かもしれないし……。 クローリング wgetでクローリング。 wget URL 再帰的にやるなら、たとえば以下。 wget -r --no-parent -w 1 -l 1 URL オプショ...

古い記事です。今はyt-dlpです。少し高度になりますが参考記事も置いておきます。 youtube-dlはコマンドラインで使える、とっても便利なYoutubeのダウンローダー。youtube-dlを使って音声だけ抽出するメモ。怪しげなサイトを利用してなくて良いし、コマンドラインなら応用が効くので有難い。MacならHomebrewでインストールが楽。 使い方 Mac...

pythonでExcel形式のxlsxファイルを作成するのに、xlsxwriterモジュールを使わせてもらっている。とても便利で良いものだが、フォーマット関係で手こずった。具体的には、データ入力後、列単位でフォーマットを変更しようとしても、データ入力時のフォーマットが優先されてしまうこと。これは現在の仕様であるらしい。その対応のメモ。 やり...

Macで、ターミナルよりカレントディレクトリにあるpngファイルを一括でjpgに変換します。逆も同じです。Macというよりbashですが。。。 準備 定番のImageMagickを使います。Homebrewでインストールするのが楽です。 Homebrew — macOS 用パッケージマネージャー brew install imagemagick 使用例 たとえば、.pngファイルを.jpgファイルに変換...

octaveで二次元グラフを描画します。反比例のグラフ(\(y = \frac{1}{x^2}\))を描きます。 \(y = \frac{1}{x^2} (-10 \leq x \leq 10) \)を描く octaveで\(y = \frac{1}{x^2} (-10 \leq x \leq 10 ) \)のグラフを描きます。これが描けたら、だいたい二次元グラフ描画のことは思い出せると思うので。 自動範囲でプロット まず普通にplotします...

最近Androidアプリの開発をいまさらながらはじめました。今回作ったのは、音声をAndroidスマートフォンに入力し特定の音が鳴っていないか検出するアプリ。FFTで周波数解析して、周波数領域でピーク検出をするのが簡単そうです（時系列データだとノイズの影響が大きく難しそうだった）。それで、AndroidでFFTって、何がいいのかな…と調べると...

Android Studio 2.2.2、API Level 15以上にて。マイク入力のサウンドをwavファイルに出力し、録音した音源を同アプリ上で再生します。録音にはMediaRecorder、再生にはMediaPlayerを利用します。 使用するAPI Androidにおいて、録音に使用できるAPIとしてAudioRecordとMediaRecorderがあります。「Androidで録音 - teruuuのブログ」によれば...

pythonのPyYAMLでYAMLを取り扱うとき、出力はyaml.dump()を使いますが、ブロックスタイルで出力したいのにフロートスタイルで出力されることもあります。ブロックスタイルに指定して出力するには、オプションとしてdefault_flow_style=Falseを加えます。 サンプル Python 3.5 + PyYAMLにて、yaml.dump()でブロックスタイルで出力します。オプ...