[[Mayfes 2008]]
*声描き全体のまとめ [#va93958b]
**声描きとは [#p889e749]
-マイクロフォンアレイと信号処理による音源位置の道程などを利用したビジュアライゼーションをするプロジェクト
**関連 [#h6a5a140]
-[[PortAudioに関して]]
-[[OpenGLに関して]]
**開発環境に関して（推奨 [#md004143]
-GCCを中心にしたいと思います。
--cygwin
--MinGW
--portaudio(V19
--openGL
とりあえずportaudioとopenGLは必須です。それ以外はどうでもいいですが、推奨環境以外でのトラブルについてはフォローできない場合があります。
**現在のTODO [#e5175d3f]
ほとんど予備実験レベルだけども。
-マイク購入
-マルチチャンネル機器の接続ができるかどうか確認
-音声認識に関する実験
--一次元レベルでの実験
---マイク間距離による特性
---SN比の検証
---音源の位置による特性
**ビジュアライズ案 [#r49fed1a]
google groupから抜粋。
-音の干渉
--音の波が広がり干渉していくさまを映像で表現
-シルエット当てクイズ
--音の位置、大きさ、周波数などのパラメータに応じてシルエットの一部分を明らかにし、そのシルエットが何か当てるクイズ
-球体変化
--音の変化で球体がとげとげになったりつるつるになったり
--参考URL http://mail2.nara-edu.ac.jp/~asait/open_gl/opengl.htm
-音モーフィング
--音の変化で画像がモーフィング
-花火
**discussion [#j9f96c36]
-とりあえずporaudioの導入はいろいろありましたが、できた。問題は新ＰＣで問題が出ないかどうか。 by harajune
-一次元の音声信号処理はまちゃがやってるらしいので、なんかコメントほしいなぁ by harajune
-リポジトリとかあったほうがいいかね？
**一次元位置推定 [#bc920811]
//マチャが一晩でやってくれました
-portaudioのpatest_record.cを改変してとりあえず一次元の位置推定をやってみました。by GoK
#ref(pa_test1_080216.c)
--portaudioの他にfftw3を使用しているため、適宜入れてください。
---gcc -lportaudio -lfftw3 -o pa_test1 pa_test1_080216.c
---うちの環境(Ubuntu 7.10)では上のコマンドでコンパイルしています。
--起動すると５秒間位置推定を行い、その結果を"result"というテキストファイルに書き出します。適宜scilabやgnuplotでグラフ化してみてください。
---出力結果は単純に相関関数の最大の位置を出しているだけです。多分「どちらのマイクに近いか」を表す大体の値だと思って良いのでしょう。
--添付の[[test1_1.jpg>http://tzik.homeunix.net/ap2007/wiki/index.php?plugin=attach&pcmd=open&file=test1_1.jpg&refer=%E5%A3%B0%E6%8F%8F%E3%81%8D]]
は二つのマイク間を声を出しつづけながら往復した時の結果で、[[test1_2.jpg>http://tzik.homeunix.net/ap2007/wiki/index.php?plugin=attach&pcmd=open&file=test1_2.jpg&refer=%E5%A3%B0%E6%8F%8F%E3%81%8D]]
は一箇所に留まって声を出しつづけた時の結果です。
---この時のマイク間の距離は大体1mです。距離を離せば精度が上がる……かも。
--複数人の声があったりする場合にどうなるかは試していません。また、楽器の音などの周波数成分的に綺麗な音はかえってうまく推定できないように見受けられました。
--音の大きさは相関関数の最大値の大きさで大体表されるようです。今回それは考慮に入れてませんが、多分何かに使えると思います。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
