ながらデバッグマスク:口の表情を入力としてソースコードの読み上げと バグの検出・記録が可能な仕組み

2018-01-14

従来のプログラミング方法は手を動かしての入力とモニタからの視覚情報の提示を必要とする.

本稿では,この問題を解決するために,発声の伴わない口の表情を入力とし聴覚情報の提示でデバッグを行うシステムを提案する.

外部に 音声に漏らすことなく使用可能な口の表情を 5 種類,マスク型デバイスで識別して,ソースコードの読み上げとバグの検 出および記録を操作するシステムを実装した.

聴覚情報でのデバッグに関する予備検討とマスク型デバイスの精度実験 を行った.

論文概要より

ながらデバッグマスク:口の表情を入力としてソースコードの読み上げと バグの検出・記録が可能な仕組みの装着イメージ

カテゴリー

  • 論文
  • 研究
  • 学会

関連リンク

メンバー

  • 橋田朋子(研究室の教授)

役割

  • エンジニア
  • 論文執筆者

発表・公開場所

  • 早稲田大学基幹理工学研究科表現工学専攻2017年度修士論文
  • インタラクション2018

使用技術

  • Processing
  • Python
  • SVM
  • 機械学習
  • データビジュアライゼーション

その他画像

  • 実装したハードウェアのマスク部分(内側)
  • SVMによる口の表情の分類結果