KUSK Object Dataset: Annotation of Access History to Objects on Cooking Counter

あらまし 調理作業では多数の道具を使いながら,複数の食材を加工し一つの料理を作る.このような流れはワーク フローとして記述できることが知られており,ワークフローと実際の調理作業との対応付けは重要な課題である.ま た,この対応付けを行う上で,調理者がどの物体に接触したかという履歴は重要な情報となる.そこで,本研究では 先行研究で発表した Kyoto University Smart Kitchen Dataset (KUSK Dataset)に収録された映像を対象とし,調理 台上に登場した物体と,その物体に対する調理者の接触履歴についてのアノテーションデータと,それらのアノテー ションデータに基いた物体認識結果を備えた KUSK Object Datasetを作成する.調理台上の物体と調理者との接触 を自動で検出する我々の先行研究の手法を適用することで効率的なアノテーションを行い,5947個の物体領域画像を 収集することができた.また,既存の物体認識手法により,70%程度の精度での認識が行えることを確認した.この 認識結果は調理作業を対象とした物体認識問題におけるベースラインとしての利用だけでなく,自然言語処理と画像 処理の融合研究における,仮想的な画像処理結果としての利用も想定している. キーワード 食メディア, データセット, 物体認識, アノテーション