今日は、前々から試してみたかった、panoptic segmentationをDetectron2を用いて実験してみました。
panoptic segmentation
- Panoptic segmentationは、Semantic Segmentation と Instance Segmentation を足し合わせたようなタスク。
入力は画像で、出力には Semantic Segmentation のように、全てのピクセルにラベルが振られ、かつ数えられる物体に関しては、個別で認識した結果が返される。
数えられるクラス（車や人）を Thing クラスといい、数えられないクラス（空や道）を Stuff クラスといいます。Thing クラスに対して Instance Segmentation、Stuff クラスに対してSemantic Segmentation を行うタスク。
参考
実験対象
結果
[https://youtu.be/7RF8mFQ1QvM:embed:cite]
考察
- 人間はperson、馬はhorseと正しく認識しているのがわかります。
- 建物は、一つのくくりでbuildingとなっています。
- 観客は残念ながら人として人してしていない様です
- パドックに何頭、馬がいて、騎手が何人いるか、管理員がどのくらいいるのか？ などは分析できそうです。
