Instance segmentation merupakan salah satu pengembangan dari image segmentation. Image segmentation adalah teknik yang dapat membagi-bagi gambar menjadi beberapa bagian yang disebut segment. Cara kerja image segmentation adalah dengan melakukan deteksi objek dahulu, kemudian hasil deteksi tersebut akan menciptakan kotak yang menandai adanya objek pada pixel tersebut.

Instance segmentation yang diawali dengan object detection

Selanjutnya segment tersebut akan melakukan pixel-wise mask seperti pada gambar berikut.

Teknik ini sangat berguna jika terdapat banyak objek pada suatu gambar. Karena objek yang banyak tersebut bisa dengan mudah terpisah dari gambar keseluruhannya dan dapat dijadikan sebagai dataset. Image segmentation ini juga memiliki beberapa tipe yang dapat dilihat pada di atas. Pada gambar tersebut dapat dilihat terdapat dua jenis image segmentation, yakni instance segmentation dan semantic segmentation. Hal yang membedakan kedua tipe ini adalah semantic segmentation memperlakukan banyak objek dengan class yang sama sebagai satu entitas (pada kasus di atas, objek manusia dikelompokkan menjadi 1 bagian), namun tidak untuk instance segmentation. Pada tipe tersebut objek dengan class yang sama akan diperlakukan sebagai entitas yang berbeda.