Kiltsi loss on püstitatud 15.-16. saj pärineva vasall-linnuse varemeile. 19. saj kuulus loss von Krusensternide suguvõsale. Adam Johann von Krusensterni juhtimisel teostus Vene esimene ümbermaailmareis (1803-1806), mille põhjal koostas ta just Kiltsis elades “Lõunamere atlase”.
1920. aastast alates asub lossis kool. Tänu sellele on ajalooline hoone säilinud.
Lossi on võimalik rentida sünnipäeva- ja pulmapidude, koolituste ja seminaride korraldamiseks, alates 2023 suvest on see avatud ettetellimisel ainult gruppidele.
Lossi ümber on maaliline park, kus saab jalutada.