Dolina rzeki Sinicy, porośnięta borem, rozciągała się na cyplu, który osłonięty był wzgórzami. Prawdopodobnie na jego zachodnim skraju (dzisiejszy odcinek ul. IX Wieków, w okolicy dawnej synagogi, obecnie Archiwum Państwowego) powstała pierwotna osada nazwana Kielce. Na jej wschodniej granicy, pod koniec XI w., postawiono modrzewiowy kościół św. Wojciecha. Na jego miejscu w 1763 r. stanęła murowana świątynia, przebudowana w stylu klasycystycznym w XIX wieku. Jest ona znacznie większa od pierwotnej, drewnianej, ale stoi dokładnie w tym samym miejscu. Ze względu jednak na swoje rozmiary, obecny kościół św. Wojciecha kryje część wczesnośredniowiecznego cmentarzyska.
Dawny cmentarz grzebalny przy najstarszej kieleckiej świątyni otaczał mur, w który wtopiona jest zabytkowa Latarnia Zmarłych.
Wzniesiona została po zachodniej stronie kościoła św. Wojciecha. Kamienne dzieło datowane jest na rok 1732. Na okrągłym słupie o wielobocznej podstawie widnieje ażurowa kapliczka, zwieńczona krzyżem. Między czterema narożnymi balaskami widać kamienną rzeźbę Chrystusa Frasobliwego.