Benteng Baluwerti dibangun atas prakarsa Pangeran Adipati Anom, putra mahkota Sultan Hamengku Buwono I, sebagai reaksi atas berdirinya benteng Vredeburg yang dibangun oleh Belanda di sebelah utara Keraton. Benteng ini kemudian disempurnakan manakala Pangeran Adipati Anom telah naik tahta menjadi Sri Sultan Hamengkubuwono II