Nemuno ir Neries santakoje esanti pilis buvo pastatyta XIV a. kryžiuočių antpuoliams atremti. Tai ne tik seniausia mūrinė pilis Lietuvoje, bet ir vienintelė, turinti dvi eiles gynybinių sienų. Aplink šį gotikinį gynybinį statinį kūrėsi gyvenvietė, išaugusi į dabartinį miestą.