Die Kirche wurde an der Stelle des Tempels der litauischen heidnischen Liebesgöttin Milda erbaut. Das heutige Äußere der Kirche stammt vom 17 Jh. Sie wurde von dem Hetman Michael Kasimir Pac erbaut, um die Befreiung der Stadt von den Russen zu gedenken und seiner eigenen Erretung. Er starb aber ohne Vollendung zu erleben. Pac verfühgte sich, ihn unter der Schwelle der Kirche zu begraben und auf den Grabstein zu schreiben – HIER LIEGT EIN SÜNDER , nachdem der Grabstein von einem Blitzschlag gespalten wurde, brachte man die Tafel zur rechten Seite des Einganges zu.

Doch wie Ausgleich dafür – über dem Balkon sehen wir eine Inschrift REGINA PACIS FUNDA NOS IN PACIS - KÖNIGIN DES FRIEDENS STÄRKE UNS ( barocke Zweideutigkeit). Der von außen streng und zurückhaltend wirkende Bau enspricht in seinem Grundriß einem lateinischen Kreuz und hat 2 niedrige Türme.

Das Innere der Kirche erstrahlt die ganze barocke Pracht. Rund 2000 weiße Stuckfiguren, von denen viele mythologische, biblische oder kriegerische Szenen darstellen, schmücken den Innenraum. Das Stuckmaterial wurde aus der Mischung von Kreide, Gips und Kalk gemacht und zeigte sich als vorzügliches Material für die Anfertigung der Statuen.

Eine der schönsten Kappelen, Augustinuskappele - Elefantenköpfe verweisen die Herkunft des Heiligen aus Afrika; gegenüber sind 2 Mädchenköpfe, meistens gedeutet als eine Litauerin und eine Polin. Nebenan- eines der schönsten Reliefs der Kirche, eine Mutter mit 2 Säuglingen an der Brust. Ein vertikales Relief zeigt den Baum der Erkenntnis ( mit Drachköpfen zwischen Blüten und Vögeln). Man kommt auf den Gedanken, daß die 2 Säuglinge nicht nur durch Blumen aber auch durch Drachen zur Erkentnis gelangen.

Eine der prominentesten Statuen ist die Maria Magdalena in der Ursulakapelle, die als Porträt der Ehefrau, eines von den Bildhauern Pietro Perti gilt. Die Darstellungen der Hl.Petrus und Paul sind meist in Gruppen angeordnet und bilden ganze Szenen mit allegorischem oder erzählerischem Sinn.

Am Übergang von Querschiff zum Chorraum steht ein Altar aus dem 20 Jh mit hölzernener, als wundertätrig geltenden Figur des Jesus von Antakalnis mit einer Perücke aus echtem Haar. Das marmorne Taufbecken stammt aus dem 17-ten Jh.Der Lüster in Schiffsform wurde von dem lettischen Meister Anfang des 20-ten Jhs angefertigt. Man könnte vorstellen, es symbolisiert Noasschiff.

Die Skulpturen sind nach dem Prinzip des Welttheaters angeordnet. Als Zuschauer fungiert Gott selbst , dessen Antlitz in der Kuppel dargestellt ist. In der Renaissance-Zeiten wurde der Mensch erhöht, zu Barockzeiten der allerwichtigste Regissieur im menschlichen Leben ist Gott- wir können spielen, was wir wollen, Gott aber lässt sich nicht hinter.