Paberžės dvaras dar vadinamas Šilingo vardu, nes jį 1793 m. pastatė baronas Šilingas.

Dabar Paberžės dvaro sodyboje – vienintelis Lietuvoje 1863 m. sukilimo muziejus. Muziejų supa gražus parkas, kuriame stūkso tautodailininko Genriko Galvanausko sukurtos medžio skulptūros, skirtos žuvusiems sukilėliams iš Paberžės apylinkių. Vyksta muzikiniai vakarai, susitikimai, šventės. Paberžę taip pat išgarsino tarybiniais metais čia klebonavęs kunigas tėvas Stanislovas (Mykolas Dobrovolskis). Tėvas Stanislovas klebonijoje sukaupė unikalią liturginių drabužių ir ritualinių reikmenų kolekciją. Paberžėje dar yra senos, kaip ir pati ši gyvenvietė, kapinaitės, nusagstytos tradiciniais šio krašto koplytstulpiais ir kryžiais, skirtais amžino poilsio čia atgulusiems sukilimo dalyviams ir jų šeimų nariams.