Magasból tekintve a városra légifelvétel mutatja, ahogy szinte szimbiózisban kapcsolódik össze a két épület. Magyarország területén csak Szekszárdon és Szolnokon van hasonló közelség a két intézmény között.
Volt idő, amikor még az éppen regnáló főispán birtokán tartották a közgyűléseket, s a nemességre, a vármegyére hárult a feladat, hogy gondoskodjék az ülések megfelelő színhelyéről. 1835 októberében költözhetett be Nógrád vármegye közgyűlése és hivatala Balassagyarmaton a Megyeháza klasszicista stílusú épületébe, amelyet a XVIII. századi császári laktanya helyére tervezett Kasselik Ferenc. S bár a képviselők, elöljárók méltó elhelyezése megoldódott, a börtönviszonyok javítása, megfelelő épület létesítése még váratott magára. A „börtönügy” már Mária Terézia uralkodásától, de leginkább a XIX. század első felétől birodalomszerte a fontos feladatok közé tartozott. Nógrád az országban elsőként, 1845-re megépíttette a jellegében, belső kialakításában máig változatlan börtönépületét.
A história szerint amikor Kazinczy Ferenc 1831-ben Nógrádban járt, felkereste Gyurcsányi Gábor alispánt, s dicsérő szavakat mondott a posztókészítőként foglalkoztatott rabok helyzetéről. Ahogy megjegyezte: „Szelíd bánás mindig javít, durva bánás mindig ront.” Széphalom remetéje tudhatta, miről beszél, mire van szüksége a fogvatartottnak, hiszen súlyos éveket töltött tömlöcben Budán és Brünn mellett, a spielbergi várban, majd az obroviczi fogházban és Kufstein várában.
Entz Mátyás helyi építőmestert a vármegye 1838-ban bízta meg a börtön tervezésével, ám a terveket 1841-ben a budai Helytartótanács és a bécsi Hofbaurat is elutasította. Sikeresebb volt az új tervező, Novák Dániel pesti mérnök kiválasztása. Entz Mátyás kereszt alaprajzú épületével ellentétben
Novák Dániel nyolcszög alapú, négy keresztfolyosó-rendszerű objektumot tervezett, a zárkák ablakai a világítóudvarra, az ajtók a kör alakú folyosóra nyíltak.
A tervet dicséri, hogy a szökés a mai napig ismeretlen fogalom maradt itt. Novák kritikusai ugyan felvetették, hogy lemásolta a filozófus Jeremy Bentham XVIII. századi tervét, az ő nevéhez fűződött a panopticon (görög pan és opticos = mindenlátás) torony kialakítása. A gyűrű alakú, közepén hengerszerű toronnyal kialakított épületben egy-egy őrszemmel ellenőrizhetők az elítéltek, mert minden fogvatartott az őr látómezejében lehet. Az elképzelés az állandó megfigyeléstudat kialakításáról, s vele a sikeres átnevelésről szólt. Így volt-e, vagy sem, Novák átvette-e Bentham gondolatát vagy sem, tény, hogy az épület 1845-re állt, megelőzve a váci (1855) és márianosztrai (1858) intézményeket.
Kasselik Ferenc, a Vármegyeháza tervezője és kivitelezője kapott megbízást a börtön megépítésére. S bár neve, akárcsak Nováké manapság már alig ismert, érdemes megjegyezni, hogy négyszáz magán- és középület, köztük az utóbb Hild József által átépített, majd lebontott régi pesti Városháza, a Citadella, s az egykori Nemzeti Zenede építése fűződik nevéhez.
A Pesther Handlungszeitung 1845. július 25-i száma így írt: „Mindenki azt állítja, hogy a Magyar Királyságban az ez idáig létrehozott összes börtön közül a Nógrád megyei, Balassa-Gyarmati érdemli meg az első helyet.” Zárómondata az építészt és a kivitelezőt, Kasselik Ferencet méltatta: „Semmit sem hagytak figyelmen kívül, ami orvosi-rendészeti és műszaki-tudományos tekintetben egyáltalában szóba jöhet.”
Aztán a műszaki részletekről is beszámolt, szólt az épület körkörös formájáról, huszonkét öles átmérőjéről, hat szintjének huszonnyolc-huszonnyolc boltozatos cellájáról. Petőfi Sándor az Életképek 1845. augusztus 2-i számában megemlékezett az épületegyüttesről: „Gyarmaton megnézvén az igen szép megyeházát, s a most épülő roppant börtönt, s a vásárban egyet fordulván, elindultam Váczra.”
Novák Dániel különleges, ám megosztó személyiség volt, a budai építési igazgatóság rajzolójaként, majd előadójaként dolgozott. Életrajzírói szerint szerepet játszott a XIX. század első felében Pest és Buda városképének kialakításában. Foglalkozott építészettel, hidászattal, vízüggyel, közlekedéssel, művészetekkel, számos tanulmányt, cikket írt, az első magyar nyelvű művészeti adattár szerzője volt, ám szavai csekély visszhangra találtak. Pedig
elsőként Novák állt elő a budai alagút javaslatával 1837-ben. Kétféle terve is volt, az egyik szerint a hegy alatt két párhuzamos járatot építettek volna oda-vissza, egyirányú forgalomra, másik terve a megépült változathoz hasonlított, emellett kész elképzelései voltak a Duna alatti alagút és állandó híd létesítéséről.
Novák Dániel az alkotmányos monarchia híve volt, s 1849 májusában, Buda visszavétele után az elsők között fogták el és állították a honvéd haditörvényszék elé. Hét tanú tett ellene vallomást, felidézve, hogy Hentzi Henrik császári parancsnoknak felajánlotta szolgálatait, magának és társainak fegyvert kért, dicsőítette Ferenc Józsefet, újoncadásra biztatta az embereket. Így lett a magyar haza, a nemzet kárára hazaáruló, ahogyan 1849. május 29-én, golyó általi kivégzése után a Vérmezőn kiosztott Hirdetmény szólt róla. Bár az utókor a hazaárulása okán igyekezett személyéről elfeledkezni, de érdemeiből politikai nézetei mit sem vonnak le, a balassagyarmati börtönépület tervezése biztosan különleges szakmai teljesítmény volt.
S hogyan alakul napjainkban a hajdani Vármegyeháza és a börtön sorsa?
Korábban voltak nagyvonalú városi tervek, kivinni a fegyházat a városhatárnál létesülő ezerfős épületbe és a régi épületnek turisztikai, idegenforgalmi funkciót adni. Ám a képviselő-testület 2013-as javaslatát nem tette magáévá a kormány. Viszont az évtizedekig elzárt börtönkápolna freskóit Lencsés Zsolt festőművész néhány elítélt közreműködésével restaurálta.
Az egykori Vármegyeháza épülete – ahol valaha Madách Imre és Mikszáth Kálmán is dolgozott megyei aljegyző korában – ma a városé, a tervek szerint a közeljövőben felújítják dísztermét. Tavaly az egyik épületszárnyába Kerékpármúzeum költözött. Nagyobb léptékű változás lett volna az épület jövőbeni sorsát illetően, ha 2014-ben a megyei közgyűlés székhelye visszakerül Salgótarjánból Balassagyarmatra, bár a terv akkor meghiúsult, a gyarmati szándékok – ahogy a kitartóbb helyiek mondják – erős alapokon nyugodnak, olyanokon, mint a két neves épület.