Pavadinimas „Portmoneum” kilęs iš namo savininko Josefo Portmano vardo. Šį tarnautoją, spaustuvininką, bibliofilą ir meno kolekcininką sužavėjo garsaus grafiko, skulptoriaus, tapytojo ir knygų iliustruotojo Josefo Vachalo (1884–1969) darbai.
Jis paprašė dailininko padaryti sienų freskas savo namuose, kur jis planavo atidaryti Vachalo muziejų. Menininkas papuošė du pastato kambarius, o taip pat vidaus įrangą. Ant sienų ir lubų buvo sukurti įspūdingi paveikslai, vaizduojantys demonus, plėšikus, elfus ir kitas būtybes, o taip pat Biblijos scenas ir zodiako ženklus.
Po to, kai Vachalas išleido „Kruviną romaną”, kuriame Portmanas pasirodė kaip godus grafas, abiejų vyrų draugystė ir bendradarbiavimas baigėsi.
Keletą metų po Portmano mirties 1975 m. į jo namą trenkė žaibas ir paveikslai buvo iš dalies sunaikinti gaisro. Vietinių menininkų dėka pastatas buvo įtrauktas į kultūros paminklų sąrašą ir juo rūpinosi Nacionalinė galerija. Geresni laikai „Portmoneum“ atėjo tik 1991 m., kai namą nusipirko leidyklos „Paseka“ įkūrėjas Ladislav Horáček ir dar vienas puikus Josefo Vachalo darbų mylėtojas. Renovacijos darbai buvo atlikti bendradarbiaujant su istorinių objektų konservatoriais. Pastatas lankytojams buvo atidarytas 1993 m. birželio 26 d.
Mirus Ladislavui Horáčekui, namą 2016 m. nusipirko Pardubicės kraštas ir perdavė regioniniam muziejui Litomišle. 2020 m. pastatas buvo renovuotas, įrengta nauja multimedijų paroda ir lankytojams skirta ateljė.
Po to, kai Vachalas išleido „Kruviną romaną”, kuriame Portmanas pasirodė kaip godus grafas, abiejų vyrų draugystė ir bendradarbiavimas baigėsi.
Keletą metų po Portmano mirties 1975 m. į jo namą trenkė žaibas ir paveikslai buvo iš dalies sunaikinti gaisro. Vietinių menininkų dėka pastatas buvo įtrauktas į kultūros paminklų sąrašą ir juo rūpinosi Nacionalinė galerija. Geresni laikai „Portmoneum“ atėjo tik 1991 m., kai namą nusipirko leidyklos „Paseka“ įkūrėjas Ladislav Horáček ir dar vienas puikus Josefo Vachalo darbų mylėtojas. Renovacijos darbai buvo atlikti bendradarbiaujant su istorinių objektų konservatoriais. Pastatas lankytojams buvo atidarytas 1993 m. birželio 26 d.
Mirus Ladislavui Horáčekui, namą 2016 m. nusipirko Pardubicės kraštas ir perdavė regioniniam muziejui Litomišle. 2020 m. pastatas buvo renovuotas, įrengta nauja multimedijų paroda ir lankytojams skirta ateljė.
