Tudo começou no início dos anos 60 quando Leyla Mattoso conheceu, em Interlagos, um pequeno conjunto de casas populares feito com materiais de demolição, que estava sendo construído por um amigo arquiteto. Encantada com a qualidade das peças, Leyla passou então a garimpar peças antigas das mansões que estavam sendo demolidas na época, para darem lugar aos arranha-céus.
E assim, foi nascendo a paixão que conduziu à construção de sua casa em São Paulo e mais tarde, à Casa dos Contos hoje VILA DOS PORTÕES.
Quando terminou de construir sua casa, feita com material de demolição, Leyla juntou o material não utilizado numa chácara no Butantã com o apoio e algumas peças do engenheiro Adolpho Lindenberg, começou a comercializá-los. O volume foi aumentando e passados cinco anos foi necessário procurar um local mais apropriado.
Com o tempo, Leyla começou a recolher material de demolição e virou referência para jovens arquitetos, que encomendavam e compravam matéria-prima com a artista, em um primeiro momento na casa que ela construiu, e depois num segundo espaço, em Araçariguama, interior de São Paulo. Foi ali que surgiu em 1972 a Casa dos Contos, que nas palavras de Leyla “já nasceu com 200 anos de idade”, devido ao fato de ter sido construída com material trazido de uma casa do século XVIII.
Em 1970 Leyla adquiriu o espaço onde se encontra hoje a VILA DOS PORTÕES. O sítio em Araçariguama, nas cercanias da Rodovia Castelo Branco, distante 50 km de São Paulo.
Na época o sítio havia apenas um pasto, uma casa de caseiro e uma vacaria semi-abandonada. A construção começou com material trazido de uma casa do século XVIII que estava abandonada em Cotia.
O espaço foi mudando com o passar do tempo, e depois de servir como local de compra e venda de materiais e oficina de desenho e costura, como sede da Associação dos Amigos da Casa dos Contos, assume hoje sua nova vocação.
Em 2013 após uma criteriosa reforma que manteve a arquitetura original começou a receber pessoas.
Depois de alguns anos realizando eventos, o local abre suas portas para oferecer, além da oportunidade de conhecer o acervo, ações recreativas, educativas, culturais a diversos tipos de grupos.