Hans Augusto Reyersbach föddes i Hamburg av judiska föräldrar. Han beskrev själv sin barndom som trygg och harmonisk och han visade tidigt talang för att rita. Efter militärtjänstgöringen återvände han till Hamburg för att studera filosofi, språk och medicin vid universitetet. Trots att han egentligen hela tiden målade och tecknade och helst ville bli konstnär skaffade han sig inte någon formell konstutbildning. I mitten av 1920-talet avbröt han sina studier och utvandrade till Rio de Janeiro, Brasilien för att arbeta i ett familjeföretag. Där träffade han Margret. Även hon var född i Hamburg, dock 8 år senare, och till skillnad från H.A. hade hon studerat konst vid Bauhaus i Dessau, Konstakademien i Düsseldorf och vid universitetet i München. De hade träffats en kort tid som mycket unga medan de fortfarande bodde i Hamburg men nu knöt de kontakten igen och 1935 gifte de sig. Margret, som hade erfarenhet från en egen foto- och reklamagentur, övertalade H.A. att sluta sälja badkar och istället tro på sig själv som konstnär. Tillsammans började de arbeta med olika projekt – hon fotograferade och skrev medan han tecknade. De lämnade Brasilien för Paris men slutet av 30- och början av 40-talen var oroliga tider i Europa och 1941, strax innan Tyskland ockuperade Frankrike, flydde de från Paris på en cykel. Via Lissabon och Brasilien lyckades de ta sig till New York, där de ändrade efternamnet från Reyersbach till Rey.