Původním jménem Zvíkovského Podhradí byl Karlov. Zdejší kraj byl spojen se šlechtickým rodem Schwarzenbergů a toto původní jméno měla víska na počest Karla Filipa ze Schwarzenberga, který zvítězil nad císařem Napoleonem v bitvě u Lipska. Původní podhradí však leželo pod zvíkovským hradem směrem k řece Otavě. Stávalo zde několik hospodářských stavení, hřbitov a mlýn, v němž se mlelo ještě na začátku 20. století.
V Podhradí stával kostelík sv. Mikuláše ze 13. století, který však byl roku 1829 uzavřen a zbořen.
Minulá staletí spojovala vísku také s vorařským řemeslem.
Dnes jsou zbytky původní vesničky zatopeny vodami Orlické přehrady.
Dnešní Zvíkovské Podhradí nabízí turistům vyžití v blízkosti Orlické přehrady a jednoho z našich nejznámějších hradů. Žijí zde bezmála dvě stovky stálých obyvatel, ale v turistické sezóně víska doslova praská ve švech díky přívalu návštěvníků.