První písemná zmínka o Srbsku pochází z roku 1428, jednalo se o prodej části lesů kolem Karlštejna.
Za jménem obce se musíme vypravit do nejstarší české historie. Je totiž pravděpodobné, že počátky Srbska lze spojit s příslušníky družiny svaté Ludmily, která byla zavražděna na nedalekém hradišti Tetín. Babička svatého Václava totiž přišla do Čech jako nevěsta z Lužického Srbska a jádrem její družiny byli nejspíš služebníci právě odtud. I po Ludmilině zavraždění se Srbové pohybovali v okolí Tetína a pravděpodobně se usídlili i v oblasti dnešního Srbska.
Novodobý rozvoj Srbska souvisí s otevřením prvních vápencových lomů. První byl otevřen roku 1882 na pravém břehu Berounky.
K Srbsku patří neodmyslitelně řeka Berounka, která je dobrou služkou, ale v případě povodní i zlou paní. Přechod přes řeku zajišťoval odpradávna brod, později byl nahrazen jednoduchým lodním převozem, pak větším prámem. V roce 1958 byl postaven pontonový most, při velké vodě, která přišla týden po jeho otevření, však musel být odstraněn. Současná lávka s asfaltovým povrchem byla postavena v roce 2003 na místě původní zničené při povodních v roce 2002.
V okolí Srbska najdete mnoho vápencových jeskyní, největší je jeskyně Barrandova. Tyto jeskyně využíval člověk již ve starší době kamenné. Romantické skalnaté okolí vytvořilo kulisy při natáčení řady filmů. Nedaleko Srbska se nachází také tradiční horolezecká oblast.
Srbsko je neodmyslitelně spojeno s výlety do svého kouzelného okolí, již v roce 1919 byla v nedaleké Kodě založena legendární trampská osada Údolí děsu.
V současnosti žije v Srbsku asi 470 obyvatel.