大約於二百多年前，拉阿魯哇族﹝hla'alua﹞原本居住在東部一處稱為hlasungag這個地方，因為遭到布農族的攻擊，遂逐漸遷往西方，由荖濃溪左岸現今寶來溪石洞溫泉的地方遷移於現今的桃源區，所以拉阿魯哇族 人是本區最早的住民，而布農族人是在一百八十年前陸續從南投及台東遷居到本鄉。
本區的布農族屬於郡社群，郡社群人，稱為Isibukun，至今布農族人佔全鄉人口數約百分之九十，是人口數最多的族群，當時由布農族組織演進而成，計有中心崙社（寶山里）、玉穗社（建山里）、比蘭社及排剪社（高中里）、他拉魯社、雁爾社（桃源里）、瑞穗社（勤和里）、比比由社（復興里）、拉婆蘭社（拉芙蘭里）、拉庫斯社（樟山社區）、馬士娃兒社（梅山里）等蕃社。
當時族人原本居住在深山裡，日據時期，由於日人懾於原住民兇悍，初期採懷柔政策，紛紛在鄉內各社設置警察駐在所，管理各社群的原住民，爾後推行理蕃政策，日本政府將族人強制集中遷居於現在的部落，以方便集中管理。
本區於日據時期隸屬高雄州旗山郡六龜分室，當時桃源地區有雅你部落，布農族人稱之為Gani，日人遂稱Gani社，當時部落的分布主要以雅爾駐在所為中心，散居於荖濃溪沿岸、大竹溪山東支稜，海拔高度約七百至一千七之間山坡上。
光復後，鄉內的人口漸漸增加，國民政府於民國三十五年(西元一九四六年)廢區改隸，因本區當時以雅你社(Gani)之部落人丁較旺，遂將本區稱為「雅你鄉」（Gani）。民國四十五年(西元一九五六年)十月政府思其「雅你」二字不雅，認為本鄉山明水秀猶如世外桃源，遂又將本鄉改名為「桃源鄉」。又自民國99年12月25日因應高雄縣市合併，本鄉更名為『桃源區』，各村亦更名為『里』。