此曲是罗德里戈应吉他大师安德烈斯·塞戈维亚（Andrés Segovia）的请求，写作于1954年，并题献给塞戈维亚。首演于1958年3月旧金山歌剧院，塞戈维亚亲自担任吉他独奏部分。 罗德里戈创作此曲的灵感，来自于他有一次听到妻子以钢琴演奏加斯帕·桑斯（Gaspar Sanz）的作品。桑斯是17世纪的巴洛克时期作曲家，罗德里戈依据1674年出版的一本桑斯的曲集中为吉他独奏所写的六首短的舞曲，加以改编及扩充成四个乐章的《绅士幻想曲》。至于曲名中的“绅士”所指为何，罗德里戈说：“你把他想像成桑斯或是塞戈维亚都可以。”