都市銀行の歴史は、その起源を1870年代の財閥・政府系銀行にまで遡れます。
現在の都市銀行の起源は、1870年代に誕生した財閥・政府系銀行にまで遡ることができます。明治政府は、近代産業の育成に向け、銀行制度と貨幣制度を整えるために国立銀行条例を制定しました。
当初は金貨との交換義務を持つ兌換紙幣の発行権を持つ4行が設立されましたが、1876年に国立銀行条例が改正されて兌換条件などが緩和されたことにより、全国で国立銀行開設の機運が高まり、1879年までに153の国立銀行が開設されました。いわゆる「ナンバー銀行」と呼ばれるものです。
また同時期、江戸時代より越後屋三井両替店を営んでいた三井組は、1876年に日本最初の私立銀行を開業します。その後、安田銀行、第一銀行、住友銀行などの財閥系銀行が次々に開業しました。
1968年、大蔵大臣の諮問機関において「普通銀行のうち6大都市またはそれに準ずる都市を本拠として、全国的にまたは数地方にまたがる広域的営業基盤を持つ銀行」が「都市銀行」として定義され、第一勧業銀行、三井銀行、富士銀行、三菱銀行、協和銀行、三和銀行、住友銀行、大和銀行、東海銀行、北海道拓殖銀行、太陽神戸銀行、東京銀行、埼玉銀行の13行が都市銀行として分類されました。
高度経済成長を経て、日本の金融機関は世界的にも大きな影響力をもつようになりましたが、バブル崩壊後膨大な不良債権を抱え、急速に国際競争力を失いました。空洞化した東京市場を立ち直らせるため、日本の金融制度の自由化を推し進める金融改革「金融ビッグバン」が行われ、その過程で多くの都市銀行が再編・統廃合されていきました。2006年、都市銀行は、三菱UFJ銀行、三井住友銀行、みずほ銀行、りそな銀行の4行体制となり現在に至ります。