しかし、そんな中上川が、必死で工業化路線を進めているさなか、不景気が襲来、工業化路線を担う会社が、軒並み赤字になってしまう。
当然、そこに巨額の投資をしていた三井銀行自体も、経営が悪化、それを新聞に書き立てられて、取りつけ騒ぎまで起こってしまった。
中上川を三井銀行立て直しのために送り込んだのは、政界の重鎮・井上馨だったが、そんな井上馨にしても、中上川のやりすぎの改革――藩閥政治家への厳しい取り立てや、井上の取り巻きの会社への融資拒絶など――に、次第に反発を強めていて、この不景気をきっかけに、中上川を切る方向に動き出す。
さらに、こうしたストレスが身体を蝕んだのか、中上川自身が病気に倒れてしまう。腎臓病だった。
彼は美食家で有名であり、それが良くなかったのかもしれない。結局、治療の甲斐なく、47歳の若さで亡くなってしまう。
「安全・確実」に路線変更
中上川の後は、益田孝が継いだ。
三井の全権を握って切り盛りするが、中上川の工業化路線を収縮し、「チャレンジして成長」から「安全・確実」の路線に舵を切った。
しかしそんな益田孝も、大正2（1913）年に、66歳の働き盛りで三井の実質上の総責任者を勇退し、団琢磨に後を譲った。
自分の後任として、まず朝吹に「やってくれないか」と声をかけたのだが、彼が固辞したことと、慶應義塾出身者（朝吹もその1人）の派閥が三井内にできてしまい、社内の融和を阻害していることもあって、あきらめた。そこで、マサチューセッツ工科大学出身の団琢磨を後継者に据えている。
もちろん益田は、その後も三井から完全引退はできず、ある程度関わり続けた。ただし、基本的には悠々自適の生活を、90歳で亡くなるまで送っている。
とくに趣味の茶道に邁進し、茶の世界を究めて、「千利休以来の大茶人」とまで呼ばれている。
ちなみに、そんな彼を、若干苦々しい目で見ていたのが、渋沢栄一でもあった。
