長谷川平蔵宣以は、池波正太郎の時代小説『鬼平犯科帳』のモデルとして知られているが、実際にも真刀徳次郎という名高い盗賊をとらえるなど、「火付盗賊改」として大活躍した。
「火付盗賊改」とは、江戸市内での放火犯・盗賊・博徒を取り締まるという任務にあたる江戸幕府の職名のこと。父も就いていた役職だけに、42歳で火付盗賊改の役を命じられたときは、感無量だったことだろう。43歳で父も務めた本役となると、頭角を現し始めた。
田沼意次のもとで失敗に終わった無宿人の「養育所」
だが、宣以はただ、犯罪を取り締まるだけでは、根本的な社会問題の解決にはならない。そう考えていたようだ。寛政2（1790）年に無宿や罪人を受け入れる施設として、人足寄場を設立させることになる。
無宿とは、戸籍から外された人のことで、罪人だけではなく、親に勘当された人や故郷を離れた人、失踪した人も含まれる。老中首座の定信は、無宿人の増加は治安悪化へとつながるとして、自伝『宇下人言』に次のように描いている。
「享保の頃より無宿人が悪事を働くため、いっそ彼らを一つの集団にまとめて管理するという提案もあったが、それは実行されなかった。その後、安永年間には『養育所』が設置されたものの、これも効果を発揮しなかった」
（「享保之比よりしてこの無宿てふもの、さまざまの悪業をなすが故に、その無宿を一団に入れ置侍らばしかるべしなんど建議もありけれど果さず。その後養育所てふもの、安永の比にかありけん、出で来にけれどこれも果さず」）
定信がここで触れている「養育所」とは、安永9（1780）年に旗本の牧野成賢が深川茂森町に設立した養育所のことをいう。
設置の経緯が記された「安永撰要類集」によると、当時の老中・田沼意次に意見を聞いたうえで、南町奉行の牧野成賢が、北町奉行の曲淵景漸（まがりぶち かげつぐ）にこんな方針を打ち出している。
「無宿を一掃するために、悪質な者は佐渡に送り、改善の見込みがある者は養育所で更生させる」
