江川出仕后,除了伊豆,还兼领相模、甲斐等四国天领代官,一时之间颇为显赫。但时运不济,席卷扶桑的大饥馑天保凶作(1833年—1839年)搞的他焦头烂额,另外1837年在甲斐发生了“大盐平八郎余党”的一揆暴乱,同年米国莫里森号闯入相模国浦贺要求通商被大炮击退,这些都发生在江川的代官领地内,对他的指责一时不绝,所幸江川家根深蒂固,平安过关。
但常在河边走哪有不湿鞋,幕府将军的人选变更导致了政治风波,很快就波及到了江川太郎左卫门。
天保八年(1837年)4月,德川家庆就任第十二代幕府将军,上代将军家齐退隐成为大御所,家庆的老师水野忠邦开始掌握大权,天保十年(1839年)水野成为首席老中,开始进行天保年间的最后一次天保改革。
江川太郎左卫门作为著名的兰学者,天然是幕政改良的支持者,首席老中水野颇为赏识他,没想过动江川。但不拍没好事,就怕没好人,鸟居耀蔵是水野的心腹,他是大学头林述斋之子,笃信儒学,对兰学十分厌恶,对著名兰学者江川怎么看怎么不顺眼。
本来鸟居和江川虽然互相看不顺眼,但役职不同也找不到机会掐架。但在天保九年(1838年)十二月,幕府为了防止南蛮船侵入扶桑沿海,命令鸟居和江川联合测量江户附近海岸和加强警戒工作。在工作过程中,鸟居和江川龌蹉不断。