江川出仕后，除了伊豆，还兼领相模、甲斐等四国天领代官，一时之间颇为显赫。但时运不济，席卷扶桑的大饥馑天保凶作（1833年—1839年）搞的他焦头烂额，另外1837年在甲斐发生了“大盐平八郎余党”的一揆暴乱，同年米国莫里森号闯入相模国浦贺要求通商被大炮击退，这些都发生在江川的代官领地内，对他的指责一时不绝，所幸江川家根深蒂固，平安过关。
但常在河边走哪有不湿鞋，幕府将军的人选变更导致了政治风波，很快就波及到了江川太郎左卫门。
天保八年（1837年）4月，德川家庆就任第十二代幕府将军，上代将军家齐退隐成为大御所，家庆的老师水野忠邦开始掌握大权，天保十年（1839年）水野成为首席老中，开始进行天保年间的最后一次天保改革。
江川太郎左卫门作为著名的兰学者，天然是幕政改良的支持者，首席老中水野颇为赏识他，没想过动江川。但不拍没好事，就怕没好人，鸟居耀蔵是水野的心腹，他是大学头林述斋之子，笃信儒学，对兰学十分厌恶，对著名兰学者江川怎么看怎么不顺眼。
本来鸟居和江川虽然互相看不顺眼，但役职不同也找不到机会掐架。但在天保九年（1838年）十二月，幕府为了防止南蛮船侵入扶桑沿海，命令鸟居和江川联合测量江户附近海岸和加强警戒工作。在工作过程中，鸟居和江川龌蹉不断。