Trong giai đoạn từ năm1988 đến năm 1990 Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam có tên là Ngân hàng phát triển Nông nghiệp Việt Nam có trụ sở tại số 7, Lê Lai, Hoàn Kiếm Hà Nội theo Nghị Định số 53/HĐBT của Hội đồng Bộ Trưởng (hiện nay là Chính Phủ) ngày 26 tháng 3 năm 1988 về việc thành lập các ngân hàng chuyên doanh. Ngân hàng phát triển Nông nghiệp được thành lập trên cơ sở một số cục, Vụ Ngân hàng Nhà nước trung ương, các chi nhánh trực thuộc được tách từ các ngân hàng Nhà nước chi nhánh tỉnh thành phố và tiếp nhận toàn bộ mạng lưới, con người, bộ máy, cơ sở vật chất của các ngân hàng nhà nước chi nhánh huyện, thị. Giai đoạn từ năm 1990 đến năm 1996 theo Quyết định số 400/CT ngày 14 tháng 11 năm 1990 của Chủ tịch Hội Đồng Bộ trưởng (hiện nay là Thủ tướng Chính Phủ) về việc thành lập Ngân hàng Nông nghiệp Việt Nam thay thế cho Ngân hàng Phát triển Nông Nghiệp Việt Nam với mục đích hoạt động là ngân hàng đa năng, hoạt động chủ yếu trên lĩnh vực nông nghiệp, nông thôn, là một pháp nhân, hạch toán kinh tế độc lập, tự chủ, tự chụi trách nhiệm về hoạt động của mình trước pháp luật. Ngân hàng Nông nghiệp Việt Nam có trụ sở chính tại số 4, Phạm Ngọc thạch, Đống Đa, Hà Nội. Từ năm 1992 Ngân hàng Nông nghiệp mở ra hoạt động kinh doanh đối ngoại gồm cả cho vay ngoại tệ và thanh toán quốc tế, đồng thời là Ngân hàng thương mại đầu tiên thực hiện dự án của các tổ chức quốc tế.