Trong xã hội nguyên thủy, khi lực lượng sản xuất chưa phát triển , năng suất lao động chưa cao và chưa có sản phẩm dư thừa. Xã hội chưa nảy sinh tư hữu vì vậy mà chưa xuất hiện sự chiếm hữu, chưa có sự phân chia thành giai cấp, sự đối lập giai cấp chưa nảy sinh vì vậy chưa có nhà nước. Khi lực lượng sản xuất đã phát triển làm xuất hiện sản phẩm dư thừa và nảy sinh tư hữu, lúc này đã có sự phân chưa giai cấp, người giàu người nghèo, đối lập mâu thuẫn giai cấp trở nên gay gắt, các cuộc đấu tranh giai cấp nảy sinh, nếu duy trì lâu dài thì sẽ tiêu diệt lẫn nhau và toàn xã hội. Lúc này nhà nước ra đời và ban hành được hệ thống pháp luật nhằm điều hòa mâu thuẫn và xung đột. Như vậy nhà nước pháp quyền chính thức được hình thành. Trong ngôn ngữ châu Âu, thuật ngữ “Nhà nước pháp quyền” được người Đức gọi nhà nước pháp quyền là Rechtsstaat, trong đó Recht là luật pháp, Staat là nhà nước, người Pháp gọi nhà nước pháp quyền là Etat de droit nghĩa là nhà nước của pháp luật; người Anh dùng thuật ngữ The rule of law để chỉ nhà nước pháp quyền, tuy trong tiếng Anh “Rule” rất đa nghĩa, nhưng trong ngữ cảnh này, nó hàm nghĩa “sự trị vì” của pháp luật. Trong tiếng Việt, thuật ngữ “Nhà nước pháp quyền” được dùng với nghĩa “là nhà nước cai trị và quản lý xã hội bằng pháp luật, nhà nước được tổ chức trên cơ sở pháp luật và hoạt động trong khuôn khổ pháp luật”