Đồng hành với việc tăng tốc độ xử lý của các bộ vi xử lý, yêu cầu về tốc độ tính
toán của các bài toán lớn cũng không ngừng tăng theo. Do vậy, luôn có những bài toán
cần tốc độ xử lý vượt quá tốc độ xử lý của một chương trình tuần tự. Điều này càng
đúng trong thời điểm hiện tại, khi các kiến trúc vi xử lý đã gần đạt đến giới hạn cuối
cùng về kích thước của đơn vị cơ sở cũng như xung nhịp tối đa, cũng đồng nghĩa với
việc tăng tốc độ của các một bộ xử lý đơn lõi lên gấp đôi sau 24 tháng– theo định luật
Moore1 – sau gần 50 năm nghiệm đúng đã đến tiến gần thời điểm kết thúc. Do đó, giải
pháp chính hiện tại và trong tương lai gần về mặt phần cứng cho việc tăng tốc độ tính
toán là tăng số lõi của bộ xử lý. Điều này càng làm tăng thêm tầm quan trọng của xử lý
song song (parellel processing) để một chương trình có khả năng khai thác tối đa khả
năng của các lõi trên bộ vi xử lý đa lõi, như là một hướng giải quyết khả thi hiệu quả
và ít tốn kém để đáp ứng cho những nhu cầu tính toán tốc độ cao.
Nguyên lý chung của xử lý song song là chia bài toán lớn (theo số lần thực hiện
các câu lệnh hoặc theo kích thước dữ liệu hoặc đồng thời theo cả hai) thành nhiều phần
con và cho thực hiện một cách song song các phần này trên các đơn vị xử lý khác
nhau. Nguyên lý này khác biệt căn bản với nguyên lý hoạt động của mô hình xử lý
tuần tự (sequential processing), thực hiện lần lượt các xử lý, xử lý sau chỉ tiến hành khi
đã xong xử lý trước.