Khi nghiên cứu về các hệ thống tính toán song song thì một vấn đề rất quan trọng thường hay đề cập đến, đó chính là Hiệu năng. Trên thực tế, khi thêm các nút tính toán vào hệ thống thì mong muốn của chúng ta là hiệu năng hay tốc độ sẽ tăng lên tương ứng. Tuy nhiên, một điều rất rõ ràng là tốc độ tăng lên này sẽ có xu hướng giảm dần. Có rất nhiều nguyên nhân ảnh hưởng đến hiệu năng của toàn bộ hệ thống, có thể kể ra như: cấu hình mạng liên kết, các trễ truyền thông, kiến trúc bộ nhớ chia sẻ, kiến trúc cache, kiến trúc chip đa lõi, thuật toán của người dùng, công cụ phần mềm hỗ trợ lập trình song song v.v.