LightGBM [40] là một phương pháp học máy được tạo ra bởi Microsoft Research Asia vào năm 2017. LightGBM được thiết kế để tăng tốc độ tính toán và giảm thiểu sử dụng tài nguyên so với các phương pháp học máy khác. LightGBM đã đạt được nhiều kết quả ấn tượng và đạt được giải thưởng trong các cuộc thi khoa học dữ liệu và học máy. Để có được hiệu quả ấn tượng như vậy là do LightGBM sử dụng một số kỹ thuật tối ưu hóa đặc biệt như Gradient-based One-Side Sampling (GOSS) và Exclusive Feature Bundling (EFB) để tăng tốc độ tính toán và giảm thiểu sử dụng bộ nhớ trong quá trình huấn luyện mô hình. GOSS là một kỹ thuật tối ưu hóa được sử dụng để lấy mẫu các điểm dữ liệu và giảm thiểu số lượng điểm dữ liệu được sử dụng trong quá trình huấn luyện mô hình. EFB là một kỹ thuật tối ưu hóa được sử dụng để
gom nhóm các đặc trưng tương tự với nhau để giảm thiểu sử dụng bộ nhớ trong quá trình huấn luyện mô hình. EFB được hiểu như Gói tính năng độc quyền/Gói tính năng loại trừ lẫn nhau. Đối với dữ liệu có các đặc trưng thưa chiều cao, nhiều đặc điểm loại trừ lẫn nhau (nghĩa là nhiều nhất một đặc điểm trong số nhiều đặc điểm có giá trị khác 0), EFB tạo thành một “đặc trưng lớn” bằng cách gộp nhiều đặc điểm loại trừ lẫn nhau, từ đó giảm đáng kể số lượng tính năng tương đương với phương pháp giảm kích thước dữ liệu. Như mô tả ở hình 2.10, giá trị của tính năng F1 là 0 ~ 10, giá trị của tính năng F2 là 0 ~ 20, F1 và F2 là các tính năng loại trừ lẫn nhau, sau đó F1/F2 được nhóm lại để tạo thành tính năng F3 và giá trị của tính năng F3 là 0 ~30, vậy F1=5 tương đương với F2=15.