Luận văn Ứng dụng mô hình dịch máy thống kê cho bài toán bỏ dấu cho văn bản Tiếng Việt
- Người chia sẻ :
- Số trang : 45 trang
- Lượt xem : 11
- Lượt tải : 500
- Tất cả luận văn được sưu tầm từ nhiều nguồn, chúng tôi không chịu trách nhiệm bản quyền nếu bạn sử dụng vào mục đích thương mại
Bạn đang xem trước 20 trang tài liệu Luận văn Ứng dụng mô hình dịch máy thống kê cho bài toán bỏ dấu cho văn bản Tiếng Việt, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD LUẬN VĂN ở trên
Dấu thanh là phần “bất khả phân” trong âm tiết tiếng Việt. Khi loại bỏ dấu thanh, việc hiểu nghĩa từ, gồm một hay nhiều âm tiết kết hợp với nhau, trở nên khó khăn và dễ gây hiểu lầm. Để thêm dấu, trƣớc tiên, ta cần phải xác định ranh giới từ. Bài toán xác định ranh giới từ đối với văn bản tiếng Việt có dấu đã là một việc thử thách, thì khi không có dấu, việc nhận diện ranh giới từ trong tiếng Việt cũng nhƣ một số ngôn ngữ Châu Á khác, một từ chính tả có thể không tƣơng ứng với một “từ” trên văn bản. Đối với các thứ tiếng Châu Âu, ta có thể dễ dàng nhận ra một từ, do các từ đƣợc phân cách bởi khoảng trắng. Điều này lại không đúng với tiếng Việt. Trong tiếng Việt, các tiếng_hay còn gọi là âm tiết_đƣợc phân cách bởi khoảng trắng, chứ không phải từ. Sau khi đã nhận diện đƣợc ranh giới từ, ta cần phải xác định cho đúng từ có dấu nào có dạng thể hiện không dấu nhƣ vậy. Việc xác định này cũng gây nhiều khó khăn, khi từ một từ không dấu có thể có nhiều từ có dấu tƣơng ứng với nó.
