Từ điển tiếng việt
Giới thiệu
Tôi đang định thử làm mô hình seq2seq dịch. Và đang tìm dữ liệu. Dữ liệu từ điển là nguồn tôi nghĩ đến đầu tiên.
Hôm nay chúng ta sẽ cùng làm từ điển tiếng việt:
Tải và giải nén dữ liệu từ điển Hồ Ngọc Đức
Tải về tại trang web sau: Từ điển Hồ Ngọc Đức
và giải nén tất cả
Backup data: Backup Từ điển Hồ Ngọc Đức
Note
Tôi đã thử tải từ điển Việt-Việt nhưng chỉ có 30k từ, 30k từ là rất nhỏ, nhiều từ tra sẽ không thấy được. Tuy nhiên định dạng freedict là rất phổ biến, chúng ta cứ dùng bộ dữ liệu này để demo trước, nếu chúng ta có dữ liệu lớn hơn thì chỉ việc làm như bài viết này.
Sử dụng ubuntu, Cài đặt dictd, cấu hình từ điển và test thử
Note
Để sử dụng bộ dữ liệu trên ta cần một server dictd và client dict. Có nhiều phần mềm với giao diện đồ họa khác nhưng ở đây chúng ta không quan tâm đến. Tôi sẽ cài dictd và dict trên ubuntu.
Để cài đặt ứng dụng dict trên ubuntu chúng ta dùng lệnh sau:
sudo apt install dict # Cài đặt dict sudo dictd # Khởi chạy dict -D # Để xem danh sách từ điển đã được cài đặt ps -A | grep dictd # Để xem dictd đã được chạy hay chưa Tiến hành cấu hình dictd, thêm dữ liệu của chúng ta vào
/etc/dictd/dictd.conf
# /etc/dictd/dictd.conf
...
database hnd_ev
{ data /home/luantm/Windows/Workshop/HoNgocDucDictionary/data/data/EV/anhviet109K.dict.dz index /home/luantm/Windows/Workshop/HoNgocDucDictionary/data/data/EV/anhviet109K.index
}
...
Sử dụng
dict -d hnd_ev "hello"
1 definition found From @00-database-short [hnd_ev]: @hello /hə'lou/ (halloa) /hə'lou/ (hello) /'he'lou/
* thán từ
- chào anh!, chào chị!
- này, này
- ô này! (tỏ ý ngạc nhiên)
* danh từ
- tiếng chào
- tiếng gọi "này, này" !
- tiếng kêu ô này "! (tỏ ý ngạc nhiên)
* nội động từ
- chào
- gọi "này, này"
- kêu "ô này" (tỏ ý ngạc nhiên)
Ứng dụng
Từ đây chúng ta có thể tạo web api phục vụ từ điển cho web, mobile.
Hoặc là dữ liệu đầu vào để phát triển xử lý ngôn ngữ tự nhiên
Chúc các bạn thành công
Truy cập trang gốc: Từ điển.
Nếu bạn có dữ liệu, thông tin, hay câu hỏi thì có thể bình luận vào phía bên dưới.