- vừa được xem lúc

[Machine Learning] Một số nguồn hay cho việc tìm hiểu cơ chế "Attention"

0 0 17

Người đăng: Phan Ngoc

Theo Viblo Asia

head-attention-mechanism

https://data-science-blog.com/blog/2021/04/07/multi-head-attention-mechanism/

Giải thích về mặt toán học cơ chế head attention.

The Illustrated Transformer

http://jalammar.github.io/illustrated-transformer/

Giải thích khá hay, có ví dụ minh hoạ trực quan cho cơ chế xác xuất của Transformer

The Attention Mechanism from Scratch

https://machinelearningmastery.com/the-attention-mechanism-from-scratch/

Giải thích sơ về mặt toán học, có code ví dụ về python, khá sát với thực tiễn, xong khi đọc cũng khó hiểu cho các bạn mới

Getting meaning from text: self-attention step-by-step video

https://peltarion.com/blog/data-science/self-attention-video

Giải thích cũng khá dễ hiểu, có video hướng dẫn từng step, và mô hình visual nhìn cũng khá ổn

How Attention works in Deep Learning: understanding the attention mechanism in sequence models

Giải thích từng bước sự tiến hoá của các mô hình để đạt tới Attention method, qua đó chúng ta dễ có cách nhìn sâu sắc hơn về căn nguyên và các bước phát triển

https://theaisummer.com/attention/

Bình luận

Bài viết tương tự

- vừa được xem lúc

Tản mạn về Self Attention

Self attention hay intra-attention - cụm từ chắc hẳn đã được đồng đạo trong giới Machine Learning biết đến nhiều qua một bài báo rất nổi tiếng Attention is All You Need đề cập đến mô hình Transfomer đ

0 0 51

- vừa được xem lúc

Cơ chế Attention và các hàm tính Attention Scoring

Cơ chế Attention là gì. Như vậy, trạng thái ẩn cuối cùng phải tải toàn bộ thông tin của chuỗi nguồn, nhưng 1 token trong chuỗi đích có thể chỉ liên quan đến một vài token trong chuỗi nguồn.

0 0 35

- vừa được xem lúc

Khám phá sức mạnh của cơ chế Self Attention trong Transformers

Lời nói đầu. Transformers đã cách mạng hóa quá trình xử lý ngôn ngữ tự nhiên (NLP) bằng cách đạt được hiệu suất tiên tiến nhất trên nhiều tác vụ như dịch máy, lập mô hình ngôn ngữ và phân tích tình cả

0 0 22

- vừa được xem lúc

Trực quan hóa thuật toán Machine Leaning bằng Python

Thuật toán ML(machine learning) thường được sử dụng để tìm mối quan hệ đặc trưng giữa các features và labels. Features là các biến độc lập mà chúng ta đưa vào thuật toán để huấn luyện mô hình ML, còn

0 0 12

- vừa được xem lúc

Machine Learning Cơ bản || Lesson 01: Sơ lược về Machine Learning

Sơ lược về Machine Learning (ML). 1) Định nghĩa về ML:.

0 0 16

- vừa được xem lúc

Phân loại hình ảnh với Vision Transformer

Ví dụ này triển khai mô hình Vision Transformer (ViT) của Alexey Dosovitskiy để phân loại hình ảnh và thể hiện mô hình đó trên tập dữ liệu CIFAR-100. Mô hình ViT áp dụng kiến trúc Transformer với khả

0 0 17