Tổng quan về Data Vault

1. Giới thiệu

Xây dựng kho dữ liệu doanh nghiệp (Enterprise Data Warehouse - EDW) với khả năng mở rộng cao, linh hoạt và dễ bảo trì.
Data Vault được thiết kế để giải quyết những thách thức mà các phương pháp truyền thống như Star Schema và Snowflake Schema gặp phải, đặc biệt trong môi trường dữ liệu lớn (Big Data) và yêu cầu xử lý dữ liệu thời gian thực.

Định nghĩa

Data Vault là phương pháp luận thiết kế Data Warehouse tập trung vào:

• Lưu trữ dữ liệu thô.
• Có thể kiểm tra (auditable).
• Linh hoạt và mở rộng cao.

1.1. Đặc điểm chính của Data Vault

• Tính linh hoạt cao: Dễ dàng thêm mới nguồn dữ liệu và thay đổi cấu trúc.
• Khả năng kiểm tra: Lưu trữ đầy đủ lịch sử thay đổi dữ liệu.
• Tính song song: Hỗ trợ tải dữ liệu song song từ nhiều nguồn.
• Tuân thủ quy định: Đáp ứng các yêu cầu về compliance và governance.
• Khả năng mở rộng: Phù hợp với môi trường dữ liệu lớn.

2. Lịch sử và Nguyên lý cơ bản

2.1. Lịch sử phát triển

• 2000: Dan Linstedt phát triển Data Vault khi làm việc tại Lockheed Martin, nhằm đáp ứng nhu cầu xử lý dữ liệu phức tạp trong ngành hàng không vũ trụ và quốc phòng—yêu cầu tính chính xác, khả năng kiểm tra và tuân thủ nghiêm ngặt.
• 2013: Ra mắt Data Vault 2.0, hỗ trợ Big Data, NoSQL và xử lý thời gian thực.

2.2. Nguyên lý cơ bản

Ba nguyên lý cốt lõi:

1. Separation of Concerns – Tách riêng Business Keys, Relationships và Attributes.
2. No Data Loss – Giữ lại toàn bộ dữ liệu thô từ nguồn gốc.
3. Consistency – Duy trì tính nhất quán trong thiết kế.

Quy tắc thiết kế quan trọng:

• Mỗi bảng phải có surrogate key.
• Không dùng NULL trong Business Key.
• Ghi metadata cho mỗi bản ghi.
• Không sửa đổi dữ liệu đã load.
• Dữ liệu phải truy vết được nguồn gốc.

3. Kiến trúc và thành phần chínhHiệu suất truy vấnTrung bìnhRất caoCaoThấp

Khả năng mở rộngRất caoThấpTrung bìnhCao

• Source Data: hệ thống giao dịch, CRM, ERP, API...
• Staging Area: lưu tạm chưa qua xử lý.
• Raw Data Vault gồm:X
  • Hub: chứa Business Keys.
  • Link: lưu mối quan hệ giữa các Hub.
  • Satellite: lưu thuộc tính, metadata, lịch sử thay đổi.
• Business Vault: xử lý nghiệp vụ, bảng summary, logic tính toán.
• Information Marts: phục vụ BI, có thể là các mô hình Star/Snowflake Schema.

3.1 Hub Tables (Bảng Hub)

Hub lưu trữ các business key độc đáo và metadata cơ bản.
Mỗi Hub đại diện cho một business concept cốt lõi như Customer, Product, Order.

Cấu trúc của Hub:

CREATE TABLE hub_customer ( customer_hk VARCHAR(32) PRIMARY KEY, -- Hash key (surrogate key) customer_bk VARCHAR(50) NOT NULL, -- Business key load_date TIMESTAMP NOT NULL, -- Ngày load dữ liệu record_source VARCHAR(50) NOT NULL -- Nguồn dữ liệu
);

3.2 Link Tables (Bảng Link)

Link lưu trữ các mối quan hệ giữa các business entity. Chúng kết nối các Hub với nhau thông qua foreign key.

Cấu trúc của Link:

CREATE TABLE link_customer_order ( customer_order_hk VARCHAR(32) PRIMARY KEY, -- Hash key của link customer_hk VARCHAR(32) NOT NULL, -- FK tới hub_customer order_hk VARCHAR(32) NOT NULL, -- FK tới hub_order load_date TIMESTAMP NOT NULL, -- Ngày load dữ liệu record_source VARCHAR(50) NOT NULL, -- Nguồn dữ liệu FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk), FOREIGN KEY (order_hk) REFERENCES hub_order(order_hk)
);

3.3 Satellite Tables (Bảng Satellite)

Satellite lưu trữ các thuộc tính mô tả (descriptive attributes) và lịch sử thay đổi của Hub hoặc Link.

Cấu trúc của Link:

CREATE TABLE sat_customer ( customer_hk VARCHAR(32) NOT NULL, -- FK tới hub_customer load_date TIMESTAMP NOT NULL, -- Ngày load (part of PK) load_end_date TIMESTAMP, -- Ngày kết thúc (optional) customer_name VARCHAR(100), -- Thuộc tính mô tả customer_email VARCHAR(100), customer_phone VARCHAR(20), customer_address TEXT, hash_diff VARCHAR(32), -- Hash của tất cả attributes record_source VARCHAR(50) NOT NULL, -- Nguồn dữ liệu PRIMARY KEY (customer_hk, load_date), FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk) );

4. SO SÁNH VỚI CÁC PHƯƠNG PHÁP KHÁC

4.1 Ưu điểm của Data Vault so với Star Schema

• Dễ dàng thêm nguồn dữ liệu mới mà không ảnh hưởng đến cấu trúc hiện tại
• Hỗ trợ tải dữ liệu song song từ nhiều nguồn
• Lưu trữ lịch sử thay đổi một cách tự nhiên
• Phù hợp với môi trường Agile và yêu cầu thay đổi nhanh

4.2 Ưu điểm so với 3NF

• Cấu trúc ổn định hơn, ít thay đổi schema
• Hiệu suất tải dữ liệu cao hơn
• Phù hợp với Data Warehouse hơn OLTP

5. QUY TRÌNH THIẾT KẾ DATA VAULT TỪNG BƯỚC

5.1 Bước 1: Phân tích yêu cầu và nguồn dữ liệu

Xác định các business entity chính, mối quan hệ giữa chúng và các thuộc tính mô tả.
Phân tích các nguồn dữ liệu hiện có và tương lai.

Câu hỏi cần trả lời:

• Các business concept cốt lõi là gì?
• Business key của mỗi entity là gì?
• Các mối quan hệ giữa các entity như thế nào?
• Thuộc tính nào thay đổi theo thời gian?

5.2 Bước 2: Thiết kế Hub Tables

Tạo Hub cho mỗi business concept được xác định. Mỗi Hub chứa business key và metadata cơ bản.

CREATE TABLE sat_customer ( customer_hk VARCHAR(32) NOT NULL, -- FK tới hub_customer load_date TIMESTAMP NOT NULL, -- Ngày load (part of PK) load_end_date TIMESTAMP, -- Ngày kết thúc (optional) customer_name VARCHAR(100), -- Thuộc tính mô tả customer_email VARCHAR(100), customer_phone VARCHAR(20), customer_address TEXT, hash_diff VARCHAR(32), -- Hash của tất cả attributes record_source VARCHAR(50) NOT NULL, -- Nguồn dữ liệu PRIMARY KEY (customer_hk, load_date), FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk) );

-- Ví dụ thiết kế Hub cho Customer
CREATE TABLE hub_customer ( customer_hk VARCHAR(32) PRIMARY KEY, customer_id VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL, record_source VARCHAR(50) NOT NULL
); -- Ví dụ thiết kế Hub cho Product
CREATE TABLE hub_product ( product_hk VARCHAR(32) PRIMARY KEY, product_code VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL, record_source VARCHAR(50) NOT NULL
);

5.3 Bước 3: Thiết kế Link Tables

Tạo Link để thể hiện mối quan hệ giữa các Hub. Mỗi Link chứa foreign key tới các Hub liên quan.

-- Link giữa Customer và Order
CREATE TABLE link_customer_order ( customer_order_hk VARCHAR(32) PRIMARY KEY, customer_hk VARCHAR(32) NOT NULL,5/15 order_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, record_source VARCHAR(50) NOT NULL, FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk), FOREIGN KEY (order_hk) REFERENCES hub_order(order_hk)
);

5.4 Bước 4: Thiết kế Satellite Tables

Tạo Satellite để lưu trữ các thuộc tính mô tả và lịch sử thay đổi.

-- Satellite cho Customer attributes
CREATE TABLE sat_customer_details ( customer_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, load_end_date TIMESTAMP, customer_name VARCHAR(100), email VARCHAR(100), phone VARCHAR(20), address TEXT, hash_diff VARCHAR(32), record_source VARCHAR(50) NOT NULL, PRIMARY KEY (customer_hk, load_date)
);

5.5 Bước 5: Thiết kế ETL Process

Xây dựng quy trình ETL để tải dữ liệu từ nguồn vào Data Vault. Quy trình này bao gồm:

• Extract: Trích xuất dữ liệu từ nguồn
• Staging: Lưu trữ tạm thời và làm sạch dữ liệu
• Transform: Tạo hash key và chuẩn bị dữ liệu
• Load: Tải dữ liệu vào Hub, Link, Satellite

6. VÍ DỤ THỰC TẾ VỚI DATABASE SCHEMA

Chúng ta sẽ xây dựng một ví dụ hoàn chỉnh cho hệ thống e-commerce với các entity: Customer, Product, Order.

6.1 Phân tích nghiệp vụ

Hệ thống e-commerce có các business concept chính:

• Customer: Khách hàng với ID, tên, email, địa chỉ
• Product: Sản phẩm với mã code, tên, giá, danh mục
• Order: Đơn hàng với mã đơn, ngày đặt, tổng giá trị
• Order Item: Chi tiết đơn hàng với số lượng, giá

6.2 Thiết kế Schema hoàn chỉnh

Hub Tables

-- Hub Order
CREATE TABLE hub_order ( order_hk VARCHAR(32) PRIMARY KEY, order_number VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL DEFAULT 'ORDER_DB'
); -- Hub Customer
CREATE TABLE hub_customer ( customer_hk VARCHAR(32) PRIMARY KEY, customer_id VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL DEFAULT 'ECOMMERCE_DB'
); -- Hub Product
CREATE TABLE hub_product ( product_hk VARCHAR(32) PRIMARY KEY, product_code VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL DEFAULT 'PRODUCT_DB'
); -- Hub Order### 6.1 Phân tích nghiệp vụ CREATE TABLE hub_order ( order_hk VARCHAR(32) PRIMARY KEY, order_number VARCHAR(20) NOT NULL UNIQUE, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL DEFAULT 'ORDER_DB'
);

Link Tables

-- Link Customer-Order (một khách hàng có nhiều đơn hàng)
CREATE TABLE link_customer_order ( customer_order_hk VARCHAR(32) PRIMARY KEY, customer_hk VARCHAR(32) NOT NULL, order_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL, FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk), FOREIGN KEY (order_hk) REFERENCES hub_order(order_hk)
); -- Link Order-Product (đơn hàng chứa nhiều sản phẩm)
CREATE TABLE link_order_product ( order_product_hk VARCHAR(32) PRIMARY KEY, order_hk VARCHAR(32) NOT NULL, product_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, record_source VARCHAR(50) NOT NULL, FOREIGN KEY (order_hk) REFERENCES hub_order(order_hk), FOREIGN KEY (product_hk) REFERENCES hub_product(product_hk)
); 

Satellite Tables

-- Satellite Customer Details
CREATE TABLE sat_customer_details ( customer_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, load_end_date TIMESTAMP NULL, customer_name VARCHAR(100), email VARCHAR(100), phone VARCHAR(20), address TEXT, registration_date DATE, customer_status VARCHAR(20), hash_diff VARCHAR(32), record_source VARCHAR(50) NOT NULL, PRIMARY KEY (customer_hk, load_date), FOREIGN KEY (customer_hk) REFERENCES hub_customer(customer_hk)
); -- Satellite Product Details
CREATE TABLE sat_product_details ( product_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, load_end_date TIMESTAMP NULL, product_name VARCHAR(200), product_description TEXT, category VARCHAR(50), price DECIMAL(10,2), cost DECIMAL(10,2), product_status VARCHAR(20), hash_diff VARCHAR(32), record_source VARCHAR(50) NOT NULL, PRIMARY KEY (product_hk, load_date), FOREIGN KEY (product_hk) REFERENCES hub_product(product_hk)
); -- Satellite Order Details
CREATE TABLE sat_order_details ( order_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, load_end_date TIMESTAMP NULL, order_date DATE, order_status VARCHAR(20), total_amount DECIMAL(12,2), discount_amount DECIMAL(10,2), shipping_cost DECIMAL(8,2), payment_method VARCHAR(50), hash_diff VARCHAR(32), record_source VARCHAR(50) NOT NULL, PRIMARY KEY (order_hk, load_date), FOREIGN KEY (order_hk) REFERENCES hub_order(order_hk)
); -- Satellite Order-Product Details (chi tiết đơn hàng)
CREATE TABLE sat_order_product_details ( order_product_hk VARCHAR(32) NOT NULL, load_date TIMESTAMP NOT NULL, load_end_date TIMESTAMP NULL, quantity INTEGER, unit_price DECIMAL(10,2), line_total DECIMAL(12,2), discount_percent DECIMAL(5,2), hash_diff VARCHAR(32), record_source VARCHAR(50) NOT NULL, PRIMARY KEY (order_product_hk, load_date), FOREIGN KEY (order_product_hk) REFERENCES link_order_product(order_product_hk)
); 

6.3 Ví dụ ETL Process

Load dữ liệu vào Hub Customer

DELIMITER // CREATE PROCEDURE load_hub_customer()
BEGIN INSERT INTO hub_customer ( customer_hk, customer_id, load_date, record_source ) SELECT MD5(CONCAT('CUSTOMER|', customer_id)) AS customer_hk, customer_id, CURRENT_TIMESTAMP, 'ECOMMERCE_DB' FROM staging_customer s WHERE NOT EXISTS ( SELECT 1 FROM hub_customer h WHERE h.customer_id = s.customer_id );
END // DELIMITER ;

**Load dữ liệu vào Satellite

CREATE PROCEDURE load_sat_customer_details()
BEGIN INSERT INTO sat_customer_details ( customer_hk, load_date, customer_name, email, phone, address, registration_date, customer_status, hash_diff, record_source ) SELECT h.customer_hk, CURRENT_TIMESTAMP, s.customer_name, s.email, s.phone, s.address, s.registration_date, s.customer_status, MD5(CONCAT( COALESCE(s.customer_name,''), '|', COALESCE(s.email,''), '|', COALESCE(s.phone,''), '|', COALESCE(s.address,''), '|', COALESCE(s.customer_status,'') )) AS hash_diff, 'ECOMMERCE_DB' FROM staging_customer s JOIN hub_customer h ON h.customer_id = s.customer_id LEFT JOIN sat_customer_details sat ON sat.customer_hk = h.customer_hk AND sat.load_end_date IS NULL WHERE sat.customer_hk IS NULL OR sat.hash_diff != MD5(CONCAT( COALESCE(s.customer_name,''), '|', COALESCE(s.email,''), '|', COALESCE(s.phone,''), '|', COALESCE(s.address,''), '|', COALESCE(s.customer_status,'') ));
END

7. BEST PRACTICES VÀ KINH NGHIỆM THỰC TIỄN

7.1 Thiết kế Hash Keys

• Sử dụng MD5 hoặc SHA-1 cho hash key
• Bao gồm entity type trong hash key để tránh collision
• Sử dụng uppercase và loại bỏ khoảng trắng thừa
• Xử lý NULL values một cách nhất quán

```sql
SELECT MD5(CONCAT('CUSTOMER|', UPPER(TRIM(customer_id)))) AS customer_hk
FROM source_table;

7.2 Quản lý Metadata

• Luôn lưu trữ record_source cho mỗi record
• Sử dụng load_date để tracking thời gian load
• Implement hash_diff để detect changes hiệu quả
• Lưu trữ thông tin về data lineage

7.3 Naming Conventions

7.4 Performance Optimization

• Indexing: Tạo index trên hash key và business key
• Partitioning: Partition theo load_date cho large tables
• Parallel Loading: Load Hub, Link, Satellite song song
• Incremental Loading: Chỉ load dữ liệu thay đổi

## Ví dụ tạo Index -- Index cho Business Key trong Hub
CREATE INDEX idx_hub_customer_bk ON hub_customer(customer_id); -- Index cho cột load_date trong Satellite
CREATE INDEX idx_sat_customer_load_date ON sat_customer_details(load_date); -- Index cho cột hash_diff trong Satellite
CREATE INDEX idx_sat_customer_hash_diff ON sat_customer_details(hash_diff); 

7.5 Data Quality và Validation

• Validate business key không được NULL
• Check referential integrity giữa Hub và Satellite
• Monitor data freshness và completeness
• Implement data profiling cho source data

8. ƯU NHƯỢC ĐIỂM

8.1 Ưu điểm

8.1.1 Tính linh hoạt và khả năng thích ứng

• Dễ dàng thêm nguồn dữ liệu mới mà không ảnh hưởng cấu trúc hiện tại
• Thích ứng tốt với changes trong business requirements
• Hỗ trợ Agile development approach

8.1.2 Khả năng mở rộng và hiệu suất

• Hỗ trợ parallel loading từ multiple sources
• Scale tốt với big data environments
• Optimize cho write-heavy workloads

8.1.3 Audit và Compliance

• Full audit trail cho tất cả changes
• Immutable data storage (không thay đổi dữ liệu đã load)
• Traceability về nguồn gốc dữ liệu
• Đáp ứng regulatory requirements

8.1.4 Data Integration

• Tích hợp dữ liệu từ multiple sources dễ dàng
• Handle different data formats và structures
• Minimal impact khi source systems thay đổi

8.2 Nhược điểm

8.2.1 Độ phức tạp

• Learning curve cao cho developers và analysts
• Cần hiểu rõ methodology và best practices
• Phức tạp hơn traditional star schema

8.2.2 Hiệu suất truy vấn

• Query performance có thể chậm hơn denormalized models
• Cần nhiều JOINs để lấy complete business view
• Yêu cầu additional data marts cho reporting

8.2.3 Storage và chi phí

• Storage overhead cao do lưu full history
• Metadata overhead significant
• Chi phí cao hơn cho compute resources

8.2.4 Tooling và skillset

• Ít tools hỗ trợ automation compared to traditional methods
• Cần specialized knowledge
• Training cost cho team

✅ Nên sử dụng khi:

• Có nhiều nguồn dữ liệu cần tích hợp.
• Business requirements thay đổi thường xuyên.
• Cần audit trail và đáp ứng compliance requirements.
• Dữ liệu có volume lớn và phức tạp.
• Team có kinh nghiệm (experience) hoặc sẵn sàng đầu tư training.
• Định hướng đầu tư lâu dài cho kho dữ liệu chiến lược.

❌ Không nên sử dụng khi:

• Chỉ cần simple reporting requirements.
• Nguồn lực hạn chế và thời gian gấp.
• Khối lượng dữ liệu nhỏ.
• Team thiếu technical expertise.
• Chỉ cần giải pháp ngắn hạn mang tính chiến thuật.

💬 Lời kết
Trên đây là tổng hợp những điểm chính về Data Vault – từ khái niệm, kiến trúc, thành phần, đến các tình huống nên/không nên áp dụng.
Hẹn gặp lại các bạn trong những chia sẻ tiếp theo về Data Modeling và Data Architecture. 🚀