- vừa được xem lúc

Top 5 lựa chọn mã nguồn mở thay thế cho phát triển LLM mà bạn phải biết

0 0 2

Người đăng: Vũ Tuấn

Theo Viblo Asia

Bài viết này sẽ đề cập tới 5 lựa chọn mã nguồn mở để thay thế cho phát triển LLM mà tôi nghĩ rằng chúng sẽ vô cùng hữu ích đối với các bạn. Hãy cùng tìm hiểu nhé!

1. DeepEval thay thế Humanloop: Đánh giá LLM minh bạch và dễ sử dụng

DeepEval là framework đánh giá LLM mã nguồn mở, trong khi Humanloop, như bạn có thể đã biết, là một giải pháp đánh giá LLM đóng, với các endpoint API ẩn, thay vì các thuật toán mở mà bạn có thể thấy cách đánh giá được thực hiện. Tool này đứng đầu danh sách vì theo tôi, không có gì quan trọng hơn việc đánh giá LLM mở.

Sự cởi mở cho phép minh bạch và minh bạch, đặc biệt là trong phát triển LLM, cho phép mọi người thấy tiêu chuẩn đánh giá là gì. Bạn sẽ không muốn một số đánh giá an toàn LLM được thực hiện sau cánh cửa đóng kín, trong khi bạn chỉ đơn giản được thông báo về kết quả, phải không?

Mã nguồn mở luôn được xem xét kỹ lưỡng, điều này giúp DeepEval dễ sử dụng hơn nhiều so với Humanloop. Dưới đây là cách đánh giá ứng dụng LLM của bạn trong DeepEval:

from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase test_case = LLMTestCase( input="How many evaluation metrics does DeepEval offers?", actual_output="14+ evaluation metrics"
)
metric = AnswerRelevancyMetric() evaluate(test_cases=[test_case], metrics=[metric])

Bạn có thể truy cập vào DeepEval qua liên kết này: https://github.com/confident-ai/deepeval

2. Llama3.1 so với GPT-4: Sức mạnh của mô hình mở và tùy chỉnh

Llama3.1 có thể được tự lưu trữ, với thời gian suy luận nhanh hơn nhiều và chi phí token rẻ hơn so với GPT-4, và phần hay nhất là nó là mã nguồn mở, với các trọng số mở.

Điều này có nghĩa là gì? Điều này có nghĩa là nếu bạn muốn tùy chỉnh Llama3.1, mà nhân tiện, hoạt động tốt như GPT-4 trên một số điểm chuẩn, bạn sẽ có thể tự mình làm điều đó. Hàng triệu (hoặc hàng tỷ?) USD mà Meta đã chi cho việc đào tạo Llama3.1 có thể được tận dụng bởi bất kỳ ai, và có sẵn để tinh chỉnh.

Sử dụng Llama3.1 ngay hôm nay:

import transformers
import torch model_id = "meta-llama/Llama-3.1-8B" pipeline = transformers.pipeline( "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
) response = pipeline("Hey how are you doing today?")

Bạn có thể truy cập vào Llama3.1 theo liên kết này: https://huggingface.co/meta-llama/Llama-3.1-8B

3. LangChain thay thế OpenAI Assistants: Linh hoạt hơn trong điều phối ứng dụng LLM

LangChain là một framework điều phối ứng dụng LLM, trong khi OpenAI Assistants giống như một API RAG, với logic điều phối bên trong bị ẩn sau cánh cửa đóng kín.

Điều phối LLM đơn giản có nghĩa là kết nối dữ liệu bên ngoài với LLM của bạn và cho phép LLM của bạn tìm nạp dữ liệu khi thấy phù hợp bằng cách cho nó truy cập vào API của bạn. Ví dụ: một chatbot báo cáo thời tiết hàng ngày cho bạn được xây dựng trên LangChain sẽ cho phép LLM tìm nạp thông tin thời tiết mới nhất cho hôm nay.

Bạn có thể truy cập vào LangChain theo liên kết này: https://github.com/langchain-ai/langchain

4. Flowise thay thế Relevance AI: Xây dựng ứng dụng LLM bằng giao diện kéo thả

Trong khi LangChain cho phép bạn xây dựng ứng dụng LLM của mình bằng mã, Flowise cho phép bạn làm điều đó thông qua giao diện người dùng, theo cách mã nguồn mở. Chỉ cần nhấp và thả để tùy chỉnh dữ liệu mà LLM của bạn có quyền truy cập và bạn đã sẵn sàng. image.png

Bạn có thể truy cập vào Flowise theo liên kết này: https://github.com/FlowiseAI/Flowise

5. Lite LLM so với Martian AI: Linh hoạt chuyển đổi giữa các LLM

Lite LLM là một thư viện mã nguồn mở cho phép bạn chuyển đổi các LLM cho LLM trong một dòng mã, trong khi Martian, mặt khác, là một phiên bản đóng của nó.

Trên thực tế, mặc dù cả hai đều cho phép bạn chuyển đổi các LLM cho LLM, Martian AI là một bộ định tuyến LLM, nghĩa là nó chọn LLM tốt nhất cho mỗi đầu vào cho LLM của bạn để tối ưu hóa về độ chính xác, tốc độ và chi phí.

Bạn có thể truy cập vào Lite LLM qua liên kết này: https://github.com/BerriAI/litellm

Bình luận

Bài viết tương tự

- vừa được xem lúc

The Twelve-Factor App, cẩm nang gối đầu giường trong xây dựng application (Phần 1)

Giới thiệu. Ngày nay các phần mềm được triển khai dưới dạng các dịch vụ, chúng được gọi là các web apps hay software-as-a-service (SaaS).

0 0 30

- vừa được xem lúc

8 Sai lầm phổ biến khi lập trình Android

1. Hard code.

0 0 185

- vừa được xem lúc

Popular interview question: What is the difference between Process and Thread? 10 seconds a day

Video được đăng tại channel Tips Javascript

0 0 29

- vừa được xem lúc

Thuật toán và ứng dụng - P1

Mục đích series. . Những bài toán gắn liền với thực tế. Từ đó thấy được tầm quan trọng của thuật toán trong lập trình.

0 0 35

- vừa được xem lúc

Tác dụng của Docker trong quá trình học tập

Docker bây giờ gần như là kiến thức bắt buộc đối với các anh em Dev và Devops, nhưng mà đối với sinh viên IT nói chung vẫn còn khá mơ hồ và không biết tác dụng thực tế của nó. Hôm nay mình sẽ chia sẻ

0 0 31

- vừa được xem lúc

Làm giàu trong ngành IT

Hầu như mọi người đều đi làm để kiếm tiền, ít người đi làm vì thấy cái nghề đó thú vị lắm. Bây giờ vất cho mình 100 tỷ bảo mình bỏ nghề thì mình cũng bỏ thôi.

0 0 33