Bài viết này sẽ đề cập tới 5 lựa chọn mã nguồn mở để thay thế cho phát triển LLM mà tôi nghĩ rằng chúng sẽ vô cùng hữu ích đối với các bạn. Hãy cùng tìm hiểu nhé!
1. DeepEval thay thế Humanloop: Đánh giá LLM minh bạch và dễ sử dụng
DeepEval là framework đánh giá LLM mã nguồn mở, trong khi Humanloop, như bạn có thể đã biết, là một giải pháp đánh giá LLM đóng, với các endpoint API ẩn, thay vì các thuật toán mở mà bạn có thể thấy cách đánh giá được thực hiện. Tool này đứng đầu danh sách vì theo tôi, không có gì quan trọng hơn việc đánh giá LLM mở.
Sự cởi mở cho phép minh bạch và minh bạch, đặc biệt là trong phát triển LLM, cho phép mọi người thấy tiêu chuẩn đánh giá là gì. Bạn sẽ không muốn một số đánh giá an toàn LLM được thực hiện sau cánh cửa đóng kín, trong khi bạn chỉ đơn giản được thông báo về kết quả, phải không?
Mã nguồn mở luôn được xem xét kỹ lưỡng, điều này giúp DeepEval dễ sử dụng hơn nhiều so với Humanloop. Dưới đây là cách đánh giá ứng dụng LLM của bạn trong DeepEval:
from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase test_case = LLMTestCase( input="How many evaluation metrics does DeepEval offers?", actual_output="14+ evaluation metrics"
)
metric = AnswerRelevancyMetric() evaluate(test_cases=[test_case], metrics=[metric])
Bạn có thể truy cập vào DeepEval qua liên kết này: https://github.com/confident-ai/deepeval
2. Llama3.1 so với GPT-4: Sức mạnh của mô hình mở và tùy chỉnh
Llama3.1 có thể được tự lưu trữ, với thời gian suy luận nhanh hơn nhiều và chi phí token rẻ hơn so với GPT-4, và phần hay nhất là nó là mã nguồn mở, với các trọng số mở.
Điều này có nghĩa là gì? Điều này có nghĩa là nếu bạn muốn tùy chỉnh Llama3.1, mà nhân tiện, hoạt động tốt như GPT-4 trên một số điểm chuẩn, bạn sẽ có thể tự mình làm điều đó. Hàng triệu (hoặc hàng tỷ?) USD mà Meta đã chi cho việc đào tạo Llama3.1 có thể được tận dụng bởi bất kỳ ai, và có sẵn để tinh chỉnh.
Sử dụng Llama3.1 ngay hôm nay:
import transformers
import torch model_id = "meta-llama/Llama-3.1-8B" pipeline = transformers.pipeline( "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
) response = pipeline("Hey how are you doing today?")
Bạn có thể truy cập vào Llama3.1 theo liên kết này: https://huggingface.co/meta-llama/Llama-3.1-8B
3. LangChain thay thế OpenAI Assistants: Linh hoạt hơn trong điều phối ứng dụng LLM
LangChain là một framework điều phối ứng dụng LLM, trong khi OpenAI Assistants giống như một API RAG, với logic điều phối bên trong bị ẩn sau cánh cửa đóng kín.
Điều phối LLM đơn giản có nghĩa là kết nối dữ liệu bên ngoài với LLM của bạn và cho phép LLM của bạn tìm nạp dữ liệu khi thấy phù hợp bằng cách cho nó truy cập vào API của bạn. Ví dụ: một chatbot báo cáo thời tiết hàng ngày cho bạn được xây dựng trên LangChain sẽ cho phép LLM tìm nạp thông tin thời tiết mới nhất cho hôm nay.
Bạn có thể truy cập vào LangChain theo liên kết này: https://github.com/langchain-ai/langchain
4. Flowise thay thế Relevance AI: Xây dựng ứng dụng LLM bằng giao diện kéo thả
Trong khi LangChain cho phép bạn xây dựng ứng dụng LLM của mình bằng mã, Flowise cho phép bạn làm điều đó thông qua giao diện người dùng, theo cách mã nguồn mở. Chỉ cần nhấp và thả để tùy chỉnh dữ liệu mà LLM của bạn có quyền truy cập và bạn đã sẵn sàng.
Bạn có thể truy cập vào Flowise theo liên kết này: https://github.com/FlowiseAI/Flowise
5. Lite LLM so với Martian AI: Linh hoạt chuyển đổi giữa các LLM
Lite LLM là một thư viện mã nguồn mở cho phép bạn chuyển đổi các LLM cho LLM trong một dòng mã, trong khi Martian, mặt khác, là một phiên bản đóng của nó.
Trên thực tế, mặc dù cả hai đều cho phép bạn chuyển đổi các LLM cho LLM, Martian AI là một bộ định tuyến LLM, nghĩa là nó chọn LLM tốt nhất cho mỗi đầu vào cho LLM của bạn để tối ưu hóa về độ chính xác, tốc độ và chi phí.
Bạn có thể truy cập vào Lite LLM qua liên kết này: https://github.com/BerriAI/litellm