Cách Hexagon xây dựng trợ lý AI bằng các dịch vụ AI tạo sinh của AWS

Bài viết này kể về hành trình của bộ phận Trí tuệ Vòng đời Tài sản (Asset Lifecycle Intelligence – ALI) của công ty Hexagon trong việc hợp tác với Amazon Web Services (AWS) để xây dựng một trợ lý ảo thông minh tên là HxGN Alix. Alix được tạo ra bằng cách sử dụng các dịch vụ AI tạo sinh (generative AI) của AWS, nhằm giúp người dùng tương tác với các sản phẩm Quản lý Tài sản Doanh nghiệp (Enterprise Asset Management – EAM) của Hexagon một cách hiệu quả hơn. Bài viết này sẽ đi sâu vào chiến lược, quá trình phát triển và cách triển khai HxGN Alix, cho thấy cách một giải pháp AI tùy chỉnh có thể tăng năng suất và làm hài lòng người dùng.

Chiến lược xây dựng AI tạo sinh: Bảo mật, chính xác và bền vững

Hexagon đặt ra một chiến lược rõ ràng khi xây dựng HxGN Alix, tập trung vào nhu cầu của khách hàng, yêu cầu kinh doanh và các yếu tố công nghệ. Dưới đây là các yếu tố chính trong chiến lược của họ:

• Phân biệt AI tạo sinh cho người dùng thông thường và doanh nghiệp:
  • AI tạo sinh cho người dùng: Thường dùng cho các tác vụ hàng ngày như viết nội dung, tạo ảnh hoặc trả lời các câu hỏi chung.
  • AI tạo sinh cho doanh nghiệp: Được thiết kế riêng để giải quyết các vấn đề cụ thể của doanh nghiệp, chú trọng đến khả năng mở rộng, bảo mật và tích hợp mượt mà với các quy trình làm việc hiện có. Các hệ thống này thường kết nối với hạ tầng của doanh nghiệp, ưu tiên bảo vệ dữ liệu và sử dụng dữ liệu riêng của công ty để đảm bảo tính liên quan và chính xác.

• So sánh LLM thương mại và mã nguồn mở: Hexagon cân nhắc kỹ lưỡng việc sử dụng mô hình ngôn ngữ lớn (Large Language Model – LLM) thương mại hay mã nguồn mở dựa trên các tiêu chí sau:
  • Quản lý chi phí: Tránh các chi phí khó lường liên quan đến LLM.
  • Tùy chỉnh: Điều chỉnh mô hình để hiểu các thuật ngữ và ngữ cảnh đặc thù của ngành.
  • Quyền sở hữu trí tuệ và giấy phép: Duy trì quyền kiểm soát việc sử dụng dữ liệu và tuân thủ các quy định.
  • Bảo mật dữ liệu: Đảm bảo tính bảo mật cao và tuân thủ các yêu cầu về an ninh.
  • Kiểm soát vòng đời mô hình: Với LLM mã nguồn mở, họ có thể tự kiểm soát việc cập nhật, cải tiến và bảo trì mô hình theo nhu cầu kinh doanh mà không phụ thuộc vào bên thứ ba.

• Tiếp cận AI tạo sinh cho doanh nghiệp theo từng giai đoạn: Hexagon áp dụng phương pháp “bò, đi, chạy” để quản lý quá trình phát triển một cách hiệu quả, đặc biệt khi công nghệ này còn khá mới.
  • Giai đoạn “Bò”: Xây dựng cơ sở hạ tầng ban đầu, tập trung vào bảo mật và quyền riêng tư dữ liệu. Ưu tiên việc thiết lập các biện pháp bảo vệ về an ninh, tuân thủ và bảo mật dữ liệu, cũng như quản lý chi phí và năng lực hệ thống.
  • Giai đoạn “Đi”: Tích hợp dữ liệu đặc thù của khách hàng để tăng tính liên quan, đồng thời duy trì bảo mật ở cấp độ từng khách hàng. Tập trung vào việc nâng cao chuyên môn kỹ thuật, hoàn thiện quy trình vận hành và thu thập kinh nghiệm thực tế với các mô hình AI tạo sinh.
  • Giai đoạn “Chạy”: Phát triển các ứng dụng giá trị cao, đáp ứng nhu cầu cụ thể của khách hàng, giúp tăng năng suất và cải thiện khả năng ra quyết định. Chuẩn hóa các phương pháp và khung phát triển để nhiều nhóm sản phẩm có thể áp dụng AI một cách hiệu quả.

• Xác định trường hợp sử dụng phù hợp: Trợ lý ảo (Digital Worker): Hexagon xác định việc phát triển một trợ lý ảo là trường hợp sử dụng tối ưu vì tiềm năng mang lại lợi tức đầu tư (ROI) cao nhờ:
  • Nâng cao năng suất: Trợ lý ảo có khả năng xử lý các tác vụ phức tạp và chuyên biệt.
  • Cải thiện hiệu quả: Tự động hóa các công việc lặp đi lặp lại và tối ưu hóa quy trình làm việc.
  • Nâng cao trải nghiệm người dùng: Cung cấp câu trả lời nhanh chóng và chính xác cho các truy vấn của người dùng.
  • Hỗ trợ môi trường bảo mật cao: Hoạt động trong các tiêu chuẩn an ninh nghiêm ngặt của khách hàng.

Giới thiệu Alix: Trợ lý ảo cho Trí tuệ Vòng đời Tài sản

HxGN Alix là một trợ lý chat dựa trên AI, được thiết kế để hoạt động như một nhân viên kỹ thuật số, mang lại sự đổi mới trong cách người dùng tương tác với các sản phẩm EAM. Alix có các chức năng chính sau:

• Đơn giản hóa việc truy cập thông tin: Cung cấp câu trả lời nhanh chóng và chính xác, giúp người dùng không cần phải tìm kiếm trong các tài liệu PDF dài dòng.
• Cải thiện quy trình làm việc nội bộ: Hỗ trợ các bộ phận Chăm sóc Khách hàng và Hỗ trợ Kỹ thuật trong việc tìm kiếm thông tin hiệu quả.
• Nâng cao sự hài lòng của khách hàng: Cung cấp cho người dùng cuối của hệ thống EAM một công cụ trực quan để tương tác, từ đó cải thiện trải nghiệm tổng thể của họ.

Hiểu rõ nhu cầu hệ thống để lựa chọn công nghệ phù hợp

Trước khi chọn công nghệ cho HxGN Alix, Hexagon xác định các thành phần và yêu cầu cơ bản của hạ tầng trợ lý AI, bao gồm:

• Chuyển đổi dự phòng giữa các khu vực (Regional failover): Đảm bảo hệ thống vẫn hoạt động khi có sự cố ở một khu vực, duy trì tính sẵn sàng của dịch vụ.
• Quản lý vòng đời mô hình (Model lifecycle management): Thiết lập cơ chế đáng tin cậy để tùy chỉnh và triển khai các mô hình học máy.
• Lưu trữ LLM (LLM hosting): Lưu trữ các mô hình AI trong một môi trường ổn định, có khả năng mở rộng và đáp ứng các yêu cầu bảo mật cao.
• Khả năng đa ngôn ngữ (Multilingual capabilities): Đảm bảo trợ lý có thể giao tiếp hiệu quả bằng nhiều ngôn ngữ để phục vụ đa dạng người dùng.
• Công cụ an toàn (Safety tools): Tích hợp các biện pháp bảo vệ để thúc đẩy việc sử dụng AI an toàn và có trách nhiệm, đặc biệt liên quan đến bảo vệ dữ liệu và tương tác người dùng.
• Lưu trữ dữ liệu (Data storage): Cung cấp giải pháp lưu trữ an toàn cho tài liệu sản phẩm và dữ liệu người dùng, tuân thủ các tiêu chuẩn an ninh của ngành.
• Tạo sinh tăng cường khả năng truy xuất (Retrieval Augmented Generation – RAG): Nâng cao khả năng của trợ lý trong việc tìm kiếm thông tin liên quan từ các tài liệu đã lưu trữ, cải thiện độ chính xác của câu trả lời.
• Nhúng văn bản (Text embeddings): Sử dụng kỹ thuật nhúng văn bản để biểu diễn và truy xuất dữ liệu liên quan một cách hiệu quả.

Lựa chọn bộ công nghệ phù hợp

Để phát triển HxGN Alix, Hexagon đã chọn kết hợp các dịch vụ AI tạo sinh của AWS và các công nghệ bổ trợ, tập trung vào khả năng mở rộng, tùy chỉnh và bảo mật. Kiến trúc cuối cùng bao gồm:

• Amazon Elastic Kubernetes Service (Amazon EKS): Dùng để tính toán và triển khai mô hình, giúp quản lý và triển khai các mô hình của Alix một cách hiệu quả, đảm bảo tính sẵn sàng cao và khả năng mở rộng. Họ tận dụng cụm EKS hiện có để tích hợp liền mạch và tận dụng các khoản đầu tư hiện tại.
• Amazon Elastic Compute Cloud (Amazon EC2) phiên bản G6e: Cung cấp hạ tầng AI toàn diện, an toàn và tiết kiệm chi phí. Họ chọn phiên bản G6e.48xlarge với GPU NVIDIA L40S, được đánh giá là hiệu quả chi phí nhất để triển khai các mô hình AI tạo sinh dưới 12 tỷ tham số.
• Mistral NeMo: Một LLM mã nguồn mở 12 tỷ tham số, được xây dựng với sự hợp tác của NVIDIA và phát hành theo giấy phép Apache 2.0. Mistral NeMo có cửa sổ ngữ cảnh lớn (lên đến 128.000 token) và được thiết kế cho các ứng dụng đa ngôn ngữ toàn cầu, tối ưu hóa cho việc gọi hàm và hoạt động tốt ở nhiều ngôn ngữ.
• Amazon Bedrock Guardrails: Cung cấp một khung toàn diện để thực thi các quy tắc an toàn và tuân thủ trong các ứng dụng AI, cho phép tùy chỉnh các chính sách lọc để đảm bảo các phản hồi của AI phù hợp với tiêu chuẩn của tổ chức và các yêu cầu pháp lý.
• Amazon Simple Storage Service (Amazon S3): Cung cấp lưu trữ an toàn để quản lý tài liệu sản phẩm và dữ liệu người dùng, tuân thủ các tiêu chuẩn an ninh của ngành.
• Amazon Bedrock Knowledge Bases: Nâng cao khả năng của Alix trong việc truy xuất thông tin liên quan từ các tài liệu đã lưu trữ, cải thiện độ chính xác của câu trả lời. Đây là một giải pháp RAG được quản lý, giúp họ thử nghiệm các chiến lược khác nhau và giải quyết các thách thức phức tạp một cách hiệu quả.
• Amazon Bedrock: Được sử dụng như một giải pháp dự phòng khi có sự cố ở một khu vực. Hệ thống có thể chuyển sang mô hình Mistral 7B bằng cách sử dụng các điểm cuối đa khu vực của Amazon Bedrock để duy trì dịch vụ liên tục.
• Amazon Bedrock Prompt Management: Tính năng này giúp đơn giản hóa việc tạo, đánh giá, quản lý phiên bản và chia sẻ các prompt (lệnh) trong nhóm kỹ thuật để có được phản hồi tốt nhất từ các mô hình nền tảng (Foundation Models – FMs).

Hành trình phát triển

Hexagon đã phát triển HxGN Alix theo từng giai đoạn có cấu trúc:

• Giai đoạn thử nghiệm (Proof of concept): Tạo ra một bản thử nghiệm để xác minh tính khả thi của trợ lý AI trong môi trường an toàn. Mục tiêu chính là đảm bảo có thể phát triển giải pháp đáp ứng các tiêu chuẩn an ninh cao, đòi hỏi toàn quyền kiểm soát khả năng quản lý của giải pháp. Bản thử nghiệm sử dụng mô hình NeMo có sẵn, triển khai trên cụm EKS hiện có mà không tích hợp các cơ sở tri thức nội bộ.
• Các cải tiến về bảo mật: Sử dụng hạ tầng an toàn do AWS cung cấp. Các mô hình được triển khai trong môi trường EKS sản xuất hiện có, cho phép sử dụng các công cụ bảo mật và giám sát hiện tại. Sử dụng các mạng con riêng biệt để đảm bảo mã tương tác với mô hình không kết nối với internet, tăng cường bảo vệ thông tin người dùng. Không lưu trữ bất kỳ tương tác nào của người dùng để đảm bảo tính bảo mật hoàn toàn.
• Điều chỉnh độ chính xác của phản hồi: Nhận thấy việc tích hợp trợ lý ảo với các sản phẩm là rất quan trọng. Các mô hình cơ bản có kiến thức hạn chế về sản phẩm của họ và thường tạo ra các thông tin sai lệch (hallucination). Họ đã chọn RAG thay vì huấn luyện trước mô hình với tài liệu nội bộ vì:
  • Họ đang ở giai đoạn phát triển ban đầu và không có đủ dữ liệu để huấn luyện trước mô hình.RAG giúp mô hình đưa ra câu trả lời dựa trên ngữ cảnh chính xác bằng cách truy xuất thông tin liên quan, giảm thiểu các thông tin sai lệch.

• Việc triển khai hệ thống RAG cũng gặp phải những thách thức:
  • Mất ngữ cảnh khi chia nhỏ tài liệu (Destruction of context when chunking documents): Việc chia nhỏ tài liệu để chuyển thành vector có thể làm mất dữ liệu quan hệ trong bảng hoặc cấu trúc phức tạp. Hexagon đã sử dụng khả năng chia nhỏ theo cấu trúc của Amazon Bedrock Knowledge Bases để duy trì ngữ cảnh.
  • Xử lý tài liệu ở các định dạng khác nhau (Handling documents in different formats): Tài liệu sản phẩm có nhiều định dạng khác nhau. Họ đã chuẩn hóa và chuyển đổi các tài liệu này sang định dạng nhất quán để hệ thống RAG có thể xử lý tốt hơn, sử dụng khả năng phân tích cú pháp FM của Amazon Bedrock Knowledge Bases.
  • Xử lý giới hạn của LLM (Handling LLM boundaries): Các truy vấn của người dùng đôi khi vượt quá khả năng của hệ thống. Họ đã điều chỉnh phản hồi của hệ thống để AI có thể đưa ra câu trả lời mạch lạc và đầy đủ ngay cả khi thông tin truy xuất bị hạn chế, bằng cách thêm các tài liệu tùy chỉnh chứa câu hỏi thường gặp và hướng dẫn đặc biệt vào cơ sở tri thức.
  • Đảm bảo tính xác thực của phản hồi (Grounding responses): Sử dụng kết hợp các prompt chuyên biệt cùng với kiểm tra ngữ cảnh từ Amazon Bedrock Guardrails để giảm thiểu thông tin sai lệch.
  • Quản lý các câu hỏi tiếp theo ngắn gọn (Managing one-line conversation follow-ups): Triển khai các cơ chế để duy trì ngữ cảnh hội thoại, cho phép HxGN Alix hiểu và phản hồi phù hợp. Họ đã thử nghiệm hai phương pháp: diễn giải lại truy vấn dựa trên prompt và truy xuất dựa trên ngữ cảnh với lịch sử chat.

Để giải quyết những thách thức này, họ đã phát triển một quy trình các bước để nhận được phản hồi chính xác từ trợ lý ảo.

• Điều chỉnh vòng đời phát triển ứng dụng: Đối với các hệ thống AI tạo sinh, vòng đời phát triển ứng dụng truyền thống cần được điều chỉnh để quản lý độ chính xác và hiệu suất hệ thống:
  • Thách thức trong kiểm thử (Testing challenges): Khác với mã truyền thống, các hệ thống AI tạo sinh không thể chỉ dựa vào kiểm thử đơn vị. Các prompt có thể trả về kết quả khác nhau mỗi lần.
  • Tính biến động của hiệu suất (Performance variability): Thời gian phản hồi của LLM có thể thay đổi đáng kể.
  • Đảm bảo chất lượng (Quality assurance – QA): Phát triển các phương pháp kiểm thử và QA mới để đảm bảo phản hồi của Alix nhất quán và đáng tin cậy.
  • Giám sát và tối ưu hóa (Monitoring and optimization): Triển khai giám sát liên tục để theo dõi các chỉ số hiệu suất và tương tác của người dùng, cho phép tối ưu hóa hệ thống AI liên tục.

Kết luận

Việc ra mắt thành công HxGN Alix cho thấy tiềm năng to lớn của AI tạo sinh trong quản lý tài sản doanh nghiệp. Bằng cách sử dụng các dịch vụ AI tạo sinh của AWS và một bộ công nghệ được lựa chọn cẩn thận, Hexagon đã tối ưu hóa quy trình làm việc nội bộ và nâng cao sự hài lòng của người dùng trong môi trường an toàn. HxGN Alix là một ví dụ điển hình về cách một giải pháp AI được thiết kế chiến lược có thể thúc đẩy hiệu quả, cải thiện trải nghiệm người dùng và đáp ứng các nhu cầu bảo mật riêng biệt của khách hàng doanh nghiệp.

Hành trình này nhấn mạnh tầm quan trọng của việc tiếp cận AI tạo sinh một cách chiến lược, cân bằng giữa bảo mật, độ chính xác và tính bền vững, đồng thời tập trung vào trường hợp sử dụng và bộ công nghệ phù hợp. Thành công của HxGN Alix là một hình mẫu cho các tổ chức muốn sử dụng AI để giải quyết các thách thức phức tạp trong việc truy cập thông tin.

Bằng cách sử dụng đúng bộ công nghệ và phương pháp tiếp cận chiến lược, các tổ chức có thể mở ra những hiệu quả mới, cải thiện trải nghiệm người dùng và thúc đẩy thành công kinh doanh.