Lauren Tan Reveals How 30+ AI Agents Ship PRs While You Sleep

Thang đo lòng tin với agent 1:09

• Hành trình bắt đầu từ việc quản lý một agent duy nhất và nhận ra mình là nút thắt.
• Việc xây dựng skills giúp chuyển giao chuyên môn cá nhân cho agent.
• Khi làm việc tại Cursor, việc xem flame graph và heap snapshot thủ công cho thấy cần tự động hóa.
• Verification là kỹ năng đầu tiên giúp leo thang đo lòng tin.
• Agent có thể tự leo thang nếu có vòng lặp verification.

Tầm quan trọng của chuyên môn lĩnh vực 6:09

• Khi model trở nên mạnh hơn, nút thắt là khả năng diễn đạt ý định rõ ràng.
• Người có chuyên môn sâu trong lĩnh vực phi kỹ thuật như y khoa, luật có lợi thế lớn nếu biết dùng agent.
• Chuyên môn giúp diễn đạt tầm nhìn và mục tiêu cho agent hiểu và thực hiện.

Ngôn ngữ và cách agent tiếp nhận 7:44

• Việc chọn từ ngữ ảnh hưởng đến cách agent suy nghĩ và hành động.
• TDD là ví dụ về việc dùng từ ngữ để định hướng agent viết test và ưu tiên công việc.
• Từ ngữ như 'tautology' nén nhiều ý nghĩa và giúp agent hiểu yêu cầu.
• Kỹ thuật grilling giúp agent hiểu suy nghĩ của người dùng và đề xuất từ ngữ phù hợp.

Mô hình nhà bếp Michelin thay vì nhà máy phần mềm 10:45

• Thuật ngữ 'software factory' gợi ý về chất lượng thấp và thiếu sự khéo léo.
• Nhà bếp Michelin nhấn mạnh chất lượng, sự sáng tạo và trải nghiệm người dùng.
• Mô hình này phản ánh thang đo lòng tin: từ đầu bếp tại gia đến bếp trưởng điều hành.
• Bếp trưởng không trực tiếp nấu mà tổ chức, lên kế hoạch và quản lý toàn bộ nhà bếp.
• Kỹ sư ngày nay tương tự bếp trưởng: không viết code mà chịu trách nhiệm về kết quả cuối cùng.

Verification là kỹ năng quan trọng nhất 15:36

• Verification cung cấp cho agent 'tay và mắt' để tự chạy code và tương tác như người dùng thật.
• Agent có thể debug, lấy trace và snapshot để tự kiểm tra kết quả.
• Verification là kỹ năng đầu tiên được xây dựng tại Cursor và giúp leo thang đo lòng tin.
• Hill climbing là kỹ thuật dùng verification để agent liên tục cải thiện dựa trên rubric.
• Mỗi ứng dụng tại Cursor và SpaceX AI đều có verification skill được tự động duy trì.

CLI tùy chỉnh cho verification 18:49

• CLI giúp giảm tải context window bằng cách mã hóa các phần xác định thành script.
• Agent không cần phán đoán những việc mang tính cơ học như refactor code.
• CLI đóng vai trò như một wrapper chứa hướng dẫn nhẹ và các công cụ tùy chỉnh.
• Trước khi có CLI, mỗi agent tự xây dựng lại công cụ và lãng phí thời gian.
• CLI giúp tăng tốc độ và tính nhất quán của agent.

Tách biệt xác định và phán đoán 23:15

• Nguyên tắc cốt lõi là để agent xử lý phần cần phán đoán, còn phần cơ học dùng script.
• Migration giữa các công nghệ có thể dùng codemod và script để chuyển đổi AST.
• Việc này giúp agent không phải suy nghĩ lại từ đầu mỗi lần.

Môi trường làm việc và ràng buộc 25:39

• Công việc mới của kỹ sư là dành thời gian cho môi trường làm việc.
• Nếu không có môi trường tốt, kỹ sư bị mắc kẹt trong việc vi quản lý agent.
• Codebase tốt là codebase dễ thay đổi và có nhiều ràng buộc để tránh sai sót.
• Framework Dune của Cursor có lint rules nghiêm ngặt và cấu trúc thư mục theo tính năng.
• Quan sát lỗi của agent và biến chúng thành lint rule hoặc ràng buộc trong môi trường.

Cơ chế đạt 2.500 PR 32:22

• Điều kiện tiên quyết là môi trường tốt và verification mạnh.
• Mỗi dự án lớn giống như một nhà hàng, và có thể mở nhiều nhà hàng cùng lúc.
• Vòng lặp ngoài (Slack, Linear, X) cung cấp ngữ cảnh bên ngoài cho vòng lặp trong.
• Kết nối hai vòng lặp giúp agent tự thu thập ngữ cảnh và xử lý bug report.
• Coordinator agent (Cursor Projects) quản lý và điều phối các sub-agent.
• Mục tiêu cuối cùng là agent tự merge code của mình.

Vai trò của Grokbot và Cursor Projects 40:12

• Grokbot là công cụ vòng lặp ngoài với các connector đến email, lịch, Slack, Plaid.
• Grokbot có thể gửi tin nhắn đến Cursor Projects để tạo dự án.
• Cursor Projects là vòng lặp trong với coordinator agent trên cloud.
• Coordinator agent nhận 30 payload và phân phối cho sub-agent một cách hiệu quả.
• Việc nhóm các bug report giúp agent nhìn thấy bức tranh lớn hơn và tránh trùng lặp công việc.

Routine và buffer cho agent 46:30

• Một routine ví dụ là agent tìm kiếm anti-pattern của React và ghi vào tài liệu thay vì sửa ngay.
• Buffer giúp con người nhìn thấy mẫu và đưa ra phán đoán tổng thể.
• Chief of staff agent có thể nhìn thấy 'cả khu rừng' thay vì chỉ từng bug.

Chiến lược review và lấy mẫu 48:38

• Không thể nếm thử từng món, nên review bằng cách lấy mẫu PR hàng ngày.
• Nếu thấy nhiều agent mắc cùng một lỗi, cần sửa môi trường thay vì sửa từng agent.
• Việc điều chỉnh môi trường đủ nhiều sẽ dẫn đến trạng thái agent tự vận hành.
• Quá trình này rất khó và đòi hỏi thời gian, công sức có chủ đích.

Dark factory và tự động merge 51:13

• Agent có thể tự merge PR khi verification và môi trường đủ mạnh.
• Chế độ full autopilot trong PAC tạo vòng lặp verification nghiêm ngặt với nhiều verifier agent.
• Fuzzing giúp agent chạy ứng dụng, click và tìm regression như người dùng thật.
• Quá trình này tốn token nhưng có thể điều chỉnh số lượng verifier.
• Review sau khi merge bằng cách xem commit history và sửa môi trường nếu cần.

PR một chiều và khả năng kiểm chứng 55:11

• PR một chiều gây mất dữ liệu hoặc không thể hoàn tác dễ dàng.
• Khả năng kiểm chứng của lĩnh vực quyết định mức độ tự động hóa.
• Software engineering có thể kiểm chứng tốt, nhưng không phải mọi lĩnh vực đều vậy.
• Ngôn ngữ lập trình hướng agent như Bend kết hợp lập trình với chứng minh toán học.
• Nếu agent có thể chứng minh code đúng, việc merge là hợp lý.

Kết hợp PAC và các bộ skill khác 59:14

• Skills chỉ là quy trình được viết bằng ngôn ngữ, dưới dạng markdown.
• Mỗi người nên có bộ công cụ riêng và học cách kết hợp các skill khác nhau.
• Có thể kết hợp grill-me với docs hoặc wayfinder với execution skills trong PAC.
• Nên xem lại transcript cũ để tìm mẫu và biến chúng thành skill hoặc lint rule.
• Skill 'recall' trong PAC giúp tóm tắt và chuyển ngữ cảnh từ chat cũ sang chat mới.
• Skills ngày càng nhỏ gọn hơn, tập trung vào quy trình thay vì chi tiết triển khai.