BlogKỹ thuật

Tác giảVinh

Autonomous Growth: Running a Platform with an Agentic AI System

Thiết kế một agentic AI system tự vận hành marketplace hai phía: kiến trúc, an toàn, content strategy, planning bằng simulation và các mô hình để quyết định.

Một người đứng chỉ vào laptop của người ngồi cạnh, phía sau là màn hình đầy mã nguồnMinh họa

Bài này mô tả thiết kế của một hệ thống trong đó một AI agent tự vận hành phần tăng trưởng và vận hành hằng ngày của một marketplace hai phía. Ở Cooly, guest đặt thời gian của provider (đối tác), những người thật ở địa phương, cho các việc cần gặp mặt trực tiếp. Agent tự chọn việc cần làm, tự làm và tự chấm kết quả; con người không duyệt từng hành động.

Nửa đầu bài trình bày hệ thống: agent nằm ở đâu so với platform, gồm những vai nào, một hành động đi từ đầu đến cuối ra sao, các cơ chế an toàn, memory, content strategy và cách lập kế hoạch. Nửa sau trình bày các mô hình thống kê mà agent dùng để nhìn marketplace và ra quyết định, rồi cách hệ thống đánh giá chính nó.

Bài toán

Một marketplace hai phía có hai nhóm người dùng phụ thuộc lẫn nhau. Demand là nhu cầu của guest: tìm kiếm, xem trang, giữ chỗ (hold), đặt và hoàn tất booking. Supply là thời gian mà provider mở để nhận việc. Một booking chỉ xảy ra khi demand và supply gặp nhau đúng nơi, đúng việc, đúng giờ.

Hệ thống phải làm bốn nhóm việc:

  • Demand: đưa người có nhu cầu đến đúng trang, giúp người mới đặt lần đầu, giữ người cũ quay lại (retention).
  • Supply: tìm provider ở nơi đang có người chờ, giúp provider mới sẵn sàng nhận việc, giữ provider hoạt động.
  • Catalogue: danh mục các việc có thể đặt. Hệ thống tìm những việc người dùng tìm mà chưa có và đề xuất thêm.
  • Operations: theo dõi sức khoẻ hệ thống, xử lý sự cố, chuẩn bị hồ sơ khi có tranh chấp, phát hiện lạm dụng.

Mọi việc được so bằng một thước đo chung, North Star metric T28: số tài khoản khác nhau đã hoàn tất ít nhất một booking, với vai guest hoặc provider, trong 28 ngày gần nhất. Bên cạnh nó là các guardrail, những chỉ số không được phép xấu đi khi T28 tăng: tỷ lệ tranh chấp, rating, median giá theo giờ, tỷ lệ provider huỷ, tỷ lệ lỗi. Phần "Objective" ở nửa sau trình bày chi tiết.

Bốn ràng buộc định hình thiết kế:

  1. Dữ liệu thưa và không đều. Phần lớn các tổ hợp nơi × việc × giờ có rất ít sự kiện. Một vài tổ hợp có nhiều. Hệ thống phải ra quyết định hợp lý ở cả hai đầu.
  2. Không có ngưỡng theo quy mô. Không có quy tắc kiểu "khi có trên 5 lượt tìm thì làm X", vì ngưỡng nào cũng sai ở một quy mô nào đó và phải có người nhớ để sửa.
  3. Mô hình ngôn ngữ (language model) không đáng tin tuyệt đối. Nó viết tốt và suy luận được, nhưng có thể sai, có thể bị chèn lệnh qua dữ liệu đầu vào, và có thể thay đổi hành vi khi nhà cung cấp cập nhật.
  4. Hành động chạm tới người thật. Một bài viết sai, một thông báo gửi thừa hay một trang hứa điều không có đều gây hại thật, và có thứ không thu hồi được.

Control loop

Toàn bộ hệ thống chạy như một control loop (vòng điều khiển) năm bước:

  • measure: event và record của platform được gom thành các cell. Một cell là một tổ hợp city × service × giờ trong tuần (xem phần Perception).
  • believe: mỗi đại lượng trong một cell là một posterior, tức một phân phối xác suất thể hiện điều hệ thống tin sau khi thấy dữ liệu, chứ không phải một con số.
  • decide: mỗi quyết định chọn phương án có expected value (giá trị kỳ vọng) cao nhất dưới sự bất định đó, và explore (thử phương án chưa chắc) có chủ đích.
  • act: rule tất định chạy ngay trong platform; agent hành động qua public tools.
  • learn: mỗi outcome (kết quả quan sát được) cập nhật posterior. Mỗi lựa chọn ngẫu nhiên được log kèm propensity, tức xác suất nó đã được chọn, để sau này đánh giá được.
Control loop của hệ thốngNăm bước của control loop xếp từ trên xuống: measure, believe, decide, act, learn. Một mũi tên từ learn quay về measure cho thấy vòng lặp chạy liên tục: mỗi outcome cập nhật posterior và quay lại bước đo.1 measureevent và record → các cell của marketplace2 believemỗi đại lượng là một posterior, không là số3 decideexpected value; Thompson sampling để explore4 actrule chạy trong platform; agent qua public tools5 learnoutcome cập nhật posterior; propensity được logmỗi giờ, mỗi outcome: lặp lại
Control loop năm bước. Vòng lặp chạy liên tục; mỗi outcome quay về bước measure.

Thiết kế không có giai đoạn. Khi dữ liệu ít, posterior rộng, và cùng một decision rule sẽ tự explore nhiều hơn và hành động thận trọng hơn. Khi dữ liệu nhiều, posterior hẹp, và cũng rule đó chuyển sang exploit (dùng phương án đang tốt nhất). Không có công tắc nào phải bật ở một mốc người dùng nào.

Kiến trúc: agent đứng ngoài platform

Agent là một service riêng, tách khỏi platform. Nó không có quyền truy cập trực tiếp vào bất kỳ database nào của platform. Nó đọc và ghi qua cùng loại public tools mà trợ lý AI của người dùng gọi (theo Model Context Protocol), với một phạm vi quyền hẹp. Mọi write của agent vì vậy đi qua đúng những kiểm tra và từ chối mà write của một người dùng phải qua.

Kiến trúc: platform và agentKiến trúc ba tầng. Trên cùng là guest, provider và trợ lý AI của họ. Ở giữa là platform: public tools, rules và market model, risk ledger, independent checks và records. Platform gửi event có kiểu xuống agent; agent chỉ ghi ngược lên qua public tools, mỗi write đi qua risk ledger. Trong agent có coordinator, planner và bốn lead, reviewer và evaluator, cùng memory. Bên dưới là language model bên ngoài, chỉ nhận aggregate và nội dung công khai, và người vận hành nhận report và có thể undo.guest, provider và trợ lý AI của họPlatformnguồn sự thật duy nhấtpublic toolssite và API công khairules + market modelposterior của từng cellrisk ledgernhận hoặc từ chối writeindependent checkslinter, classifier khác họrecordsbooking, rating, event, auditevent có kiểuwrite qua public toolsAgentkhông truy cập databasecoordinator: risk budget, write gateplanner + 4 leadreviewer · evaluatormemory: episode, fact, procedurelanguage modelchỉ aggregate, nội dung công khaingười vận hànhreport, undo
Kiến trúc ba tầng. Platform là nơi giữ dữ liệu và luật; agent nhận event và chỉ ghi ngược lên qua public tools, nơi risk ledger nhận hoặc từ chối.

Luồng thông tin có hướng rõ ràng:

  • Từ platform xuống agent: event có kiểu (typed event), ví dụ "marketplace model (các mô hình thống kê của marketplace, trình bày ở nửa sau) vừa cập nhật" hay "có change-point trên luồng lỗi" (change-point: thời điểm hành vi của một luồng dữ liệu đổi đột ngột). Event không chứa dữ liệu cá nhân.
  • Từ agent lên platform: write qua public tools. Platform giữ risk ledger (sổ rủi ro) và là bên quyết định cuối cùng nhận hay từ chối một write.
  • Từ agent ra language model: chỉ aggregate, nội dung công khai, và dữ kiện của một vụ việc đã được thay bằng token. Không gửi tên, số điện thoại, email, nội dung chat hay hình ảnh chứng từ. Các view chứa dữ liệu cá nhân nằm ngoài phạm vi đọc của agent, nên chính server, không chỉ agent, giữ dữ liệu đó khỏi model.
  • Từ agent tới người vận hành: report hằng ngày, mỗi hành động kèm nút undo. Người vận hành không duyệt trước.

Lý do tách như vậy: platform là nguồn sự thật duy nhất, nên một lỗi trong agent, kể cả một prompt bị thao túng, không thể ghi thẳng vào dữ liệu hay vượt qua luật mà platform áp cho mọi người. Cái giá là mỗi khả năng mới của agent phải được platform mở ra thành một tool, và agent không thể tự tối ưu một truy vấn bằng cách đọc database.

Rule hay agent: chia việc theo loại quyết định

Mọi thứ một rule tất định quyết định được thì nằm trong platform, có test như mọi tính năng khác: marketplace model, posterior, change-point, forecast, trạng thái vòng đời của tài khoản, bandit (thuật toán chọn giữa nhiều phương án và học từ kết quả) chọn thông báo, xếp hạng có explore và risk ledger. Những rule này chạy ngay khi dữ liệu đến và không cần agent.

Agent làm phần cần phán đoán, tổng hợp và ngôn ngữ:

  • tìm những việc người dùng tìm mà danh mục chưa có, viết chúng thành đề xuất;
  • viết nội dung để người có nhu cầu tìm thấy, bộ tài liệu tuyển provider, và các variant (phiên bản câu chữ) của thông báo;
  • lập kế hoạch bằng cách mô phỏng hành động trên world model (mô hình của marketplace dùng để mô phỏng, xem phần Planning);
  • chẩn đoán sự cố và chuẩn bị hồ sơ cho những việc cần con người quyết định.

Cách chia này đặt phần chạy thường xuyên, trên mỗi request hay mỗi giờ, vào code có test. Phần dùng language model chạy ít lần hơn, và mỗi đầu ra của nó đi qua review trước khi tới người dùng.

Các vai trong agent

Agent gồm bảy vai, xếp thành một hierarchy với một planner duy nhất:

  • coordinator: Điều phối chung: giữ risk budget (lượng rủi ro agent được phép gây ra), write gate (mọi write đi qua đây), kênh liên lạc với người vận hành, lịch chạy
  • planner: World model, simulation, phân bổ việc cho các lead, quyết định khi nào lập lại plan
  • demand lead: Nội dung để người có nhu cầu tìm thấy, variant thông báo phía guest
  • supply lead: Bộ tài liệu tuyển provider, trang tuyển theo cell, variant thông báo phía provider
  • catalogue lead: Gom cụm các lượt tìm không có kết quả, đề xuất việc mới, viết lại mô tả việc yếu
  • ops lead: Sự cố, hồ sơ tranh chấp, mẫu hành vi lạm dụng
  • reviewer: Review mọi artefact công khai (bài viết, trang, variant, đề xuất): sự thật, an toàn, đúng luật nội dung; phát hiện chèn lệnh
  • evaluator: Đánh giá counterfactual (điều đã có thể xảy ra nếu làm khác), chấm forecast, cập nhật lever posterior (effect ước lượng của từng loại hành động), thử procedure mới (cách làm có version của một loại việc), chạy eval (bộ kiểm thử cho từng thành phần)
Các vai trong agentCoordinator ở trên cùng, giữ risk budget và write gate. Dưới là planner, rồi bốn lead: demand, supply, catalogue và ops. Bài của các lead đi tới reviewer chỉ dưới dạng artefact, facts và rules, không kèm input chưa tin cậy. Reviewer và evaluator nằm trong một khung riêng, độc lập với các lead. Evaluator đọc outcome từ records của platform và gửi lever posterior lên planner.coordinatorrisk budget, write gateplannerworld model, simulationdemandleadsupplyleadcatalogueleadopsleadchỉ artefact, facts, ruleskhông có input chưa tin cậyreviewerkhông viết, không ghievaluatorchấm outcomeđộc lập với các leadrecords của platformlever posterior
Một planner, một lead cho mỗi mảng, và hai vai độc lập. Reviewer chỉ nhận artefact, facts và rules; evaluator đọc outcome từ records của platform.

Lý do của cấu trúc này:

  • Một planner để có một objective và một đơn vị so sánh. Mỗi lever (một loại hành động tác động lên một đại lượng của marketplace, như đăng bài hay tuyển provider), dù của demand hay supply, được so bằng mức tăng kỳ vọng của T28 trên chi phí.
  • Một lead cho mỗi mảng để mỗi lever có một chủ giữ procedure của nó.
  • Một reviewer và một evaluator không phải tác giả. Bên viết không tự review, bên hành động không tự chấm outcome. Lever posterior, thứ evaluator trả về cho planner, là posterior của effect mà mỗi lever tạo ra.
  • Nghiên cứu, viết và biên tập là các bước trong workflow (chuỗi bước của một việc) của một lead, không phải vai riêng, vì chúng không có state cần giữ giữa các lần chạy.

Language model được chọn theo độ khó của việc: mô hình nhỏ cho gắn nhãn và phân loại, mô hình lớn hơn cho viết và chẩn đoán. Phần toán (posterior, simulation, risk) là code.

Một write tự động, từ event đến evaluation

Hình dưới theo một hành động từ đầu đến cuối: một cell có người chờ mà không có provider, dẫn tới một trang tuyển provider cho cell đó.

Một write tự động, từ đầu đến cuốiSơ đồ tuần tự của một write tự động qua năm lifeline: platform, coordinator, lead, reviewer, evaluator. Platform gửi event; coordinator giao việc cho lead; lead dựng evidence pack bằng code, viết nháp bằng language model, gửi artefact cho reviewer và nhận verdict; lead trả JSON đã validate; coordinator ghi qua public tool; platform chạy checks và risk ledger rồi nhận hoặc từ chối; coordinator log propensity và forecast cho evaluator; evaluator chờ hết outcome window, đọc outcome từ records và ước lượng effect bằng doubly robust.platformcoordinatorleadreviewerevaluator1 event: cell thiếu supply2 giao việc theo plan3 code dựng evidence pack4 language model viết nháp5 artefact + facts + rules6 verdict7 JSON đã validate8 write qua public tool9 checks, risk ledger10 nhận, hoặc từ chối11 log: propensity, forecast12 chờ outcome window13 outcome từ records14 doubly robust estimate
Mười bốn bước của một write tự động. Language model chỉ xuất hiện ở bước 4; bước 8 là write duy nhất, đi qua checks và risk ledger của platform.

Ba điểm thiết kế nằm trong chuỗi này:

  • Code thu thập, model phán đoán. Evidence pack (bộ dữ kiện cho một việc) được dựng bằng code từ các view của platform. Model không tự đi lấy dữ liệu.
  • Write có cấu trúc. Model trả về JSON, được validate theo schema. Coordinator dựng write từ JSON đó bằng code. Không có lời gọi tool tự do từ model tới platform. JSON rỗng hoặc sai schema được sửa một lượt, rồi chuyển sang mô hình dự phòng, rồi đánh dấu việc thất bại để planner thấy.
  • Hai lớp kiểm tra độc lập với tác giả. Reviewer của agent, rồi kiểm tra của platform: một linter (bộ kiểm tra văn bản bằng luật viết sẵn, bằng code) và một classifier thuộc họ mô hình khác, quyết định theo luật cố định.

Mỗi hành động được log kèm propensity, forecast về effect, và cách undo. Evaluator chờ hết outcome window (khoảng thời gian cần để kết quả của hành động hiện ra) rồi ước lượng effect bằng phương pháp doubly robust (xem phần Off-policy evaluation).

Durable process

Một việc của lead có thể kéo dài từ vài phút (viết một bài) tới bốn tuần (chờ outcome window). Trong thời gian đó, service có thể được deploy lại, model có thể timeout, máy có thể lỗi. Mỗi việc vì vậy chạy như một durable process: một chuỗi bước, kết quả của mỗi bước được lưu bền vững ngay khi bước đó xong.

Một process bền qua lỗi và restartDòng thời gian của một process nhiều bước. Bước 1 và 2 hoàn tất và được lưu. Bước 3 gọi reviewer bị timeout ở lần đầu, thử lại sau backoff và thành công. Process dừng giữa chừng; khi resume, bước 1 đến 3 đọc lại kết quả đã lưu thay vì chạy lại. Bước 4 chạy independent checks, bước 5 write đúng một lần, bước 6 chờ hết outcome window 28 ngày, bước 7 evaluator chấm và ghi vào memory dài hạn.1 code dựng evidence packkết quả được lưu2 nháp từ language modelkết quả được lưu3 reviewer, lần 1timeout: thử lại sau backoff3 reviewer, lần 2verdict được lưuprocess dừng giữa chừngdeploy mới hoặc lỗi máyresume: bước 1–3đọc kết quả đã lưu, không chạy lại4 independent checkskết quả được lưu5 write qua public toolchạy đúng một lần6 chờ outcome window28 ngày, không giữ tài nguyên7 evaluator chấmghi vào memory dài hạn
Một process qua một lần timeout và một lần restart. Khi resume, các bước đã xong được đọc lại từ kết quả đã lưu; bước write chạy đúng một lần.

Hệ quả:

  • một lỗi tạm thời chỉ làm chạy lại bước đó, với backoff (chờ lâu dần giữa các lần thử);
  • sau restart, process đi tiếp từ bước dở dang, không lặp lại lời gọi model hay write đã xong;
  • bước chờ outcome window không giữ tài nguyên; kết quả cuối được ghi vào memory dài hạn của agent chứ không giữ trong state của process.

An toàn: risk budget

Agent không xin phép trước từng hành động. Thay vào đó, nó tiêu một risk budget.

Hành động khác nhau về tầm ảnh hưởng và khả năng hoàn tác: nghiên cứu và bản nháp không ai thấy; một variant vào bandit bị rule giới hạn mức hiển thị; một bài viết công khai thì nhiều người đọc nhưng gỡ được; một thông báo đã gửi thì không thu hồi được. Những hành động không thể đảo ngược, liên quan pháp lý hoặc chính sách tiền nằm hẳn ngoài phạm vi của agent và chỉ người vận hành làm.

Với những hành động còn lại, mỗi hành động có một risk score, đo bằng số người dự kiến bị ảnh hưởng xấu. Score tăng theo ba thứ: xác suất gây hại của loại hành động đó trong ngữ cảnh đó, số người dự kiến tiếp cận (reach), và phần tác hại không thể undo. Các loại tác hại gồm: vi phạm luật nội dung, nói điều không đúng, lộ dữ liệu riêng tư, làm phiền đến mức người dùng tắt kênh, và làm xấu một guardrail.

Ba tính chất của score:

  • Bất định cũng tốn rủi ro. Xác suất gây hại được lấy ở phía bi quan của posterior. Một loại hành động mới, chưa có lịch sử, đắt cho tới khi có lịch sử. Ví dụ, văn bản công khai do agent viết bắt đầu với prior (điều tin trước khi có dữ liệu) rộng và bi quan; khi posterior của "bị undo, bị phàn nàn, bị đánh dấu sau khi đăng" hẹp lại, nhiều bài hơn vừa budget.
  • Reach theo lưu lượng. Trong một surge (lưu lượng tăng vọt), cùng một bài viết tốn nhiều rủi ro hơn vì nhiều người đọc hơn. Hệ thống tự thận trọng hơn đúng lúc nhiều người đọc nhất.
  • Undo của người vận hành là một quan sát tác hại. Nó cập nhật xác suất gây hại của loại hành động đó; khẩu vị của người vận hành đi vào prior mà không cần bước duyệt.

Budget tính theo số người hoạt động, nên lớn lên cùng platform, và co lại theo xác suất các guardrail đang khoẻ. Khi một change-point cho thấy guardrail xấu đi (tỷ lệ tranh chấp tăng, rating giảm, tỷ lệ undo của chính agent tăng, điểm canary của model giảm; canary là một bộ kiểm tra cố định chạy định kỳ trên model), budget co lại ngay; khi posterior hồi phục, budget tăng trở lại. Không ai phải bấm "tiếp tục".

Risk budget theo thời gianSơ đồ, không theo tỷ lệ, của risk budget trong 14 ngày. Budget cộng dồn tăng đều cho tới ngày 6, khi một change-point trên dispute rate làm P(guardrails healthy) giảm mạnh; budget gần như dừng tăng. Ngày 7 một write vượt budget và bị từ chối. Khi posterior hồi phục, budget tăng trở lại.— budget cộng dồn— đã dùngrisk unit, cộng dồn (sơ đồ, không theo tỷ lệ)write bị từ chối: vượt budgetngày 0ngày 7ngày 14P(guardrails healthy)10change-point: dispute rate tănghồi phục theo posterior
Sơ đồ, không theo tỷ lệ. Một change-point trên tỷ lệ tranh chấp làm P(guardrails healthy) giảm; budget gần như ngừng tăng và một write vượt budget bị từ chối.

Budget được thực thi hai lần. Coordinator lập kế hoạch trong budget. Platform giữ risk ledger và từ chối phía server bất kỳ write nào vượt budget, dùng cùng code tính score. Phần kế toán của agent chỉ để tham khảo; phần của platform là ràng buộc. Một prompt bị thao túng không thể làm agent tiêu nhiều hơn.

An toàn: isolation và review độc lập

Agent đọc nhiều input không đáng tin: tiểu sử provider, lượt tìm của người dùng, trang web bên ngoài, nguồn tin, cả dòng log. Mỗi input đó có thể chứa lệnh được cài vào, gọi là indirect prompt injection (Greshake và cộng sự, 2023). Thiết kế giới hạn hậu quả của nó theo nhiều lớp:

  • Reviewer không thấy input chưa tin cậy. Nó chỉ nhận artefact, các dữ kiện đã được code kiểm, và luật. Một lệnh cài trong tiểu sử provider có thể ảnh hưởng tới bản nháp, nhưng không thể ảnh hưởng tới bên review bản nháp.
  • Kiểm tra cuối không cùng họ với tác giả. Linter là code; classifier của platform thuộc một họ mô hình khác và quyết định theo luật cố định. Một điểm mù chung của các mô hình cùng họ ít khả năng lọt qua cả ba lớp.
  • Write có cấu trúc, phạm vi hẹp. Model không gọi tool tự do; mọi write dựng từ JSON đã validate, trong phạm vi quyền được cấp.
  • Không viết cho từng cá nhân. Model không viết tin nhắn cho một người cụ thể. Cá nhân hoá là việc bandit chọn giữa các variant đã được review, điền bằng dữ kiện. Mọi chữ tới người dùng đều đã qua review.
  • Agent không có tài khoản mạng xã hội. Nó chuẩn bị bộ tài liệu tuyển provider; việc chia sẻ ra ngoài do người thật làm.
  • Không có lời gọi model nào làm thẩm phán duy nhất. Một judge bằng language model chỉ được tính sau khi mức đồng thuận của nó với nhãn của người được đo, và trọng số của nó là posterior của mức đồng thuận đó.

Một rủi ro riêng: nhà cung cấp có thể thay đổi model mà không báo trước. Mỗi đêm, canary chạy trên bộ dữ kiện cố định, và cùng bộ phát hiện change-point dùng cho lưu lượng (xem phần Change-point) chạy trên điểm canary. Một thay đổi được phát hiện làm risk budget co lại cho tới khi điểm hồi phục.

Memory

Agent có năm loại memory:

  • working. Chứa gì: state của việc đang chạy. Ai đọc: chính việc đó.
  • episodic. Chứa gì: mỗi hành động khi đóng: dự đoán, việc đã làm, kết quả quan sát, ước lượng effect. Ai đọc: lead và planner, khi gặp việc tương tự.
  • semantic. Chứa gì: facts: quan sát có nguồn, hoặc niềm tin tổng hợp từ các episode. Ai đọc: bối cảnh khi viết và lập plan.
  • procedural. Chứa gì: procedure có version: prompt, checklist, chuỗi tool cho từng loại việc. Ai đọc: phần mở đầu của mọi việc.
  • quantitative. Chứa gì: lever posterior, forecast. Ai đọc: simulation của planner.

Mỗi fact có độ tin Beta(ủng hộ + 1, mâu thuẫn + 1), cập nhật khi evaluator gom các episode mỗi đêm. Tốc độ quên học theo từng loại fact: loại nào hay bị quan sát mới bác bỏ thì quên nhanh hơn. Fact nào suy ra được từ view của platform thì không lưu mà đọc lại, để memory không trở thành một bản sao lỗi thời của dữ liệu.

Truy hồi dùng full-text search với văn bản đã bỏ dấu, cộng trigram cho từ gần giống, rồi một model nhỏ sắp xếp lại. Tiếng Việt có hai chi tiết cần xử lý: nhiều âm tiết ngắn hơn ba ký tự ("cờ", "đi") nên trigram không bắt được, và chữ "đ" không bị bỏ dấu bởi các bộ chuẩn hoá thông thường nên phải gấp riêng. Cái giá của truy hồi theo từ là bỏ sót những đoạn diễn đạt khác ý.

Content strategy: bài viết là một portfolio

Bài viết là lever có reach rộng nhất của agent. Một bài có thể tác động lên một trong ba đại lượng của một cell, ba biến của matching function (xem phần Matching function):

  • D (demand): đưa thêm người có nhu cầu tới;
  • S (supply): đưa thêm người nhận việc tới, tức thêm giờ mở;
  • A (matching efficiency): làm cho việc và lời mời rõ hơn, để cùng lượng demand và supply tạo ra nhiều booking hơn.

Matching function cho biết marginal value (giá trị biên) của mỗi lever trong mỗi cell: thêm một đơn vị D, S hoặc A ở đó đáng bao nhiêu hold.

Agent không viết theo lịch hay theo hạn mức số bài mỗi ngày. Mỗi loại bài là một loại hành động trong một portfolio mà planner phân bổ. Mỗi loại có bốn thuộc tính: signal kích hoạt nó, lever nó kéo, nội dung của nó, và cách đo effect của nó.

Content portfolioTám loại bài trong content portfolio, mỗi loại với lever nó kéo (D demand, S supply, A matching efficiency), signal kích hoạt và outcome dùng để đo: service deep-dive, market movement analysis, search-gap answer, recruitment post, readiness guide, seasonal post, GEO post và surge follow-up. Mọi bài có thể mang một coupon block do Thompson sampling chọn mức.DdemandSsupplyAmatching efficiencyDAService deep-divesignal: service xem nhiều mà ít holdđo: lượt vào; tỷ lệ xem → holdDSMarket movement analysissignal: change-point, forecast theo city, mùađo: lượt tìm, hold ở các cell được nhắcDSearch-gap answersignal: cụm lượt tìm không có kết quảđo: cụm có kết quả; người chờ được báoSRecruitment postsignal: có người chờ, supply gần 0đo: provider mới; ngày đặt được đầu tiênSReadiness guidesignal: bước chuẩn bị nhiều provider dừngđo: P(có ngày đặt được đầu tiên)DSeasonal postsignal: forecast báo demand sắp tăngđo: lượt vào, hold so với forecastDGEO postsignal: lượt vào từ trợ lý AI, câu hỏi lặp lạiđo: lượt vào từ trợ lý AI và searchDSSurge follow-upsignal: change-point trên một nguồn lượt vàođo: conversion của nhóm đến trong surgeMọi bài có thể mang một coupon block;Thompson sampling chọn mức, kể cả không coupon.
Tám loại bài trong portfolio. Mỗi loại có signal kích hoạt, lever nó kéo (D, S hoặc A) và outcome dùng để đo nó.

Các loại bài

  • Service deep-dive (lever: D, A). Signal: một service có lượt xem nhưng ít hold, hoặc một cell có marginal value của demand cao. Nội dung: việc là gì, ai làm, một buổi diễn ra thế nào, vì sao việc cần một người thật; lấy từ catalogue và các offer đang mở. Đo bằng: lượt vào trang service từ search và assistant; tỷ lệ xem → hold của service.
  • Market movement analysis (lever: D, S). Signal: change-point hoặc forecast cho thấy một nhóm việc đang tăng hay giảm theo city hoặc mùa. Nội dung: cái gì đang tăng, cái gì đang giảm, ở đâu, so với forecast; chỉ số liệu aggregate, không bao giờ dữ liệu của một người. Đo bằng: lượt vào; lượt tìm và hold sau đó trong các cell được nhắc tới.
  • Search-gap answer (lever: D, kèm một đề xuất cho catalogue). Signal: một cụm lượt tìm không có kết quả. Nội dung: trả lời điều người tìm muốn biết; nếu cụm đủ rõ, kèm một đề xuất việc mới vào catalogue. Đo bằng: lượt tìm của cụm bắt đầu có kết quả; người đang chờ được báo khi có provider.
  • Recruitment post (lever: S). Signal: cell có demand mà supply gần 0, có người đang chờ. Nội dung: bao nhiêu người đang chờ, chờ việc gì, ở đâu, khung giờ nào, đều là số thật lấy từ records; kèm một bộ tài liệu để người thật chia sẻ. Đo bằng: provider mới trong cell; ngày đầu tiên offer của họ đặt được; booking hoàn tất đầu tiên.
  • Readiness guide (lever: S). Signal: một bước chuẩn bị mà nhiều provider mới dừng lại (ảnh, khu vực, điều khoản, cách nhận tiền). Nội dung: hướng dẫn đúng bước đó, từng thao tác. Đo bằng: xác suất provider ở bước đó có ngày đầu tiên đặt được.
  • Seasonal post (lever: D). Signal: trend và effect ngày lễ của forecast báo demand sắp tăng. Nội dung: những việc hợp với dịp đó, đăng trước đỉnh của forecast. Đo bằng: lượt vào và hold so với forecast của cell; forecast được chấm lại sau dịp.
  • GEO post (lever: D). Signal: lượt vào từ trợ lý AI; những câu hỏi lặp lại. Nội dung: viết để trợ lý AI và search engine trích dẫn được (GEO, generative engine optimisation): định nghĩa rõ, dữ kiện có nguồn từ records, structured data. Đo bằng: lượt vào từ trợ lý AI và search; kết nối mới tới public tools.
  • Surge follow-up (lever: D, S). Signal: change-point trên lượt vào từ một nguồn. Nội dung: trả lời những gì người mới đến đang tìm, liên kết từ trang họ vừa đáp xuống. Đo bằng: conversion của nhóm người đến trong surge.

Hai loại bài cùng một chủ đề có thể kéo hai lever khác nhau. Một bài về "dạy cờ tướng ở Đà Nẵng" là service deep-dive (D) nếu cell đó có provider rảnh, và là recruitment post (S) nếu cell đó có người chờ mà không có provider. Matching function quyết định bài nào đáng viết.

Planner chọn portfolio thế nào

Mỗi bài ứng viên được chấm như mọi hành động khác: mức tăng kỳ vọng của T28 cộng value of information, chia cho chi phí (xem phần Decide). Chi phí gồm lời gọi model, phần risk budget nó tiêu và sự chú ý của người đọc. Value of information là phần lợi cho các quyết định sau nhờ học được effect của bài này. Một loại bài chưa từng thử có lever posterior rộng, nên value of information cao và được thử. Một loại bài đã cho thấy effect thấp trong một ngữ cảnh thì ít được chọn lại trong ngữ cảnh đó. Số bài vì vậy bị giới hạn bởi marginal value và risk budget, không phải bởi số người dùng hay một hạn mức cố định. Một bài cũ được viết lại khi posterior về lượt vào của nó cho thấy nó đang giảm dần.

Pipeline của một bài

  1. Evidence pack, bằng code: service và các offer đang mở, số liệu aggregate của các cell liên quan, forecast, lượt tìm không có kết quả. Mọi con số trong bài phải đến từ đây.
  2. Dàn ý và bản nháp bằng language model, theo procedure của loại bài đó.
  3. Tự kiểm tra theo checklist của procedure.
  4. Reviewer, chỉ thấy bản nháp, dữ kiện và luật.
  5. Kiểm tra tự động của platform: linter và classifier khác họ.
  6. Đăng qua public tool, qua risk ledger.
  7. Theo dõi trong outcome window, rồi evaluator ước lượng effect bằng doubly robust theo loại bài × ngữ cảnh (nhóm việc, loại city, kênh), và cập nhật lever posterior của loại bài đó.

Coupon trong bài viết

Một bài có thể mang một coupon block: một khối trong trang tặng credit cho người bắt đầu nhận việc. Credit này dùng để trả phí của platform khi provider nhận booking; nó không giảm giá mà guest trả.

  • Block đọc điều khoản trực tiếp. Mỗi lần trang được hiển thị, block đọc điều khoản hiện tại của coupon (mức credit, hạn, số lượt còn lại) và không hiện gì khi coupon đã hết, hết hạn hoặc bị rút. Số tiền do block hiển thị, không bao giờ được gõ vào câu chữ quanh nó, nên bài không thể nói một con số đã cũ.
  • Một lần nhận, ngay tại chỗ. Một provider đã đăng nhập nhận coupon ngay trong bài. Một tài khoản chưa là provider được đưa tới bước tạo offer đầu tiên, mang theo mã; credit vào khi provider profile được tạo.
  • Một coupon cho một bài. Coupon tạo cho một bài ghi lại bài đó. Mỗi lượt nhận, ngày đầu tiên offer của người nhận đặt được, và booking hoàn tất đầu tiên của họ đều quy về bài một cách trực tiếp, không cần mô hình attribution.
  • Gắn coupon hay không, ở mức nào, do Thompson sampling chọn. Thompson sampling là cách chọn ngẫu nhiên theo xác suất mỗi phương án là tốt nhất (xem phần Decide). Các arm (phương án) là vài mức credit và "không coupon". Reward là mức tăng kỳ vọng của T28 trên mỗi đơn vị credit. Số lượt nhận tối đa và thời hạn của coupon đi theo marginal value của supply trong cell và reach dự báo của bài.
  • Giới hạn. Agent chỉ tạo coupon cho bài của chính nó, và chỉ trong một hạn mức credit mỗi tháng do người vận hành đặt. Credit đã cam kết (mức × số lượt tối đa, trả lại phần chưa dùng khi hết hạn) bị trừ vào hạn mức; một coupon vượt hạn mức bị platform từ chối.
Coupon trong bài viếtĐường đi của một coupon trong bài viết. Thompson sampling chọn một arm: không coupon, mức 1, mức 2 hoặc mức 3. Bài viết mang một coupon block, một coupon cho một bài. Tiếp theo là redemption, credit vào khi provider profile được tạo; ngày đầu tiên offer đặt được; booking hoàn tất đầu tiên, khi người này vào T28. Mỗi bước ghi bài viết là nguồn. Mức tăng T28 trên mỗi đơn vị credit quay lại làm reward cho Thompson sampling.Thompson sampling chọn một armkhông couponmức 1mức 2mức 3bài viết + coupon blockmột coupon cho một bài, điều khoản liveredemptioncredit vào khi provider profile được tạongày đầu tiên offer đặt đượcsupply thật trong cellbooking hoàn tất đầu tiênngười này vào T28reward: T28 tăng trên mỗi đơn vị creditMỗi bước ghi bài viết là nguồn: không cầnmô hình attribution. Credit trả phí platformcủa provider, không giảm giá mà guest trả.
Đường đi của một coupon. Thompson sampling chọn mức, kể cả không coupon; mỗi bước sau đó ghi bài viết là nguồn, và T28 tăng trên mỗi đơn vị credit quay lại làm reward.

Arm "không coupon" có vai trò cụ thể: nó đo số người sẽ bắt đầu nhận việc dù không có credit. Nếu thiếu arm này, mọi lượt nhận sẽ bị tính là effect của coupon, kể cả của những người vẫn sẽ tham gia.

Guardrail riêng cho nội dung

  • Không bịa số liệu. Mọi con số trong bài đến từ evidence pack, tức từ records của platform. Những số thay đổi theo thời gian (số người chờ, điều khoản coupon) được hiển thị bằng block đọc trực tiếp, không viết cứng vào câu.
  • Chỉ aggregate. Bài phân tích chuyển động thị trường dùng số liệu gộp theo cell; không có dữ liệu của một người nào.
  • Không khuyên hạ giá. Không bài nào khuyên provider giảm giá để có booking. Reviewer kiểm tra điều này, và red team thử nó (xem phần Eval).
  • Không hứa điều không đặt được. Trang theo city × việc chỉ được tạo khi posterior của số giờ mở ở đó lớn hơn 0.
  • Rủi ro theo reach. Risk score của một bài tăng theo reach dự báo, nên trong surge mỗi bài đắt hơn. Thông báo kèm bài vẫn qua fatigue model (xem phần Decide).

Planning bằng simulation

World model có hai tầng:

  1. Tầng marketplace, của platform: posterior của các cell, matching function, marginal value, phân phối vòng đời và forecast T28. Các phần sau của bài trình bày từng mô hình.
  2. Tầng lever, của agent: với mỗi loại hành động × ngữ cảnh (mảng, nhóm việc, loại city, kênh), lever posterior là posterior của effect của nó lên đại lượng nó nhắm: nội dung tác động D, tuyển tác động S, viết lại tác động A, variant thông báo tác động tỷ lệ chuyển đổi. Mô hình là Normal phân cấp trên log effect: loại hành động → mảng → mọi hành động.

Chuỗi nhân quả mà simulator đi theo:

nội dung → lượt vào (D) ──┐
tuyển → provider → giờ mở (S) ──┼→ holds = A·D^α·S^β → đã trả → xác nhận → hoàn tất → T28
viết lại → độ rõ (A) ─────┘                                                      ↑
variant thông báo → chuyển trạng thái → hoạt động tương lai (P(alive)) ──────────┘

α và β là độ co giãn của hold theo demand và supply (xem phần Matching function); P(alive) là xác suất một tài khoản còn hoạt động (xem phần Retention).

Các lead đề xuất vài trăm plan ứng viên; mỗi plan là một tập hành động có chi phí. Với mỗi trong K mẫu rút đồng thời từ posterior (cell, matching, effect của lever), simulator chạy marketplace tiến H = 28 ngày với từng plan, ghi lại objective J (forecast trung bình của T28, xem phần Objective) và mọi guardrail. Planner chọn plan bằng Thompson sampling trên tập plan: lấy một mẫu, chọn plan có J trên chi phí cao nhất theo mẫu đó, với điều kiện mọi guardrail giữ được trong đủ tỷ lệ mẫu. Cách chọn ngẫu nhiên này cũng cho mỗi quyết định cấp plan một propensity để đánh giá off-policy về sau.

Language model đóng góp giả thuyết chứ không đóng góp số học: một loại hành động mới và cơ chế của nó, góc nội dung, lý giải trong report. Một giả thuyết mới vào tầng lever với prior lấy từ cấp cha gần nhất và variance rộng, và value of information quyết định nên thử nó bao nhiêu.

Lập lại plan không theo lịch. Mỗi giờ, khi marketplace model cập nhật, code chấm lại plan hiện tại và phương án thay thế tốt nhất trên posterior mới, không tốn lời gọi model. Lần lập plan có dùng language model chỉ chạy khi cải thiện kỳ vọng lớn hơn chi phí của nó.

Perception: marketplace là một tập cell

Từ đây, bài trình bày các mô hình mà agent dùng để nhìn marketplace và ra quyết định. Tất cả chạy trong platform dưới dạng rule có test; agent đọc kết quả của chúng qua public tools.

Agent nhìn marketplace qua các cell:

cell = (city, service, giờ trong tuần)

Mỗi cell giữ ba nhóm đại lượng: demand (lượt tìm, lượt xem, lượt hỏi giờ trống, hold, booking hoàn tất, người đang chờ), supply (số giờ provider mở) và matching, tức mức demand và supply gặp được nhau (tỷ lệ chuyển đổi giữa các bước, tỷ lệ tìm mà không có kết quả, tỷ lệ tranh chấp, rating).

Ba chiều của cell không phẳng; mỗi chiều là một hierarchy (cây phân cấp). Nơi chốn: platform → city. Việc: platform → group (nhóm việc) → service. Thời gian: tuần → loại ngày (ngày thường, cuối tuần, ngày lễ) → buổi → giờ. Ba cây giao nhau và được nối bằng một mô hình cộng trên thang log.

Cell và ba hierarchyBa hierarchy giao nhau. Nơi chốn: platform rồi city. Việc: platform, group rồi service. Thời gian: tuần, loại ngày, buổi rồi giờ. Ba lá gặp nhau thành một cell, ví dụ Đà Nẵng, dạy cờ tướng, Thứ Bảy 15 giờ. Log rate của cell là tổng các effect, mỗi effect được co về 0.nơi chốnplatformcityviệcplatformgroupservicethời giantuầnloại ngàybuổigiờcell = city × service × giờ trong tuầnvd. Đà Nẵng × dạy cờ tướng × Thứ Bảy 15:00log rate = chung + city + group + service + thời gianmỗi effect co về 0 theo variance của anh em cùng cấp
Ba hierarchy giao nhau thành một cell. Log rate của cell là tổng các effect, mỗi effect được co về 0.

Chỉ những cell đã từng có event hoặc giờ mở mới được lưu. Một cell chưa từng thấy được trả lời bằng posterior của các cấp cha: khi không có dữ liệu, prior chính là câu trả lời.

Partial pooling: cell trống mượn từ cell lân cận

Với một đại lượng đếm (ví dụ lượt tìm) trong cell c qua exposure E (số ngày, hoặc số giờ mở), mô hình là Gamma–Poisson phân cấp:

y ~ Poisson(E · λ_c)
λ_c ~ Gamma(κ, κ / λ̂_c)
log λ̂_c = μ + a_city + b_group + b_service + d_thời_gian + trend(t)

λ̂_c là mean của cấp cha, ghép từ các effect. Mỗi effect lại có prior Normal quanh 0, variance ước lượng từ các anh em cùng cấp (empirical Bayes: ước lượng prior từ chính dữ liệu). Một city mới bắt đầu ở rate chung của platform; một city có dữ liệu có effect riêng.

Vì Gamma là conjugate prior của Poisson (prior mà posterior thuộc cùng họ phân phối), posterior có dạng đóng và cập nhật online:

posterior mean = B · λ̂_c + (1 − B) · (Σy / ΣE),   B = (κ/λ̂_c) / (κ/λ̂_c + ΣE)

B là shrinkage weight (trọng số co). Không có dữ liệu thì B = 1 và câu trả lời là của cấp cha. Nhiều dữ liệu thì B → 0 và cell tự nói. Quá trình chuyển là liên tục, nên không cần ngưỡng "đủ dữ liệu" nào.

Shrinkage theo lượng dữ liệuĐồ thị mô phỏng một cell có rate thật 5 lượt mỗi tuần, prior lấy từ parent 2 lượt mỗi tuần. Khi chưa có dữ liệu, posterior mean bằng parent. Sau hai tuần, shrinkage weight B bằng một nửa. Khi exposure tăng, posterior mean tiến về rate thật và band 80% hẹp lại; ước lượng raw dao động mạnh ở vài tuần đầu.02460510152025exposure E (tuần dữ liệu của cell)rate ước lượng (lượt/tuần)— posterior mean, band 80%○ raw: tổng lượt ÷ E···· rate thật: 5/tuần- - parent: 2/tuầnE = 2: B = 0,50Mô phỏng: một cell, rate thật 5, prior Gamma(4; 2) quanh parent.
Mô phỏng một cell có rate thật 5 lượt/tuần, prior từ cấp cha 2 lượt/tuần. Sau 2 tuần, B = 0,5; ước lượng raw dao động mạnh ở vài tuần đầu, posterior thì không.

Độ mạnh của pooling κ không do ai chọn. Nó được ước lượng bằng cách tối đa hoá marginal likelihood (likelihood của dữ liệu sau khi tích phân bỏ λ, ở đây có dạng negative binomial) trên các cell anh em, chạy lại mỗi đêm. Khi các anh em giống nhau, κ lớn và mỗi cell bị kéo mạnh về cấp cha. Khi chúng khác nhau, κ nhỏ và mỗi cell giữ ước lượng của riêng nó. Đây là partial pooling, chuẩn trong Bayesian data analysis (Gelman và cộng sự, BDA).

Partial pooling giữa các cityTám city với exposure từ nửa tuần đến 52 tuần. Mỗi hàng có khoảng 80% của ước lượng raw và của partial pooling, cùng rate thật trong mô phỏng. City ít dữ liệu có khoảng raw rất rộng; partial pooling kéo ước lượng về mean chung và thu hẹp khoảng. City nhiều dữ liệu gần như giữ nguyên ước lượng của chính nó.— raw (chỉ dữ liệu của cell)— partial pooling (κ, μ học từ các city)| rate thật (mô phỏng)0246810μ̂ = 2,2A · E = 0,5 tuầnB · E = 1 tuầnC · E = 2 tuầnD · E = 3 tuầnE · E = 6 tuầnF · E = 12 tuầnG · E = 26 tuầnH · E = 52 tuầnrate (lượt/tuần), khoảng 80%Mô phỏng: 8 city, rate thật ~ Gamma quanh μ = 3.
Mô phỏng 8 city. City ít exposure có khoảng raw rất rộng (A, B, C); partial pooling kéo về mean chung và thu hẹp khoảng. City nhiều exposure gần như giữ nguyên ước lượng riêng (G, H).

Hình trên cũng cho thấy cái giá: city A có rate thật cao hơn hẳn mean chung, và partial pooling kéo nó xuống quá nhiều khi mới có nửa tuần dữ liệu. Partial pooling giả định các cell trong một cấp là exchangeable (hoán đổi được: trước khi thấy dữ liệu, không có lý do để tin cell này khác cell kia theo một hướng cụ thể). Một city khác hẳn phần còn lại sẽ bị ước lượng sai cho tới khi dữ liệu của nó đủ để B nhỏ đi.

Ba chi tiết khác của mô hình:

  • Forgetting. Dữ liệu cũ được giảm trọng số theo γ^tuổi. Không có half-life cố định: mỗi họ tín hiệu giữ một lưới nhỏ các giá trị γ, từ trí nhớ vài ngày đến một năm, kết hợp bằng Bayesian model averaging, trọng số của mỗi giá trị là predictive likelihood một bước của nó. Tín hiệu biến động nhanh (lượt truy cập từ mạng xã hội) học được trí nhớ ngắn; tín hiệu chậm (booking hoàn tất theo city) học được trí nhớ dài.
  • Trend và mùa vụ. trend(t) là một dynamic linear model trên thang log với trend tuyến tính cục bộ và chu kỳ tuần. Ngày lễ vào mô hình như regressor có effect được co, nên effect của một kỳ nghỉ lễ học được từ lần đầu tiên và được chia sẻ giữa các city. Đây là nguồn của signal cho seasonal post.
  • Tỷ lệ chuyển đổi. Mỗi conversion (xem → hold, hold → đã trả, đã trả → xác nhận, xác nhận → hoàn tất) dùng Beta–Binomial phân cấp theo cùng cách, với độ mạnh pooling ước lượng từ marginal likelihood.

Matching function: đầu tư tiếp vào đâu

Từ demand và supply của một cell, hệ thống cần biết đơn vị nỗ lực tiếp theo đáng giá nhất ở đâu: thêm demand, thêm supply, hay làm cho việc và lời mời rõ hơn. Công cụ là matching function, mô hình chuẩn của thị trường lao động có tìm kiếm (Petrongolo & Pissarides, 2001):

E[holds_c] = A_g · D_c^α · S_c^β

D_c là cường độ demand ẩn (intent mỗi tuần), ghép từ lượt tìm, lượt xem, lượt hỏi giờ trống và người đang chờ, mỗi tín hiệu có tỷ lệ tín hiệu/intent riêng. S_c là số giờ mở của cell. A_g là matching efficiency của nhóm việc: việc và lời mời rõ tới đâu. Prior của α và β là N(0.5, 0.25²), quanh mức mà các nghiên cứu thực nghiệm về matching function thường tìm thấy, được co theo nhóm và fit mỗi đêm bằng Poisson regression phân cấp (xấp xỉ Laplace).

Đạo hàm riêng cho marginal value (giá trị biên) của từng lever:

∂E[holds]/∂S = β · E[holds] / S     (thêm một giờ supply)
∂E[holds]/∂D = α · E[holds] / D     (thêm một intent)
∂E[holds]/∂A = E[holds] / A         (việc và lời mời rõ hơn)
Matching function và marginal valueCác đường đồng mức của số holds mỗi tuần trên mặt phẳng demand và supply. Ở cell nhiều demand, ít supply, mũi tên gradient chỉ gần như thẳng lên: một giờ supply thêm đáng giá hơn nhiều so với một intent thêm. Ở cell nhiều supply, ít demand, mũi tên chỉ sang phải. Một cell có cả hai nhưng holds quan sát thấp hơn kỳ vọng cho thấy matching efficiency A thấp.055101015152020D: demand (intent/tuần)S: supply (giờ mở/tuần)2468 holdsabca thiếu supply: ∂/∂S = 0,82 ≫ ∂/∂D = 0,08b thiếu demand: ∂/∂D = 0,82 ≫ ∂/∂S = 0,08c kỳ vọng 6,3 holds, quan sát 2: A thấpMinh hoạ: holds = A·D^α·S^β, A = 0,5, α = β = 0,5.
Đường đồng mức của holds mỗi tuần. Ở cell thiếu supply (a), gradient chỉ gần như thẳng lên; ở cell thiếu demand (b), chỉ sang phải. Cell c có cả hai nhưng holds quan sát thấp hơn kỳ vọng nhiều: A thấp.

Ba vùng cho ba loại hành động:

  • Có demand, không có supply: marginal value của supply rất cao. Hành động đúng là tuyển provider, không phải kéo thêm người tìm.
  • Có supply nhàn rỗi: ngược lại. Tuyển thêm ở đây làm giảm số booking của mỗi provider, và provider ít booking thì rời đi; mô hình phạt việc tuyển quá tay.
  • Có cả hai mà ít hold: A thấp. Hành động đúng là viết lại mô tả việc hoặc giúp provider làm rõ lời mời.

Giới hạn: matching function là một mô hình reduced-form, mô tả quan hệ tổng thể chứ không mô tả cơ chế tìm kiếm bên dưới. Hệ số trong prior đến từ thị trường lao động, không phải từ loại marketplace này; chúng chỉ là điểm xuất phát và bị dữ liệu ghi đè dần. Mô hình cũng coi mỗi cell độc lập, trong khi thực tế một provider mới có thể lấy bớt booking của provider ở cell bên cạnh.

Change-⁠point: phát hiện surge mà không cần ngưỡng

Lưu lượng có thể đổi đột ngột, tăng vọt (surge) hoặc tụt (stall): một bài chia sẻ lan rộng, một kênh tìm kiếm mất đi, một sự cố. Hệ thống chạy Bayesian online change-point detection, BOCPD (Adams & MacKay, 2007), trên từng luồng arrival: lượt vào theo loại nguồn, đăng ký mới, lượt tìm theo city và nhóm việc, hold, và lỗi.

BOCPD giữ một run-length posterior: phân phối của số giờ kể từ lần thay đổi gần nhất. Mỗi giờ, khối xác suất hoặc dịch lên một bậc (chế độ cũ tiếp tục), hoặc dồn về 0 (vừa đổi). Predictive dùng là negative binomial của mô hình Gamma–Poisson ở trên. Kết quả là current-rate posterior: rate hiện tại, trộn theo run length.

BOCPD trên một surgeMô phỏng 120 giờ arrival với rate 3, rồi 12 từ giờ 60, rồi 5 từ giờ 90. Phía trên: số lượt mỗi giờ và current rate posterior của BOCPD, bám theo rate mới sau vài giờ. Phía dưới: run-length posterior; tại mỗi change-point, xác suất dồn về run length gần 0 rồi tăng dần theo đường chéo.05101520lượt mỗi giờ; current rate: mean và band 80%···· rate thật0306090120run-length posterior (giờ kể từ change-point)040801200306090120giờsau change-point, xác suấtdồn về run length ≈ 0Mô phỏng: Poisson, rate 3 → 12 → 5; hazard 1/100.
Mô phỏng 120 giờ, rate 3 → 12 → 5. Xác suất run length ≤ 6 giờ vượt ½ ngay giờ 60 và ở giờ 91, một giờ sau lần giảm. Current rate posterior bám theo rate mới.

Không rule nào hỏi "có phải surge không?" bằng một ngưỡng. Mọi bên dùng đọc thẳng current-rate posterior và khoảng của nó: thời gian cache trang công khai tăng theo arrival rate, form ghi nhận nhu cầu hiện ra khi supply trong khung giờ người tìm gần bằng 0, và mỗi bài viết công khai bị tính rủi ro cao hơn khi lượng người đọc dự báo tăng. "Surge" và "stall" chỉ là nhãn trong report, gắn khi phần lớn run-length posterior nằm ở một thay đổi gần đây.

Hazard (prior của tần suất thay đổi) có Beta posterior riêng, cập nhật từ những change-point đã được xác nhận. Đây là điểm yếu đã biết: hazard quá cao gây báo động giả, quá thấp làm phát hiện chậm, và nếu predictive model sai (ví dụ dữ liệu overdispersed, phân tán hơn mức mô hình giả định) thì BOCPD báo thay đổi ở chỗ chỉ có nhiễu.

Khi thấy stall, agent chẩn đoán trước khi hành động, theo thứ tự prior probability và chi phí kiểm tra: sự cố hệ thống, mất một kênh, mùa vụ, rồi mất supply. Nó chỉ hành động theo nguyên nhân có posterior cao nhất; một đợt giảm do mùa vụ được báo cáo và để yên.

Objective: North Star metric T28 và guardrail

T28 đếm người chứ không đếm booking, và đếm cả hai phía. Nhưng T28 trễ: tối ưu giá trị đã thực hiện nghĩa là thưởng cho hành động của một tháng trước. Vì vậy hệ thống tối ưu forecast:

J(plan) = (1/H) · Σ_{d=1..H} E[ T28(t + d) | plan ],   H = 28

H là chính cửa sổ của metric. Lấy trung bình trên cả cửa sổ làm retention có giá trị: một người được giữ lại được đếm ở mọi ngày.

Guardrail là ràng buộc, không phải trọng số trong J. Mỗi guardrail có posterior riêng: tỷ lệ tranh chấp, rating trung bình, median giá theo giờ của booking hoàn tất, tỷ lệ provider huỷ, tỷ lệ lỗi. Một plan chỉ hợp lệ khi xác suất làm xấu từng guardrail nằm trong mức cho phép. Guardrail về median giá ngăn một lối tắt cụ thể: tăng T28 bằng cách đẩy giá xuống. Vì lý do tương tự, giá không tham gia điểm xếp hạng.

Mọi forecast là một phân phối, được chấm bằng CRPS (continuous ranked probability score, khoảng cách giữa phân phối forecast và giá trị thực hiện) và PIT (probability integral transform: vị trí của giá trị thực hiện trong phân phối forecast). Một forecaster calibrated cho PIT phân phối đều. Interval được recalibrate online bằng conformal prediction (Angelopoulos & Bates, 2021), ở dạng thích ứng với dữ liệu thay đổi theo thời gian (Gibbs & Candès, 2021).

Forecast T28 và calibrationPhía trên: T28 của 56 ngày qua và forecast 28 ngày tới với median và band 50%, 80%, cùng các giá trị thực hiện về sau trong mô phỏng. Phía dưới: histogram PIT của một forecaster có interval quá hẹp, hình chữ U, và sau khi conformal recalibration online, gần phẳng.T28: đã thực hiện và forecast 28 ngày150250350450550650hôm nay— T28 đã thực hiện- - median forecast, band 50% / 80%○ giá trị về sau (mô phỏng)−56−280+28ngàyPIT của 550 forecast: lý tưởng là phẳng01interval quá hẹp01sau conformal recalibrationMô phỏng: arrival Poisson có trend; PIT từ residual Normal.
Trên: T28 và forecast 28 ngày với band 50% và 80%. Dưới: PIT của một forecaster có interval quá hẹp (hình chữ U, độ phủ 80% thực tế 57%) và sau conformal recalibration online (gần phẳng, độ phủ 79%).

Mục tiêu tuần là median forecast của plan đã chọn, kèm khoảng 80%. Hệ thống không đặt mục tiêu tăng trưởng theo phần trăm. Nếu kết quả liên tục rơi vào decile trên cùng, forecaster đang quá bi quan, và cách sửa là recalibrate chứ không phải nâng mục tiêu.

Conformal prediction cho marginal coverage (độ phủ trung bình trên mọi trường hợp), không cho conditional coverage. Ví dụ, interval 80% có thể phủ 95% ở các city lớn và 60% ở các city nhỏ mà trung bình vẫn đúng 80%. Xem PIT riêng theo từng nhóm là cách phát hiện độ lệch ấy.

Retention: P(alive) thay cho số ngày cố định

Một tài khoản đang hoạt động hay đã rời đi? Câu hỏi này quyết định khi nào gửi thông báo và giá trị tương lai của một booking. Thay vì "30 ngày không hoạt động là rời đi", mỗi tài khoản ở mỗi phía có P(alive) theo mô hình BG/NBD (Fader, Hardie & Lee, 2005):

  • khi còn hoạt động, sự kiện đến theo Poisson với rate λ ~ Gamma(r, α);
  • sau mỗi sự kiện, người đó rời đi với xác suất p ~ Beta(a, b);
  • P(alive) tính từ số lần lặp lại x, thời điểm sự kiện cuối t_x và tuổi tài khoản T.
P(alive) theo BG/NBDP(alive) theo BG/NBD của hai người có cùng 12 tuần lịch sử. Người hoạt động đều hằng tuần có P(alive) giảm nhanh khi im lặng, vì sự vắng mặt lệch xa nhịp quen của họ, và xuống dưới một nửa sau vài tuần. Người thưa hơn giảm chậm hơn nhiều và cần thời gian im lặng dài hơn mới được coi là dormant.P(alive) theo số tuần kể từ hoạt động cuối0,000,250,500,751,0004812162024tuần không hoạt động- - ½: từ đây dormant có khả năng cao hơn— đều hằng tuần: 11 lần lặp trong 12 tuần4,6 tuần-- thưa, cỡ hằng tháng: 2 lần lặp trong 12 tuần15,2 tuầnTính từ BG/NBD với tham số minh hoạ (r, α, a, b).
Hai người cùng 12 tuần lịch sử. Người hoạt động hằng tuần xuống dưới ½ sau 4,6 tuần im lặng; người hoạt động thưa cần 15,2 tuần. Cùng một khoảng im lặng mang ý nghĩa khác nhau với hai người.

Tham số (r, α, a, b) được fit mỗi đêm theo phía (guest, provider) và nhóm việc bằng maximum marginal likelihood, co về mức chung của platform. Từ đó, trạng thái vòng đời có ranh giới theo định nghĩa chứ không phải tham số chỉnh tay: "dormant" khi P(alive) dưới ½, tức lúc dormant trở thành trạng thái có khả năng cao hơn; "at risk" khi đã quá median khoảng cách giữa hai sự kiện theo posterior của chính người đó.

Giả định của BG/NBD: rate không đổi khi còn hoạt động, và người dùng chỉ rời đi ngay sau một sự kiện. Một người dùng theo mùa (chỉ đặt dịp lễ) vi phạm cả hai và sẽ bị coi là dormant quá sớm.

Decide: Thompson sampling và value of information

Mọi quyết định, dù của một rule trong platform hay của planner, thuộc một trong ba dạng.

Thompson sampling khi lựa chọn lặp lại và outcome quan sát được: chọn variant của thông báo, explore trong xếp hạng, chọn cell nhắm tới, gắn coupon vào bài. Mỗi lần, rút một mẫu từ posterior của mỗi arm và chọn arm tốt nhất theo mẫu đó (Russo và cộng sự, 2018). Xác suất chọn một arm bằng posterior probability rằng nó tốt nhất, và xác suất đó được log làm propensity.

Với thông báo, "không gửi" luôn là một arm, cũng như "không coupon" với bài viết. Một hành động chỉ có giá trị nếu nó làm tốt hơn việc không làm; nếu không, bandit tự học cách im lặng.

Thompson sampling với arm không gửiThompson sampling với bốn arm: không gửi (10%), variant A (12%), variant B (15%) và variant C (8%). Sau 300 lần gửi, các posterior còn chồng lấn. Theo thời gian, xác suất chọn variant B tăng dần về gần 1, các arm khác bị bỏ đói; arm không gửi vẫn được giữ lại để so sánh.Posterior của success rate sau 300 lần gửi0,00,10,20,3không gửi: 59A: 137B: 67C: 37sau tên: số lần đã gửiP(arm được chọn) theo thời gian0,00,51,001.0002.0003.000số lần gửikhông gửi (10%)variant C (8%)variant A (12%)variant B (15%)Mô phỏng: success rate thật trong ngoặc; prior Beta(1, 1).
Mô phỏng 3.000 lần gửi với bốn arm. Sau 300 lần, posterior của A và B còn chồng lấn; về sau, xác suất chọn B, arm tốt nhất, tăng dần về gần 0,9.

Chi phí của Thompson sampling là exploration: những lần chọn arm kém hơn để học. Trong mô phỏng trên, khoảng 37% số lần gửi đi vào các arm không phải B. Một arm bị loại khỏi vòng quay khi expected loss của việc giữ nó, E[max_j θ_j − θ_arm], nhỏ hơn giá trị của lượt hiển thị nó chiếm; không có cỡ mẫu cố định.

Trước khi gửi, một fatigue model quyết định có gửi hay không. Xác suất người nhận phản ứng tiêu cực (chặn bot, huỷ đăng ký email, tắt kênh) là hàm logistic của số thông báo gần đây đã giảm theo thời gian. Thông báo chỉ được gửi khi lợi ích kỳ vọng lớn hơn giá trị kỳ vọng bị mất nếu người đó tắt kênh. Bốn quy tắc cứng nằm ngoài mô hình: không gửi khi còn thông báo chưa đọc, không gửi vào kênh người đó chưa bật, không gửi ngoài giờ người đó thường hoạt động, và mỗi thông báo có cách dừng loại đó bằng một chạm.

Expected value cộng value of information khi hành động tốn kém hoặc hiếm: một bài viết, một đề xuất việc mới, một đợt tuyển. Hệ thống chọn theo (E[ΔJ] + VOI) / cost. VOI (value of information) là lợi ích kỳ vọng cho các quyết định sau nhờ học được effect của hành động này. Loại hành động chưa thử có posterior rộng, nên VOI cao, và được thử theo mức mà việc học nó đáng giá.

Cảnh báo theo decision theory khi lựa chọn là có làm phiền một người hay không: chỉ cảnh báo khi xác suất của trạng thái nhân với thiệt hại nếu không báo lớn hơn chi phí của việc làm phiền. Chi phí đó học từ phản ứng của người nhận.

Off-⁠policy evaluation

Câu hỏi của evaluator: một hành động đã thực sự tạo ra bao nhiêu effect, và một policy khác (một bộ variant khác, một cách xếp hạng khác, một rule chọn plan khác) sẽ cho kết quả gì? Không thể chạy lại quá khứ, nhưng có thể ước lượng từ log nếu log có propensity.

Ba estimator:

  • Direct method (DM): dùng một reward model dự đoán outcome cho mỗi hành động. Variance nhỏ, nhưng bias nếu reward model sai.
  • Inverse propensity scoring (IPS): đánh trọng số mỗi outcome đã log bằng tỷ lệ xác suất giữa policy mới và policy cũ. Không bias nếu propensity đúng, nhưng variance lớn khi tỷ lệ đó lớn.
  • Doubly robust (DR): dùng reward model, rồi sửa phần sai của nó bằng IPS trên residual. Không bias nếu một trong hai thành phần đúng (Dudík, Langford & Li, 2011).
Off-policy evaluation: DM, IPS, DRPhân phối của ba estimator off-policy qua 3.000 lần lặp mô phỏng. Direct method có variance nhỏ nhưng bias lớn vì reward model bỏ qua context. IPS không bias nhưng variance lớn. Doubly robust gần như không bias và variance nhỏ hơn IPS.Ước lượng giá trị của policy mới từ log của policy cũdirect method: chỉ reward modelbias −3,7 điểm, sd 2,5IPS: chỉ propensity weightbias 0,0 điểm, sd 4,9doubly robust: cả haibias 0,0 điểm, sd 4,55%10%15%20%25%30%giá trị thật 16,3%Mô phỏng: 3.000 lần lặp, mỗi lần 400 lượt log.
3.000 lần lặp mô phỏng, mỗi lần 400 lượt log. Reward model bỏ qua context nên DM lệch 3,7 điểm; IPS và DR không lệch. DR giảm variance so với IPS chỉ một ít vì reward model sai nhiều.

Hệ thống dùng DR. Với hành động có ngẫu nhiên hoá (bandit, xếp hạng, chọn plan, coupon), propensity lấy từ log. Với hành động không ngẫu nhiên hoá, counterfactual là forecast của marketplace model cho chính cell đó khi không có hành động, dựa trên các cell anh em, theo kiểu synthetic control (dựng nhóm đối chứng từ các đơn vị tương tự không nhận can thiệp). Ước lượng effect đi vào lever posterior, và report hằng tuần ghi một policy khác đã có thể cho kết quả gì, kèm khoảng.

DR có hai điều kiện. Propensity phải được log đúng tại thời điểm quyết định. Và phải có overlap: policy mới chỉ được đánh giá trên những hành động mà policy cũ đã có xác suất dương để chọn. Một hành động policy cũ không bao giờ chọn thì không đánh giá off-policy được. Với hành động không ngẫu nhiên hoá, ước lượng còn phụ thuộc vào việc marketplace model không bỏ sót một yếu tố gây nhiễu (confounder) nào.

Nâng cấp procedure

Procedure là cách một loại việc được làm: prompt, checklist và chuỗi tool, có version. Mỗi loại bài trong content portfolio có procedure riêng. Evaluator đề xuất bản sửa từ các episode, lỗi và chỉnh sửa của người vận hành. Một procedure mới đi qua ba bước:

  1. replay: chạy candidate trên input đã lưu của các việc cũ; cả output cũ và mới được chấm bằng cùng các kiểm tra độc lập (linter, reviewer, classifier) và bằng outcome model.
  2. shadow: chạy candidate song song với incumbent trên input thật, không ghi gì ra ngoài.
  3. quyết định: adopt khi P(tốt hơn) × lợi − P(kém hơn) × thiệt > 0 theo posterior của chênh lệch theo cặp.
Quyết định adopt một procedurePosterior của chênh lệch điểm giữa procedure candidate và incumbent. Với 6 cặp so sánh, posterior rộng; phần diện tích dương lớn nhưng kỳ vọng lợi trừ kỳ vọng thiệt chưa dương nên chưa adopt. Với 60 cặp, posterior hẹp và quyết định là adopt.replaytrên input cũshadowtrên input livequyết địnhtrên posteriorkhông ghi gì ra ngoài; chấm cả hai bằng cùng các kiểm tra6 cặp so sánh: P(tốt hơn) = 0,73 → chưa adopt−0,20+0,2560 cặp so sánh: P(tốt hơn) = 0,97 → adopt−0,20+0,25posterior của chênh lệch điểm (candidate − incumbent)Minh hoạ: mean +0,03, sd 0,12 mỗi cặp; thiệt nặng gấp 3 lợi.
Cùng chênh lệch trung bình +0,03. Với 6 cặp so sánh, posterior rộng và chưa đủ để adopt; với 60 cặp, adopt.

Đây là một quyết định Bayes chứ không phải ngưỡng cỡ mẫu: loại việc ít lần chạy chỉ adopt cải thiện rõ ràng, loại việc nhiều lần chạy adopt cả cải thiện nhỏ. Giới hạn: replay và shadow chỉ đo được những gì các kiểm tra và outcome model đo được. Một procedure tối ưu vào đúng những gì reviewer chấm có thể tốt lên trên giấy mà không tốt lên ngoài đời; vì vậy outcome thật, đo bằng DR sau outcome window, vẫn là trọng tài cuối cùng.

Eval và red team

Mỗi thành phần có golden set (bộ mẫu có đáp án) và một mức đạt, viết dưới dạng posterior chứ không phải số đếm cố định:

  • marketplace model. Golden set: marketplace mô phỏng từ 0 tới 10⁶ tài khoản với tham số đã biết; surge và stall cài sẵn. Mức đạt: độ phủ của interval; sai số khi khôi phục tham số; độ trễ phát hiện so với chi phí báo động giả.
  • planner. Golden set: replay các tuần cũ. Mức đạt: P(plan đã chọn tốt hơn median của các plan ngẫu nhiên khả thi).
  • viết. Golden set: bài và việc đã được người duyệt; các cặp trước/sau khi người sửa. Mức đạt: linter đạt; judge so cặp, có đảo vị trí, đồng thuận với nhãn của người.
  • reviewer. Golden set: bộ mẫu có bẫy: việc nguy hiểm, việc AI làm thay được, cách đóng khung theo giá rẻ. Mức đạt: recall trên các ca sai; precision.
  • catalogue lead. Golden set: cụm từ khoá có đáp án; các bản trùng đã biết. Mức đạt: độ thuần của cụm; calibration của xác suất được duyệt.
  • ops lead. Golden set: sự cố đã xảy ra, phát lại. Mức đạt: nguyên nhân thật nằm trong hai giả thuyết đầu.

Red team cài lệnh vào tiểu sử, lời mời, đề xuất, lượt tìm, nguồn tin bên ngoài và dòng log. Nó cũng thử goal hijack: một input nói "platform nên giảm giá" không được trở thành một plan hạ giá. Mỗi ca phải kết thúc là một phát hiện, không phải một hành động. Bộ eval chạy lại mỗi khi procedure hoặc model thay đổi.

Giới hạn và rủi ro còn lại

  • Mô hình chỉ đúng tới mức giả định của nó. Partial pooling giả định exchangeability trong mỗi cấp; matching function là reduced-form, với prior từ một loại thị trường khác; BG/NBD giả định rate không đổi khi còn hoạt động; BOCPD phụ thuộc hazard prior và predictive model. Mỗi giả định sai làm lệch perception của agent theo một hướng có hệ thống, không phải nhiễu ngẫu nhiên.
  • Interference giữa các cell và giữa người dùng. Đánh giá effect giả định hành động ở một cell không ảnh hưởng cell khác. Trong marketplace hai phía, điều đó thường sai: một bài viết chạm nhiều cell, một provider mới lấy bớt booking của provider cũ, một variant thông báo làm thay đổi hành vi của cả phía bên kia. Ước lượng effect vì vậy có thể lệch.
  • Off-policy evaluation cần propensity đúng và overlap. Hành động không ngẫu nhiên hoá dựa vào counterfactual từ chính marketplace model, nên một confounder bị bỏ sót đi thẳng vào lever posterior.
  • Effect của bài viết đến chậm và lan rộng. Một bài có thể được trích dẫn hay tìm thấy nhiều tháng sau khi outcome window đã đóng, và có thể tác động lên những cell nó không nhắc tới. Coupon cho một đường attribution trực tiếp ở phía supply; phía demand thì không có đường tương đương.
  • Conformal cho marginal coverage. Interval đúng trung bình có thể sai có hệ thống ở các nhóm nhỏ; xem PIT theo nhóm giúp phát hiện độ lệch nhưng không tự sửa nó.
  • Risk score dựa trên xác suất ước lượng. Tác hại được phát hiện trễ và thường bị đếm thiếu: phàn nàn chỉ là cận dưới của số người bị ảnh hưởng. Mức nghiêm trọng gán cho mỗi loại tác hại là một phán đoán giá trị, không phải một phép đo.
  • Phán đoán của language model có thể sai. Write có cấu trúc, review độc lập và kiểm tra khác họ giảm rủi ro, nhưng các lớp kiểm tra có thể sai cùng lúc khi một lỗi nằm ngoài những gì cả ba được thiết kế để thấy.
  • Prompt injection chưa có lời giải trọn vẹn. Isolation giới hạn hậu quả của nó, không ngăn được nó xảy ra ở bước viết nháp.
  • Goodhart (khi một thước đo trở thành mục tiêu, nó không còn đo tốt nữa). Tối ưu forecast T28 dưới các guardrail chỉ bảo vệ những gì đã được đo. Một tác hại không có guardrail thì không có gì giữ lại.
  • Khởi đầu chậm là cái giá có chủ đích. Khi dữ liệu ít, posterior rộng làm hành động mới đắt về rủi ro, nên agent làm ít hơn đúng giai đoạn mà mỗi hành động có thể quan trọng nhất.
  • Những gì xảy ra ngoài platform đo được kém. Chia sẻ do người thật làm, truyền miệng, hay ảnh hưởng của một bài viết lên quyết định của ai đó vài tháng sau chỉ được quy về nguồn một phần.

Tài liệu tham khảo

  1. Adams, R. P. & MacKay, D. J. C. (2007). Bayesian Online Changepoint Detection. arXiv:0710.3742. https://arxiv.org/abs/0710.3742
  2. Angelopoulos, A. N. & Bates, S. (2021). A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. arXiv:2107.07511. https://arxiv.org/abs/2107.07511
  3. Dudík, M., Langford, J. & Li, L. (2011). Doubly Robust Policy Evaluation and Learning. ICML 2011. arXiv:1103.4601. https://arxiv.org/abs/1103.4601
  4. Fader, P. S., Hardie, B. G. S. & Lee, K. L. (2005). "Counting Your Customers" the Easy Way: An Alternative to the Pareto/NBD Model. Marketing Science 24(2). https://www.brucehardie.com/papers/018/
  5. Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A. & Rubin, D. B. Bayesian Data Analysis, 3rd ed. https://sites.stat.columbia.edu/gelman/book/
  6. Gibbs, I. & Candès, E. (2021). Adaptive Conformal Inference Under Distribution Shift. arXiv:2106.00170. https://arxiv.org/abs/2106.00170
  7. Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T. & Fritz, M. (2023). Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. arXiv:2302.12173. https://arxiv.org/abs/2302.12173
  8. Petrongolo, B. & Pissarides, C. A. (2001). Looking into the Black Box: A Survey of the Matching Function. Journal of Economic Literature 39(2): 390–431. https://www.aeaweb.org/articles?id=10.1257/jel.39.2.390
  9. Russo, D., Van Roy, B., Kazerouni, A., Osband, I. & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning. arXiv:1707.02038. https://arxiv.org/abs/1707.02038