นับแชท 200 ห้อง แล้วพบว่าเราเดาผู้ใช้ของตัวเองผิดทั้งสองทาง

10 พฤศจิกายน 2569 · ThaiPo

เรามีทฤษฎีอยู่สองข้อว่าใครกันแน่ที่ใช้ ThaiPo และทั้งสองข้อเป็นของเราเอง ข้อแรกอยู่บนเว็บการตลาด: หนุ่มต่างชาติกับแฟนสาวชาวไทย เรื่องรักที่มีตัวแปลภาษาคั่นอยู่ตรงกลาง ข้อสองอยู่ในหัวของ developer: เรื่องนั้นตกยุคไปแล้ว การใช้งานจริงไหลไปทางธุรกิจ ไปทาง supplier กับกรรมการคอนโด และเว็บกำลังโฆษณาหาลูกค้าที่กลายเป็นคนส่วนน้อยไปแบบเงียบๆ

เรากำลังจะรื้อเว็บใหม่ทั้งเว็บโดยอาศัยทฤษฎีข้อสอง แล้วก็นึกขึ้นได้ว่า เราเป็นคนรันระบบนี้เอง จะเดาทำไม เดินไปนับเลยก็ได้

ผลคือผิดทั้งสองทฤษฎี ข่าวดีคือผิดกันคนละทิศ

ลางสังหรณ์นี้มาจากไหน

ทฤษฎีสายธุรกิจไม่ได้มโนขึ้นมาเอง ไม่กี่เดือนก่อนหน้านั้นเราเคยดูตัวอย่างแชทที่ active อยู่จำนวนหนึ่ง แล้วได้ข้อสรุปกลับมาว่า "ราว 60% เป็นงานธุรกิจ" ตัวเลขนี้ติดหัวมาตั้งแต่นั้น

มันมีปัญหาสองข้อที่เราจดไว้ตอนนั้น แล้วก็ลืมไปอย่างสุภาพ ข้อแรก ตัวอย่างมีแค่ 18 แชท ข้อสอง มันดูเฉพาะข้อความยาวๆ ลองเดาดูว่าใครพิมพ์ข้อความยาว: คนที่กำลังอธิบายงานซ่อม ตารางงาน หรือการส่งของ แล้วใครพิมพ์ข้อความสั้น: คนที่กำลังมีความรัก เราสร้าง filter ที่กรองคู่รักทิ้งไป แล้วก็มานั่งทึ่งว่าทำไมคู่รักมีน้อยจัง

ลงมือสำรวจจริง

คราวนี้เลยทำให้ถูกวิธี วิธีทั้งหมดเขียนเป็นลิสต์ได้ และลิสต์นี้แหละคือของมีค่าที่สุดในโพสต์

• เริ่มจาก metadata ของทุกแชทก่อน ทุกแชทที่มี traffic ในหกสัปดาห์ล่าสุด: 605 แชท ราว 107,000 ข้อความ เอาแค่จำนวนข้อความกับคู่ภาษาของแต่ละแชท ยังไม่แตะเนื้อหา นี่คือตัวหาร และต้องมีมันก่อนจะเปิดอ่านข้อความแม้แต่ข้อความเดียว
• สุ่มตามปริมาณ แล้วเติมหางแบบ random เอา 120 แชทที่คุยเยอะที่สุด บวกอีก 80 แชทที่สุ่มจากที่เหลือทั้งหมด กลุ่มหัวบอกว่าทั้งวันระบบเอาแรงไปทำอะไร ส่วนหางที่สุ่มมาบอกว่าแชททั่วไปหน้าตาเป็นยังไง สองคำถามนี้ไม่ใช่คำถามเดียวกัน และเรื่องทั้งหมดก็ไปอยู่ในช่องว่างระหว่างสองคำตอบนั้นพอดี รวมแล้ว 200 แชทนี้ครอบคลุม 96% ของปริมาณข้อความ
• แชทละยี่สิบข้อความ อ่านเทียบกับ rubric ที่ตายตัว คนอ่านคือ language model หลาย instance ที่ใช้ rubric ชุดเดียวและรายการหมวดหมู่ชุดเดียว แต่ละ label กลับมาพร้อมระดับความมั่นใจ: สูง 100 กลาง 83 ต่ำ 17 ยี่สิบข้อความถือว่าเหลือเฟือ ปกติอ่านแค่สี่ข้อความก็แยกออกแล้วว่าอันไหนโรงงาน อันไหนชีวิตคู่
• รายงานแค่หมวดหมู่กับจำนวน ไม่มีอย่างอื่นผลลัพธ์ของการสำรวจคือตาราง label ไม่มีเนื้อหาข้อความ ไม่มีชื่อ ไม่มี id ของแชทหลุดออกจาก job คำถามคือ "มีแชทประเภทไหนบ้าง" และการนับแต้มก็ตอบได้ครบแล้ว
• อย่ารันใกล้ traffic ของ production web server ของเรารับ webhook ของแชทอยู่ด้วย และแพลตฟอร์มแชทให้เวลา webhook ตอบราวหนึ่งวินาที เคยมีครั้งหนึ่งที่ CPU บนเครื่องนั้นพุ่ง แล้วคำแปลช้าไปเป็นนาที งานอ่าน archive หนักๆ จึงไม่มีสิทธิ์รันบนเครื่องนั้นเด็ดขาด การสำรวจนี้รันบนเครื่อง scratch ที่บูตจาก image เดียวกัน เกิดมาเพื่องานนี้งานเดียว

แชทบอกอะไรเรา

ถ้านับตามปริมาณข้อความ คู่รักคือ 76% ไม่ใช่คนส่วนน้อย ไม่ใกล้เคียงเลยด้วยซ้ำ สิบสี่แชทที่คุยเยอะที่สุดของทั้งระบบเป็นคู่รักทั้งหมด และแค่สิบอันดับแรกก็กิน 44% ของทุกข้อความที่เราแปล ลางสังหรณ์ของ developer ถ้าวัดด้วยปริมาณ คือผิดเต็มๆ

ถ้านับตามจำนวนแชท แบ่งกันคนละครึ่ง เกือบครึ่งของ 200 แชทเป็นคู่รัก อีกเกือบครึ่งเป็นงาน ประมาณหนึ่งในยี่สิบเป็นครอบครัวหรือเพื่อน เว็บการตลาด ถ้าวัดด้วยจำนวนแชท คือมองข้ามผู้ใช้ไปครึ่งหนึ่ง

ทั้งสองอย่างจริงพร้อมกันได้ เพราะสองกลุ่มนี้มีพฤติกรรมต่างกัน คู่รักคุยกันทั้งวัน ทุกวัน ทุกเรื่อง ส่วนแชทงานพิมพ์ว่า "ช่างเข้าวันพฤหัส" แล้วก็เงียบไปจนถึงวันพฤหัส แชทงานมีเยอะแต่สงบ แชทคู่รักมีน้อยกว่าแต่ไม่เคยหยุด

ครึ่งที่เป็นงานหลากหลายกว่าที่เราเดาไว้:

• อสังหาฯ และกรรมการคอนโด
• โรงงานและโกดัง
• supplier และผู้ซื้อ
• โรงแรมและเกสต์เฮาส์
• ที่ทำงานประเภทอื่นๆ
• งานบริการลูกค้า

เกือบครึ่งของปริมาณไม่ใช่ภาษาอังกฤษเลย ข้อนี้ไม่มีใครมีทฤษฎีรองรับไว้สักคน ไทยกับอังกฤษคือ 53% ของปริมาณ จีน 34% ตามด้วยญี่ปุ่น 7% เกาหลี 4% และเมียนมา 2% ในขณะที่เว็บเขียนมาเพื่อคู่รักไทยกับอังกฤษ

คำอธิบายที่ดูชัดที่สุดของภาษาจีนก็ผิดอีก เราเดาว่าเป็น supplier แชท supplier เป็นภาษาจีนราว 90% จริง แต่คิดเป็นแค่ประมาณ 2% ของปริมาณ traffic ภาษาจีนส่วนใหญ่มาจากคู่รัก ทฤษฎีข้อแรกที่เป็นเรื่องรัก ถูกเรื่องความรัก แต่ผิดเรื่องว่าใครรักกับใคร

99% ของปริมาณอยู่ในกลุ่ม แม้แต่คู่รักก็เป็นกลุ่มสามคนในทางเทคนิค: คนสองคนกับตัวแปลหนึ่งตัว แทบไม่มีใครใช้ระบบนี้เป็นแชทหนึ่งต่อหนึ่งกับบอท ซึ่งเป็นภาพที่แอปแปลภาษาส่วนใหญ่วาดไว้ให้ตัวเอง

เราเปลี่ยนอะไรบ้าง

แผนรื้อเว็บที่วางไว้ คือ "หันเว็บไปทางธุรกิจ" จะเท่ากับโยนปริมาณข้อความสามในสี่ทิ้งเพื่อไล่ตามลางสังหรณ์ ส่วนเว็บเดิมก็จะมองข้ามแชทครึ่งหนึ่งและภาษาอีกครึ่งหนึ่งต่อไป ข้อมูลชี้ไปทางที่น่าเบื่อกว่าแต่ดีกว่า: เลิกเลือกข้าง

• พาดหัวบอกว่าระบบทำอะไร"แปลแชท LINE ให้คุณอัตโนมัติ" ไม่บอกอีกแล้วว่าคุณเป็นใคร
• ภาษามาก่อนบรรทัดเหนือพาดหัวเอ่ยชื่ออังกฤษ จีน และญี่ปุ่น ก่อนจะบอกว่า "40 ภาษา" เพราะปริมาณหนึ่งในสามของเราต้องเห็นตัวเองตั้งแต่วินาทีแรก
• ส่วน "เหมาะกับใคร" ที่สร้างจากผลนับการ์ดหนึ่งใบต่อแชทหนึ่งประเภทที่เราเจอจริง: คู่รักมาก่อน ตามด้วยอสังหาฯ โรงงาน supplier โรงแรม ครอบครัว เพื่อน และงานบริการลูกค้า หัวข้อของส่วนนี้คือ "ตัวแปลเดียว ใช้ได้ทุกแชท"

คู่รักยังขึ้นเป็นใบแรกของส่วนนั้น ด้วยตัวเลข 76% ถือว่าได้มาอย่างชอบธรรม

สิ่งที่เราไม่ได้วัด

มีช่องโหว่หนึ่งข้อที่ต้องบอกตรงๆ: เราไม่เคยเอา label ไป join กับข้อมูล billing จึงบอกไม่ได้ว่าแชทประเภทไหนเป็นคนจ่ายเงิน การสำรวจนี้ตอบว่า "ใครใช้" ไม่ได้ตอบว่า "ใครจ่าย" นั่นเป็น query อีกตัวหนึ่ง และเราขอพูดให้ชัด ดีกว่าปล่อยให้กราฟการใช้งานปลอมตัวเป็นกราฟรายได้

สรุป

ปริมาณกับจำนวนคือเรื่องเล่าสองเรื่องของ product ตัวเดียวกัน และการเถียงกันว่า "ผู้ใช้ของเราคือใคร" ส่วนใหญ่ก็คือคนสองคนที่ยกตัวเลขกันคนละตัว หาให้ได้ทั้งสองตัวก่อนเข้าประชุม สุ่มทั้งหัวที่หนักและหางแบบ random เพราะดูอย่างใดอย่างหนึ่งอย่างเดียว มันจะโกหกเราได้หน้าตาเฉย อย่าให้เนื้อหาแชทหลุดเข้าไปในรายงาน และเมื่อการตลาดกับลางสังหรณ์ของเราเห็นไม่ตรงกัน อย่าเพิ่งเชื่อว่าต้องมีฝ่ายหนึ่งถูก ของเราแบ่งกันผิดคนละครึ่งได้อย่างลงตัว

ThaiPo ออกแบบ สร้าง และดูแลโดยนักพัฒนาคนเดียว Steven Acreman

ลองใช้ในแชทของคุณเอง

ThaiPo อยู่ใน LINE และแปลทุกข้อความให้สองทาง ฟรีตลอดไป เริ่มใช้ฟรี หรือ เพิ่มเพื่อน @thaipo.ai ใน LINE แล้วบอทจะส่งลิงก์สมัครให้ในแชทเลย