ข้ามไปเนื้อหา

API ตอบสำเร็จ แต่ได้ข้อมูลไม่ครบ: ตรวจ pagination ก่อนเชื่อมระบบ

อ่านบทความนี้เป็น English 中文

API ตอบสำเร็จ แต่ได้ข้อมูลไม่ครบ: ตรวจ pagination ก่อนเชื่อมระบบ

สำเร็จหนึ่งคำขอ ไม่ได้แปลว่าได้ทั้งชุด

เชื่อม API ดึงรายชื่อลูกค้าหรือรายการสินค้าแล้วระบบรายงานสำเร็จ แต่ผู้ใช้งานพบว่าข้อมูลหายช่วงท้าย ควรตรวจ pagination หรือการแบ่งผลลัพธ์เป็นหน้าก่อนสรุปว่าต้นทางไม่มีข้อมูล รหัสตอบกลับสำเร็จอาจยืนยันเพียงว่าคำขอหน้านั้นทำงานได้ ไม่ได้รับรองว่าระบบปลายทางอ่านทุกหน้าจนครบแล้ว

เอกสาร Microsoft Graph ยกตัวอย่างการแบ่งหน้าฝั่งเซิร์ฟเวอร์และการส่ง @odata.nextLink เมื่อยังมีผลลัพธ์ต่อ บทความนี้ใช้ Graph อธิบายกลไก ส่วน API อื่นอาจใช้ cursor, offset หรือชื่อฟิลด์ต่างกัน จึงต้องอ่านสัญญาข้อมูลของ endpoint จริงก่อนเขียนเงื่อนไขจบงาน ไม่ควรนำวิธีของบริการหนึ่งไปใช้กับทุกบริการ

ตัวอย่างข้อมูล 250 รายการที่อ่านมาเพียง 100

สมมติชุดทดสอบที่รู้แน่นอนว่ามีรหัสไม่ซ้ำ 250 รายการ และบริการแบ่งเป็นหน้า 100, 100 และ 50 รายการ หากโค้ดอ่านเฉพาะคำตอบแรก จะได้ข้อมูลถูกต้อง 100 รายการ แต่ยังขาดอีก 150 รายการ ความถูกต้องของรายการที่อ่านมาแล้วกับความครบของทั้งชุดเป็นคนละเงื่อนไข ต้องตรวจทั้งสองอย่าง ตัวเลขนี้เป็นตัวอย่างทดสอบ ไม่ใช่ขนาดหน้าที่ทุก API รองรับ

แม้รวมจำนวนจากทุกหน้าได้ 250 ก็ยังต้องดูรหัสซ้ำและรหัสที่ขาด เพราะหน้าเดิมที่ถูกอ่านซ้ำอาจทำให้ยอดรวมดูครบได้ ควรเทียบชุดรหัสที่คาดหมายกับชุดรหัสที่รับจริง พร้อมตรวจฟิลด์สำคัญตามงาน เช่น สถานะและความสัมพันธ์กับเอกสาร แยกรายการไม่ผ่านออกมาให้ตรวจ ไม่ลบทิ้งเพื่อให้ยอดตรง

ตามลิงก์หน้าถัดไปให้ตรงกับเอกสารบริการ

สำหรับ Microsoft Graph ให้ใช้ URL ใน @odata.nextLink ทั้งชุดตามเอกสาร ไม่ดึงเฉพาะ skiptoken มาประกอบคำขอใหม่เอง และไม่ตัดสินว่าจบเพราะหน้านั้นมีรายการน้อยกว่าที่ขอหรือไม่มีรายการ เอกสารระบุว่าหน้าหนึ่งอาจมีศูนย์รายการได้ ขณะที่ยังต้องตรวจลิงก์หน้าถัดไป เงื่อนไขจบจึงต้องอิงรูปแบบที่บริการกำหนด

การตาม URL อัตโนมัติต้องอยู่ในขอบเขตบริการที่ตั้งค่าอนุญาต ตรวจปลายทางก่อนส่งข้อมูลรับรองและไม่ส่ง token ไปยังโดเมนอื่นตามลิงก์ที่ไม่ไว้วางใจ บันทึกหมายเลขรอบ สถานะ และจำนวนรายการเพื่อวิเคราะห์ได้ โดยไม่เก็บข้อมูลรับรองหรือข้อมูลลูกค้าเต็มชุดลง log เพียงเพื่อไล่ปัญหา

บันทึกจุดทำต่อหลังข้อมูลปลอดภัยแล้ว

ควรกำหนดจุดทำต่อให้สัมพันธ์กับการบันทึกข้อมูลของหน้านั้นสำเร็จจริง หากเลื่อนจุดทำต่อก่อนบันทึก แล้วระบบดับ รายการในหน้านั้นอาจถูกข้ามเมื่อเริ่มใหม่ หากบันทึกสำเร็จแต่ยังไม่ได้เลื่อนจุดทำต่อ ก็อาจอ่านหน้าเดิมซ้ำ จึงต้องออกแบบทั้ง checkpoint และวิธีรับข้อมูลซ้ำ เช่น การอัปเดตตามรหัสที่เหมาะสมกับธุรกรรม ไม่ใช่เพิ่มรายการใหม่เสมอ

เมื่อหน้าหนึ่งล้มเหลว ให้เก็บสถานะว่าชุดข้อมูลยังไม่ครบและทำตามข้อกำหนด retry ของบริการ ไม่ข้ามหน้าเพื่อให้รอบงานขึ้นสีเขียว กรณี token หมดอายุหรือ cursor ใช้ต่อไม่ได้ ต้องมีขั้นตอนเริ่มใหม่หรือกู้รอบตามเอกสาร พร้อมตรวจซ้ำว่าข้อมูลที่เคยบันทึกไม่ถูกเพิ่มอีกโดยไม่ตั้งใจ

อ่านครบทุกหน้าแล้ว ข้อมูลอาจยังไม่ใช่ภาพ ณ เวลาเดียวกัน

ระหว่างดึงข้อมูล ผู้ใช้อีกคนอาจเพิ่ม แก้ หรือลบรายการ การอ่านจนไม่มีหน้าถัดไปจึงไม่ได้รับรองว่าได้ภาพข้อมูล ณ เวลาเดียวกัน ต้องตรวจว่า endpoint มีการรับรอง snapshot หรือลำดับที่คงที่หรือไม่ หากมีตัวกรองช่วงเวลา การส่งออกแบบ snapshot หรือ delta ให้ใช้ตามเงื่อนไขที่บริการรองรับจริง ไม่ถือว่ามี nextLink แล้วจะรับรองความสอดคล้องทุกแบบ

ก่อนเปิดใช้งาน ให้ทดสอบหน้าสุดท้ายที่ไม่เต็ม หน้าไม่มีรายการแต่มีลิงก์ต่อ หน้าเดิมที่ถูกส่งซ้ำ และการล้มเหลวกลางรอบในสภาพแวดล้อมที่อนุญาต รับงานเมื่อมีหลักฐานจำนวนรหัสไม่ซ้ำ รายการตกค้าง และสถานะจบตามสัญญา API หากต้องให้ Chawinnix ช่วยเชื่อมระบบ เตรียมเอกสาร endpoint ตัวอย่างที่ปกปิดข้อมูล และเกณฑ์รับงาน ส่วนบทความอ่านประกอบเรื่องตรวจข้อมูลหลังย้ายระบบช่วยขยายการกระทบยอดหลังจากแก้ pagination แล้ว

ภาพแนวคิดชุดบัตรข้อมูลหลายหน้าต่อเนื่องไปยังกองข้อมูลข้างแล็ปท็อป

แหล่งอ้างอิง

กลับไปหน้าบทความทั้งหมด

เริ่มคุยกับเรา

เล่าสิ่งที่กังวลสั้น ๆ ทีมงานจะติดต่อกลับ ทุกอย่างที่ส่งมาเก็บเป็นความลับ