高并发场景下如何保证数据保存的幂等性

幂等性是什么？

HTTP/1.1中对幂等性的定义是：一次和多次请求某一个资源对于资源本身应该具有同样的结果（网络超时等问题除外）。也就是说，其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。
Methods can also have the property of “idempotence” in that (aside from error or expiration issues) the side-effects of N > 0 identical requests is the same as for a single request.

这里需要关注几个重点：

幂等不仅仅只是一次（或多次）请求对资源没有副作用（比如查询数据库操作，没有增删改，因此没有对数据库有任何影响）。
幂等还包括第一次请求的时候对资源产生了副作用，但是以后的多次请求都不会再对资源产生副作用。
幂等关注的是以后的多次请求是否对资源产生的副作用，而不关注结果。
网络超时等问题，不是幂等的讨论范围。

幂等性是系统服务对外一种承诺（而不是实现），承诺只要调用接口成功，外部多次调用对系统的影响是一致的。声明为幂等的服务会认为外部调用失败是常态，并且失败之后必然会有重试。

我们的设计思路

• 并发集合控制；

  通过redisson并发Map控制多节点相同数据的控制，使得同一批请求中只能有一个请求获得数据的处理权。

• 保证事务内一致性；

  事务结束（无法事务是提交还是回滚）后，清除本批次请求中处理成功的所有相同数据，然而事务结束后其他请求可以直接查询到已提交数据，所以当本次处理成功后下一批再进行相同数据操作时，可以查询到数据库中的数据，从而避免数据重复添加。

• 宕机清除机制；

  如果服务由于种种原因宕机后，redisson中Map的数据无法被有效清理，所以在每个服务节点中都会启动一个工作线程，它的任务是完成定期清理失效数据以及延长某些处理过程过长时数据失效不够的数据。比如批量数据导入，可能执行时间按分钟来计算，我们必须保证整个过程中获得完全的数据操作权，必须在操作过程中保证数据操作权的持有。