如何使用Hibernate在Java中批量更新或插入数据库表？最好的优化的方式分享！

Hibernate 是最流行的 ORM 框架，用于在 Java 中与数据库进行交互。在本文中，我们将探讨使用批量选择和更新的各种方法以及在 Java 中使用 Hibernate 框架时最有效的方法。

我尝试了三种方式，分别如下：

使用 Hibernate 的 Query.list() 方法。
在 FORWARD_ONLY 滚动模式下使用 ScrollableResults。
在 StatelessSession 中使用具有 FORWARD_ONLY 滚动模式的 ScrollableResults。

为了确定哪一种为我们的用例提供最佳性能，我使用上面列出的三种方法进行了以下测试。

选择并更新 1000 行。

下面我们将上述三种方式一一应用到上述操作中，看看代码和结果。

使用 Hibernate 的 Query.list() 方法

执行的代码：

java:

List rows;
        Session session = getSession();
        Transaction transaction = session.beginTransaction();
        try {
            Query query = session.createQuery("FROM PersonEntity WHERE id > :maxId ORDER BY id").setParameter("maxId",
                    MAX_ID_VALUE);
            query.setMaxResults(1000);
            rows = query.list();
            int count = 0;
            for (Object row : rows) {
                PersonEntity personEntity = (PersonEntity) row;
                personEntity.setName(randomAlphaNumeric(30));
                session.saveOrUpdate(personEntity);
                //Always flush and clear the session after updating 50(jdbc_batch_size specified in hibernate.properties) rows
                if (++count % 50 == 0) {
                    session.flush();
                    session.clear();
                }
            }
        } finally {
            if (session != null && session.isOpen()) {
                transaction.commit();
                session.close();
            }
        }

测试结果：

耗时：360s到400s
堆模式：- 从 13m 逐渐增加到 51m（从 jconsole）。

在 FORWARD_ONLY 滚动模式下使用 ScrollableResults。

有了这个，我们预计它应该比第一种方法消耗更少的内存。让我们看看下面的结果。

执行的代码：

java:

 Session session = getSession();
        Transaction transaction = session.beginTransaction();
        ScrollableResults scrollableResults = session
                .createQuery("FROM PersonEntity WHERE id > " + MAX_ID_VALUE + " ORDER BY id")
                .setMaxResults(1000).scroll(ScrollMode.FORWARD_ONLY);
        int count = 0;
        try {
            while (scrollableResults.next()) {
                PersonEntity personEntity = (PersonEntity) scrollableResults.get(0);
                personEntity.setName(randomAlphaNumeric(30));
                session.saveOrUpdate(personEntity);
                if (++count % 50 == 0) {
                    session.flush();
                    session.clear();
                }
            }
        } finally {
            if (session != null && session.isOpen()) {
                transaction.commit();
                session.close();
            }
        }

检测结果：

花费的时间：185秒到200秒。
堆模式：- 从 13MB 逐渐增加到 41MB（使用 jconsole 测量相同）。

在 StatelessSession 中使用 ScrollableResults 和 FORWARD_ONLY 滚动模式

无状态会话不实现一级缓存，也不与任何二级缓存交互，也不实现事务性后写或自动脏检查，也不执行级联到关联实例的操作。无状态会话会忽略集合。通过无状态会话执行的操作绕过 Hibernate 的事件模型和拦截器。

在批量更新的情况下始终建议使用这种类型的会话，因为在这些类型的用例中我们确实不需要这些休眠功能的开销。

执行的代码：

java:

  StatelessSession session = getStatelessSession();
        Transaction transaction = session.beginTransaction();
        ScrollableResults scrollableResults = session
                .createQuery("FROM PersonEntity WHERE id > " + MAX_ID_VALUE + " ORDER BY id")
                .setMaxResults(TRANSACTION_BATCH_SIZE).scroll(ScrollMode.FORWARD_ONLY);
        try {
            while (scrollableResults.next()) {
                PersonEntity personEntity = (PersonEntity) scrollableResults.get(0);
                personEntity.setName(randomAlphaNumeric(20));
                session.update(personEntity);
            }
        } finally {
            if (session != null && session.isOpen()) {
                transaction.commit();
                session.close();
            }
        }

测试结果：

花费的时间：185 秒到 200 秒。
堆模式：- 从 13MB 逐渐增加到 39MB。

我还对 2000 行进行了相同的测试，得到的结果如下：

结果：

使用 list():- 花费的时间：大约 750 秒，堆模式：从 13MB 逐渐增加到 74 MB。
使用 ScrollableResultSet：花费的时间：大约 380s，堆模式：从 13MB 逐渐增加到 46MB
使用 Stateless：花费的时间：大约 380 秒，堆模式：从 13MB 逐渐增加到 43MB

上述所有方法的拦截器问题

ScrollableResults 和 Stateless ScrollableResults 提供几乎相同的性能，这比 Query.list() 好得多。但是上述所有方法仍然存在一个问题。加锁，以上所有方法都在同一个事务中选择和更新数据，这意味着只要事务正在运行，已经执行更新的行将被锁定，任何其他操作都必须等待事务完成结束。

一个办法

为了解决上述问题，我们应该在这里做两件事：

我们需要在不同的事务中选择和更新数据。
并且，这些类型的更新应该分批进行

因此，我再次执行了与上述相同的测试，但这次更新是在一个不同的事务中执行的，该事务以 50 个为一组提交。

注意：在 Scrollable 和 Stateless 的情况下，我们还需要一个不同的会话，因为我们需要原始会话和事务来滚动结果。

使用批处理的结果

使用list()：花费的时间：大约400s，堆模式：从13MB逐渐增加到61MB。
使用 ScrollableResultSet：花费的时间：大约 380 秒，堆模式：从 13MB 逐渐增加到 51MB。
使用无状态：花费的时间：大约 190 秒，堆模式：从 13MB 逐渐增加到 44MB。

观察：ScrollableResults 的这个时间性能下降到几乎等于 Query.list()，但 Stateless 的性能几乎保持不变。

总结与结论

从以上所有的实验来看，在我们需要做批量选择和更新的情况下，从内存消耗和时间来看，最好的方法如下：

在无状态会话中使用 ScrollableResults。
以 20 到 50 的批次（批处理）在不同的事务中执行选择和更新（注意：批次大小可以视具体情况而定）。

最佳方法的示例代码

java:

StatelessSession session = getStatelessSession();
        Transaction transaction = session.beginTransaction();
        ScrollableResults scrollableResults = session
                .createQuery("FROM PersonEntity WHERE id > " + MAX_ID_VALUE + " ORDER BY id")
                .setMaxResults(TRANSACTION_BATCH_SIZE).scroll(ScrollMode.FORWARD_ONLY);
        int count = 0;
        try {
            StatelessSession updateSession = getStatelessSession();
            Transaction updateTransaction = updateSession.beginTransaction();
            while (scrollableResults.next()) {
                PersonEntity personEntity = (PersonEntity) scrollableResults.get(0);
                personEntity.setName(randomAlphaNumeric(5));
                updateSession.update(personEntity);
                if (++count % 50 == 0) {
                    updateTransaction.commit();
                    updateTransaction = updateSession.beginTransaction();
                }
            }
            updateSession.close();
        } finally {
            if (session != null && session.isOpen()) {
                transaction.commit();
                session.close();
            }
        }

使用 spring 等 java 框架，这段代码可以更小，比如不需要处理会话关闭等。上面的代码是使用 hibernate 用纯 java 编写的。