加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

当删除mysq查询限定时,来自mysql的solr dataimport会死掉

发布时间:2021-03-04 18:43:53 所属栏目:编程 来源:网络整理
导读:我有一个mysql数据库,在一个表中有高出400,000,000笔记录. 当我配置限定时,Solr导入运行正常.我的最后一次测试是10,它在约莫5分钟内乐成运行.在Solr中拥有完备的数据集是必须的,当我删除限定时,solr陈诉它已经丢失了与mysql的毗连. 我信托我碰着的是当前设置
副问题[/!--empirenews.page--]

我有一个mysql数据库,在一个表中有高出400,000,000笔记录.

当我配置限定时,Solr导入运行正常.我的最后一次测试是10,它在约莫5分钟内乐成运行.在Solr中拥有完备的数据集是必须的,当我删除限定时,solr陈诉它已经丢失了与mysql的毗连.

我信托我碰着的是当前设置中的错误设置或限定.

这是来自tomcat的catalina.out日记

Caused by: java.lang.RuntimeException: org.apache.solr.handler.dataimport.DataImportHandlerException: Unable to execute query: SELECT id as solr_id,id,firstname,lastname,state from names Processing Document # 1
        at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:621)
        at org.apache.solr.handler.dataimport.DocBuilder.doFullDump(DocBuilder.java:327)
        at org.apache.solr.handler.dataimport.DocBuilder.execute(DocBuilder.java:225)
        ... 3 more
Caused by: org.apache.solr.handler.dataimport.DataImportHandlerException: Unable to execute query: SELECT id as solr_id,state from names Processing Document # 1
        at org.apache.solr.handler.dataimport.DataImportHandlerException.wrapAndThrow(DataImportHandlerException.java:72)
        at org.apache.solr.handler.dataimport.JdbcDataSource$ResultSetIterator.

MySQL日记

130616 16:15:29 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
130616 16:15:29 [Warning] option 'max_allowed_packet': unsigned value 53687091200 adjusted to 1073741824
130616 16:15:29  InnoDB: Initializing buffer pool,size = 22.0G
130616 16:15:30  InnoDB: Completed initialization of buffer pool
130616 16:15:31  InnoDB: Started; log sequence number 49 1885610091
130616 16:15:31 [Note] Event Scheduler: Loaded 0 events
130616 16:15:31 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.1.69'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution

MySQL表

CREATE TABLE `names` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,`state` varchar(12) DEFAULT NULL,`source` varchar(128) DEFAULT NULL,`lastname` varchar(128) DEFAULT NULL,`firstname` varchar(128) DEFAULT NULL,PRIMARY KEY (`id`),KEY `source-state` (`source`,`state`),KEY `first-last` (`firstname`,`lastname`),KEY `first-last-state` (`firstname`,`lastname`,`state`)
) ENGINE=InnoDB AUTO_INCREMENT=433924211 DEFAULT CHARSET=utf8;

MySQL设置

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读