技术标签: solr7集群 springboot
一、本文将solr安装在linux上。首先先安装好jdk和tomcat。
配置环境:jdk8,tomcat8.5,solr7.2.1.。
二、复制Solr文件夹中的一些文件到apache-tomcat下:
1)将 solr 压缩包中 solr\server\solr-webapp\文件夹下有个webapp文件夹,将之复制到tomcat\webapps\目录下,文件夹名改成solr(任意) ;
cp -R /usr/local/tomcat/solr-7.2.1/server/solr-webapp/webapp /usr/local/tomcat/apache-tomcat-8.5.29/webapps/
2)将 solr 压缩包中 solr\server\lib\ext 中的 jar 全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;
cp -R /usr/local/tomcat/solr-7.2.1/server/solr-webapp/webapp /usr/local/tomcat/apache-tomcat-8.5.29/webapps/
3)将solr压缩包中solr/server/lib/metrics* 开头的jar全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;
cp -R /usr/local/tomcat/solr-7.2.1/server/lib/metrics*.* /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/lib/
4)将solr压缩包中solr/server/lib/solr-dataimporthandler-* 开头的jar全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中;
cp -R /usr/local/tomcat/solr-7.2.1/server/lib/solr-dataimporthandler-* /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/lib/
5)在Tomcat\ webapps\solr\WEB-INF\下建立classes目录,并将solr/server/resources/log4j.properties文件复制其中;
cp -R /usr/local/tomcat/solr-7.2.1/server/resources/log4j.properties /usr/local/tomcat/apache-tomcat-8.5.29/webapps/solr/WEB-INF/classes/
6)在tomcat目录下建立solrhome目录(也可以放在其它目录中)
mkdir solrhome
7)复制solr/server/solr/* 所有文件到tomcat/solrhome目录,用到创建solr的core时使用。
cp -R /usr/local/tomcat/solr-7.2.1/server/solr/* /usr/local/tomcat/apache-tomcat-8.5.29/solrhome/
三、安装完成之后启动tomcat,即可运行sorl。输入路径地址:
四、配置solr:
编辑web.xml文件:
[root@localhost down]# vi /down/apache-tomcat-8.5.12/webapps/solr/WEB-INF/web.xml
1)配置solr下core路径,找如下配置内容(初始状态下该内容是被注释掉的):
solr/home
/down/apache-tomcat-8.5.12/solrhome //将路径指向我们创建的solrhome目录。
java.lang.String
2)配置访问权限:找到如下内容,并注释掉:
至此solr的配置工作完成.
五、创建core:
1、首先在solrhome中创建mycore目录;
2、复制solr-6.5.0\example\example-DIH\solr\solr下的所有文件到/down/apache-tomcat-8.5.12/solrhome/mycore目录下:
3、重新启动tomcat;
4、此时在浏览器输入http://localhost:8080/solr/index.html即可出现Solr的管理界面,即可看到我们刚才的mycore。
六、配置IKAnalyzer的中文分词:
1、下载IKAnalyzer,解压后会有五个文件
ext.dic IKAnalyzer.cfg.xml solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar stopword.dic
1
ext.dic为扩展字典,stopword.dic为停止词字典,IKAnalyzer.cfg.xml为配置文件,solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar为分词jar包。
2、将文件夹下的IKAnalyzer.cfg.xml , ext.dic和stopword.dic 三个文件 复制到/webapps/solr/WEB-INF/classes 目录下,并修改IKAnalyzer.cfg.xml
IK Analyzer 扩展配置
ext.dic;
stopword.dic;
3、在ext.dic 里增加自己的扩展词典,例如,唯品会 聚美优品
4、复制solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar到/down/apache-tomcat-8.5.12/webapps/solr/WEB-INF/lib/目录下。
5、在 solrhome\mycore\conf\managed-schema 文件前增加如下配置
注意: 记得将stopword.dic,ext.dic的编码方式为UTF-8 无BOM的编码方式。
七、solr与mysql集成索引:
首先在 solrconfig.xml 的 《requestHandler name=”/select” class=”solr.SearchHandler”> 之上添加
data-config.xml
然后在conf下新建data-config.xml文件。里面内容如下:
deltaImportQuery="select * from user where id='${dih.delta.id}'"
deltaQuery="select id from user where updateTime> '${dataimporter.last_index_time}'">
dataSource是数据库数据源。Entity就是一张表对应的实体,pk是主键,query是查询语句。Field对应一个字段,column是数据库里的column名,后面的name属性对应着Solr的Filed的名字。其中solrdata是数据库名,goods是表名。
其中deltaQuery是增量索引,原理是从数据库中根据deltaQuery指定的SQL语句查询出所有需要增量导入的数据的ID号。然后根据deltaImportQuery指定的SQL语句返回所有这些ID的数据,即为这次增量导入所要处理的数据。核心思想是:通过内置变量“dih.delta.id”和“dih.delta.id”和“{dataimporter.last_index_time}”来记录本次要索引的id和最近一次索引的时间。
然后把mysql所需的jar包和solr-6.2.0\dist下的solr-dataimporthandler-6.2.0.jar和solr-dataimporthandler-extras-6.2.0.jar都复制到项目WEB-INF\lib下。
启动Tomcat,输入http://localhost:8080/solr/index.html按如下选择,
八、查询参数说明:
1、常用
q - 查询字符串,这个是必须的。如果查询所有: ,根据指定字段查询(Name:张三 AND Address:北京)
fq - (filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:q=Name:张三&fq=createDate:[2014-06-18 TO 2015-12-18],找关键字”张三”,并且CreateDate是查询2014-06-18到2015-12-18之间的数据
fl - 指定返回那些字段内容,用逗号或空格分隔多个。
start - 返回第一条记录在完整找到结果中的偏移位置,0开始,一般分页用。
rows - 指定返回结果最多有多少条记录,配合start来实现分页。
sort - 排序,格式:sort=《field name>+《desc|asc>[,《field name>+《desc|asc>]… 。示例:(score desc, price asc)表示先 “score” 降序, 再 “price” 升序,默认是相关性降序。
wt - (writer type)指定输出格式,可以有 xml, json, PHP, phps。
fl表示索引显示那些field( *表示所有field,如果想查询指定字段用逗号或空格隔开(如:Name,SKU,ShortDescription或Name SKU ShortDescription【注:字段是严格区分大小写的】))
q.op 表示q 中 查询语句的 各条件的逻辑操作 AND(与) OR(或)
hl 是否高亮 ,如hl=true
hl.fl 高亮field ,hl.fl=Name,SKU
hl.snippets :默认是1,这里设置为3个片段
hl.simple.pre 高亮前面的格式
hl.simple.post 高亮后面的格式
facet 是否启动统计
facet.field 统计field
2、 Solr运算符
“:” 指定字段查指定值,如返回所有值:
“?” 表示单个任意字符的通配
“” 表示多个任意字符的通配(不能在检索的项开始使用或者?符号)
“~” 表示模糊检索,如检索拼写类似于”roam”的项这样写:roam~将找到形如foam和roams的单词;roam~0.8,检索返回相似度在0.8以上的记录。
邻近检索,如检索相隔10个单词的”apache”和”jakarta”,”jakarta apache”~10
“^” 控制相关度检索,如检索jakarta apache,同时希望去让”jakarta”的相关度更加好,那么在其后加上”^”符号和增量值,即jakarta^4 apache
布尔操作符AND、||
布尔操作符OR、&&
布尔操作符NOT、!、- (排除操作符不能单独与项使用构成查询)
“+” 存在操作符,要求符号”+”后的项必须在文档相应的域中存在
( ) 用于构成子查询
[] 包含范围检索,如检索某时间段记录,包含头尾,date:[200707 TO 200710]
{} 不包含范围检索,如检索某时间段记录,不包含头尾
date:{200707 TO 200710}
/ 转义操作符,特殊字符包括+ - && || ! ( ) { } [ ] ^ ” ~ * ? : /
注:①“+”和”-“表示对单个查询单元的修饰,and 、or 、 not 是对两个查询单元是否做交集或者做差集还是取反的操作的符号
比如:AB:china +AB:america,表示的是AB:china忽略不计可有可无,必须满足第二个条件才是对的,而不是你所认为的必须满足这两个搜索条件
如果输入:AB:china AND AB:america,解析出来的结果是两个条件同时满足,即+AB:china AND +AB:america或+AB:china +AB:america
总而言之,查询语法: 修饰符 字段名:查询关键词 AND/OR/NOT 修饰符 字段名:查询关键词
3、 Solr查询语法
1.最普通的查询,比如查询姓张的人( Name:张),如果是精准性搜索相当于SQL SERVER中的LIKE搜索这需要带引号(”“),比如查询含有北京的(Address:”北京”)
2.多条件查询,注:如果是针对单个字段进行搜索的可以用(Name:搜索条件加运算符(OR、AND、NOT) Name:搜索条件),比如模糊查询( Name:张 OR Name:李)单个字段多条件搜索不建议这样写,一般建议是在单个字段里进行条件筛选,如(Name:张 OR 李),多个字段查询(Name:张 + Address:北京 )
3.排序,比如根据姓名升序(Name asc),降序(Name desc)
4.查询结果匹配
一般情况下solr默认是进行拆分匹配查询的,如:“苏小小”拆成“苏”,“小”,“小”等。但是如果要进行完全匹配 “苏小小” 可以将关键词用双引号括起来如下:
例如 :
注意:如果在搜索的目标上有一句话中包含这个关键字,那么这段话也会被搜索到,如:“很久很久以前苏小小就是很出名了”。千万不要以为只是关键字的内容才能搜索到。
九、项目代码:
application.yml 中加上如上配置:
#配置sorl
spring:
data:
solr:
host: http://192.168.1.130:8089/solr/mycore
package com.tj.dr.service.impl;
...
import java.util.List;
@Service
public class SearchServiceImpl implements SearchService {
@Autowired
private SearchMapper searchMapper;
@Autowired
private SolrClient solrClient;
@Reference(version = "1.0")
private UserInterfaces userInterfaces;
@Reference(version = "1.0")
private ConfigInterface configInterface;
/**
* 更新索引库所有索引
*/
@Override
public void importAllIndex() {
try {
List searchGoodsDtos = searchMapper.selectByGoodsList();
List documents = new ArrayList<>();
for (SearchGoodsDto goods : searchGoodsDtos) {
SolrInputDocument document = new SolrInputDocument();
document.addField("id", goods.getId());
document.addField("goodsName", goods.getGoodsName());
String price = goods.getGoodsPrice().toString();
document.addField("goodsPrice", price);
String url = null;
if (!Common.isEmpty(goods.getGoodsMainPhotoId())) {
RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(goods.getGoodsMainPhotoId()));
url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"
+ pic.getName();
}
document.addField("goodsMainPhotoId", url);
documents.add(document);
}
solrClient.add(documents);
solrClient.commit();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 分页查询商品
*
* @param name
* @param currentPage
* @param pageSize
* @return
*/
@Override
public PageUtils query(String name, int currentPage, int pageSize) throws IOException, SolrServerException {
SolrQuery params = new SolrQuery();
//查询条件
params.set("q", "goodsName:" + name);
//这里的分页和mysql分页一样
params.set("start", (currentPage - 1) * pageSize);
params.set("rows", pageSize);
params.set("wt", "json");
QueryResponse query = solrClient.query(params);
//查询结果
SolrDocumentList results = query.getResults();
List list = new ArrayList<>();
for (SolrDocument result : results) {
GoodsClassNameVo searchGoodsDto = new GoodsClassNameVo();
searchGoodsDto.setId(Long.valueOf(result.get("id").toString()));
searchGoodsDto.setGoodsName(String.valueOf(result.get("goodsName")));
BigDecimal goodsPrice = new BigDecimal(result.get("goodsPrice").toString());
searchGoodsDto.setGoodsPrice(goodsPrice);
if (null!=result.get("goodsMainPhotoId")){
searchGoodsDto.setIcon(result.get("goodsMainPhotoId").toString());
}
list.add(searchGoodsDto);
}
//搜索总数
long found = results.getNumFound();
//搜索开始
long start = results.getStart();
PageUtils pageUtils = new PageUtils<>();
pageUtils.setPageNum(currentPage);
pageUtils.setPageSize(pageSize);
pageUtils.setTotalNum(Integer.valueOf(String.valueOf(found)));
pageUtils.setPageCount(Integer.valueOf(String.valueOf(found / pageSize == 0 ? found / pageSize : found / pageSize + 1)));
pageUtils.setIsMore(found - start > pageSize ? 1 : 0);
pageUtils.setItems(list);
return pageUtils;
}
/**
* @param
* @author: ZhongQiuwu
* Description:添加单个商品索引
* @Date: 13:54 2018/3/31
*/
@Override
public void addGoodsIndex(SearchGoodsDto searchGoodsDto) throws IOException, SolrServerException {
RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(searchGoodsDto.getGoodsMainPhotoId()));
String url = null;
if (pic != null) {
url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"
+ pic.getName();
}
SolrInputDocument document = new SolrInputDocument();
document.addField("id", searchGoodsDto.getId());
document.addField("goodsName", searchGoodsDto.getGoodsName());
String price = searchGoodsDto.getGoodsPrice().toString();
document.addField("goodsPrice", price);
document.addField("goodsMainPhotoId", url);
solrClient.add(document);
solrClient.commit();
}
/**
* @param
* @param ids
* @author: ZhongQiuwu
* Description: 根据id批量删除
* @Date: 13:59 2018/3/31
*/
@Override
public void deleteGoodsIndex(String[] ids) throws IOException, SolrServerException {
List list = new ArrayList<>();
for (String id : ids) {
list.add(id);
}
solrClient.deleteById(list);
solrClient.commit();
}
}
欢迎工作一到五年的Java工程师朋友们加入Java架构开发:855801563
群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf