当前位置:   article > 正文

android sqlite fts4,iOS__SQLite FTS3 and FTS4

unknown tokenizer

最近项目需要数据库全文检索,我们所使用的FMDB支持FTS3的使用

FTS3 和FTS4 是一个SQLite 虚拟表的模块, 允许用户执行全文搜索一组文档从最常见()方法

但是在使用过程中发现有很多不一致的地方 如:

CREATE VIRTUAL TABLE en1 USING fts3(content TEXT) */ FTS3 表/*

CREATE TABLE IF NOT EXISTSen1(content TEXT); /* 普通表*/

创建数据库成功时候发现居然有四张表:(可能是相关的索引吧)

854f0d3fa240

11DE9BA9-7662-469B-BC4F-EC279409CA10.png

插入数据和我们正常没有什么区别

replace intoen1(content) values('%@')

但是查询的时候不是我们通常喜欢使用的#like#了 而是 #MATCH# 当然据说比like查询的速度快上1000倍 具体我没有测试

现在说说几个MATCH在使用的时候出现的问题:

1、如果我们已经创建好了一系列的表,新的需求需要使用全文检索我们是否要重新创建数据库

2、在使用过程中个人认为这个是给外国人使用的,因为什么呢,因为查询的时候只能查询某个词,如“SQLite is an ACID compliant embedded relational database management system” 每一个单词都是独立的、有空格来分开。而中文则不需要由此出现了查询不出来的问题

如:

854f0d3fa240

![B6C6E4D4-43E2-4E74-956D-F0AC1B13B0BD.png](http://upload-images.jianshu.io/upload_images/1117002-907a2f347fe99b12.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

下面来比较一下like与MATCH

MATCH方式

SELECT * FROM en1 WHERE content MATCH '玩%'

SELECT * FROM en1 WHERE content MATCH '玩*'

854f0d3fa240

D3BCAAF7-48D1-4C86-9E8A-C634DA72C1EE.png

like方式:

854f0d3fa240

E807CE1B-4B7A-4934-8722-FF045888EEF5.png

从而我们证明普通的建表是不可能实现这个功能的,那微信、QQ等App都是如果使用的呢?他们是在使用这个架构吗?

峰会路转

中文的查询我们需要重新定义分词器:而FMDB给我们提供了相应的分词器:

FMDatabase+FTS3

FMTokenizers

貌似并没有多线程的方式,需要自己去重写了,现在我们先尝试FMDatabase

创建数据库

[self.dbQueue open];

FMSimpleTokenizer *simpleTok = [[FMSimpleTokenizer alloc] initWithLocale:NULL];

[self.dbQueue installTokenizerModule];

[FMDatabase registerTokenizer:simpleTok withKey:@"simple"];

NSString *sql = [NSString stringWithFormat:@"CREATE VIRTUAL TABLE SQLiteDB USING fts4(content,topic,tokenize=fmdb simple)"];

NSLog(@"----%@",sql);

[self.dbQueue executeUpdate:sql];

[self.dbQueue close];

重新添加数据:

[self.dbQueue open];

FMSimpleTokenizer *simpleTok = [[FMSimpleTokenizer alloc] initWithLocale:NULL];

[self.dbQueue installTokenizerModule];

[FMDatabase registerTokenizer:simpleTok withKey:@"simple"];

NSString * sql = [NSString stringWithFormat:@"replace INTO SQLiteDB (content,topic) values('%@','%@')",model.content,[self getUUIDString]];

[self.dbQueue executeUpdate:sql];

[self.dbQueue close];

我们这里看到在每个sql语句之前都有

FMSimpleTokenizer *simpleTok = [[FMSimpleTokenizer alloc] initWithLocale:NULL];

[self.dbQueue installTokenizerModule];

[FMDatabase registerTokenizer:simpleTok withKey:@"simple"];

如果我们使用分词器创建库,那么我们如果我们不使用它去添加数据会报错:

DB Error: 1 "unknown tokenizer: fmdb"

数据库:

854f0d3fa240

C93E2DE2-4D31-4255-B2EA-036347DD9B8E.png

使用可视化的软件打开

SQLiteDB我们无法查看:unknown tokenizer: fmdb可能是分词器的原因

content数据:

854f0d3fa240

4AFA42D0-2B1D-4D36-BEE1-F51DC180D6FD.png

数据查询:

FMSimpleTokenizer *simpleTok = [[FMSimpleTokenizer alloc] initWithLocale:NULL];

[self.dbQueue installTokenizerModule];

[FMDatabase registerTokenizer:simpleTok withKey:@"simple"];

NSString *sql = [[NSString alloc] initWithFormat:@"SELECT * FROM SQLiteDB WHERE SQLiteDB MATCH '%@'", @"人工果醋"];

NSLog(@"-----%@",sql);

FMResultSet *rs = [self.dbQueue executeQuery:sql];

while ([rs next])

{

SQLiteModel *item = [self getMessageResult:rs];

if (item != nil){

[retArr addObject:item];

}

}

[self.dbQueue close];

854f0d3fa240

54D3A40C-88A8-44DC-AB50-A4BC6DB6ED26.png

最后问题有来了......

问题来了 我们发现在ios8的机器上查询不出结果!~~~(>_

未完待续..在努力中.....

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/492326
推荐阅读
相关标签
  

闽ICP备14008679号