PHP中使用正则表达式提取中文实现笔记

yipeiwu_com6年前PHP代码库

最近老板叫做一个数据查重的小练习,涉及从一个包含中文字段的文件中提取出其中的中文字段并存储,使用php开发。中间涉及到php正则表达式中文匹配的问题,网上搜罗一大片,但是也很乱没有一个准信儿,经过自己的代码的修改和检验,先将extract函数写下。

首先要注意到的是,双字节字符的编码问题,这里我们以后还可能会遇到像韩文、日文等编码问题,与中文理解上是一个意思。

1. GBK (GB2312/GB18030)

复制代码 代码如下:

\x00-\xff GBK双字节编码范围  
\x20-\x7f ASCII  
\xa1-\xff 中文 gb2312  
\x80-\xff 中文 gbk  
 
2. UTF-8 (Unicode)
复制代码 代码如下:

\u4e00-\u9fa5 (中文)  
\x3130-\x318F (韩文  
\xAC00-\xD7A3 (韩文)  
\u0800-\u4e00 (日文) 

在Notepad++下面,我们可以首先进行测试我们的正则书写的错误与否。第一个表达式我是使用[\u4e00-\u9fa5]+来检验的,+号表示不止一个

匹配符。结果与预期相同,那么,是否在脚本中就可以使用这个正则了呢?

我们测试一下,我们使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)调用,然后你却看到了这么一个结果:Compilation failed: PCRE does not support \L, \l, \N{name}, \U, or \u at offset 2。。。。是不是很头大??这究竟是什么原因?

查阅了很多资料后发现,u (PCRE_UTF8),就是上面的PCRE,这是是一个Perl库,包括 perl 兼容的正规表达式库。此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用,在 win32 下自 PHP 4.2.3 起可用。而php正则表达式对于十六进制数据的表达方式上也有所不同,在php中,是用\x表示十六进制数据的。下面我们就将代码优化一下,检测函数变为:

复制代码 代码如下:

 class storeDataAdapter extends Store{  
        private $dsData;  
        /** 
         * 数据转换函数,调用preg_match_all根据$pattern正则来进行数值匹配,并将返回的结果以数组形式存储在$matches中, 
         * $matches[0]将包含与整个模式匹配的文本,$matches[1] 将包含与第一个捕获的括号中的子模式所匹配的文本,以此类推 
         * @see Store::data_convert() 
         */ 
        public function data_convert($pattern,$subject) {  
            $matches=array();  
            if (preg_match_all($pattern, $subject,$matches)){  
                return $matches[0];  
            }else   
            {  
                return null;  
            }  
        }  
    } 

调用的时候变为:

复制代码 代码如下:

 $store=new storeDataAdapter($txtContent);  
    $match=array();  
    $dsName=$store->data_convert(‘/[\x7f-\xff]+/',$txtContent);  
    foreach ($dsName as $val){  
        echo $val."<br>";  
    }  

输入文件为:

,下面是提取出中文之后的输出文件内容:

,符合预期需求。

相关文章

PHP封装XML和JSON格式数据接口操作示例

PHP封装XML和JSON格式数据接口操作示例

本文实例讲述了PHP封装XML和JSON格式数据接口操作。分享给大家供大家参考,具体如下: 使用PHP开发app后端的接口时,我们需要返回数据,最常用的就是XML和JSON格式的数据,那...

PHP简单判断手机设备的方法

本文实例讲述了PHP简单判断手机设备的方法。分享给大家供大家参考,具体如下: 现在移动互联网越来越发到,很多的网站都普及了手机端浏览,为了更好的让网页在手机端显示,我们都选择了使用CSS...

谈谈新手如何学习PHP网络编程第1/2页

文章开头就列举了那么多联系方式,难免会让大家感觉有点AD的意味,但是不容质疑的是,默默的确有那么丁点的表现欲^_^,虽然有时候过于细致会被人说婆妈,但是幸好这种细致对于编程来说,还是蛮有...

php命名空间学习详解

1、什么是命名空间?命名空间是一种特殊的作用域,它包含处于该作用域下的标识符,同时它本身也是一种标识符。可以把命名空间与操作系统的目录对应起来。一个命名空间相当于一个目录,命名空间里的类...

百度工程师讲PHP函数的实现原理及性能分析(二)

百度工程师讲PHP函数的实现原理及性能分析(二)

类方法 类方法其执行原理和用户函数是相同的,也是翻译成opcodes顺次调用。类的实现,zend用一个数据结构zend_class_entry来实现,里面保存了类相关的一些基本信息。这个...