Merge pull request #5 from amaccis/fix_stemmer_utf8

Fix utf8 issue, stemming portuguese

Author: amaccis

.github/workflows/ci.yml

@@ -10,7 +10,7 @@ jobs:
   build:
     runs-on: ubuntu-latest
     container:
-      image: amaccis/php-libstemmer:2.1.0
+      image: amaccis/php-libstemmer:2.2.0
     steps:
       - name: Checkout
         uses: actions/checkout@v2

src/Stemmer.php

@@ -17,14 +17,11 @@ class Stemmer implements StemmerInterface
 
     private CData $stemmer;
 
-    private string $algorithm;
-
     public function __construct(string $algorithm)
     {
 
         $this->libstemmer = new Libstemmer();
         $this->stemmer = $this->libstemmer->sbStemmerNew($algorithm);
-        $this->algorithm = $algorithm;
 
     }
 
@@ -48,7 +45,7 @@ public static function algorithms(): array
     public function stemWord(string $word): string
     {
 
-        $stem = $this->libstemmer->sbStemmerStem($this->stemmer, utf8_encode($word));
+        $stem = $this->libstemmer->sbStemmerStem($this->stemmer, $word);
         $size = $this->libstemmer->sbStemmerLength($this->stemmer);
 
         return $this->libstemmer->toString($stem, $size);

tests/StemmerTest.php

@@ -41,7 +41,8 @@ public function stemWordProvider(): array
 
         return [
             ['english', 'cycling', 'cycl'],
-            ['italian', 'camminare', 'cammin']
+            ['italian', 'camminare', 'cammin'],
+            ['portuguese', 'atribuição', 'atribuiçã']
         ];
 
     }
@@ -66,7 +67,8 @@ public function stemWordsProvider(): array
 
         return [
             ['english', ['cycling', 'doors'], ['cycl', 'door']],
-            ['italian', ['camminare', 'porte'], ['cammin', 'port']]
+            ['italian', ['camminare', 'porte'], ['cammin', 'port']],
+            ['portuguese', ['atribuição', 'obrigações'], ['atribuiçã', 'obrig']]
         ];
 
     }