面向Python的阿拉伯语NLP工具:CAMeL Tools、Farasa、AraBERT与MARBERT

والجامعة

و + ال + جامعة

conda create -n arabic_nlp python=3.11conda activate arabic_nlp

python -m venv arabic_nlpsource arabic_nlp/bin/activate

python -m venv arabic_nlparabic_nlp\Scripts\activate

pip install -U pippip install transformers torch

sudo apt-get updatesudo apt-get install cmake libboost-all-dev

pip install camel-tools

camel_data -i light

camel_data -i all

from camel_tools.utils.dediac import dediac_arfrom camel_tools.utils.normalize import (    normalize_alef_ar,    normalize_alef_maksura_ar,    normalize_teh_marbuta_ar,    )def normalize_arabic_text(text: str) -> str:    """    对阿拉伯语文本进行基础规范化。    处理内容：    1. 去除元音符号；    2. 统一不同形式的 ألف；    3. 统一 ألف مقصورة；    4. 规范化 تاء مربوطة。    """    text = dediac_ar(text)    text = normalize_alef_ar(text)    text = normalize_alef_maksura_ar(text)    text = normalize_teh_marbuta_ar(text)    return textif __name__ == "__main__":    sample = "إِنَّ اللُّغَةَ العَرَبِيَّةَ جَمِيلَةٌ."    result = normalize_arabic_text(sample)    print(result)

from camel_tools.tokenizers.word import simple_word_tokenizedef tokenize_arabic(text: str) -> list[str]:       """    使用 CAMeL Tools 进行简单词语切分    """    return simple_word_tokenize(text)if __name__ == "__main__":    text = "تعد اللغة العربية من أهم اللغات في العالم."    tokens = tokenize_arabic(text)    print(tokens)

java -version

sudo apt-get updatesudo apt-get install openjdk-11-jdk

pip install farasapy

from farasa.segmenter import FarasaSegmenterdef farasa_segment(text: str) -> str:    """ 使用 farasapy 调用 Farasa Segmenter。    interactive=True 适合多次处理短文本。    """    segmenter = FarasaSegmenter(interactive=True)    return segmenter.segment(text)if __name__ == "__main__":    text = "ذهبت إلى الجامعة الأردنية صباح اليوم."    result = farasa_segment(text)    print(result)

from farasa.stemmer import FarasaStemmerdef farasa_stem(text: str) -> str:    """    使用 farasapy 调用 Farasa Stemmer。    """    stemmer = FarasaStemmer(interactive=True)    return stemmer.stem(text)if __name__ == "__main__":    text = "الطلاب يدرسون اللغة العربية في الجامعة."    result = farasa_stem(text)    print(result)

java -jar farasaSeg.jar -i input.txt -o output.txt

java -Dfile.encoding=UTF-8 -jar Farasa.jar -i input.txt -o output.txt

project/├── run_farasa_java.py└── farasa/└── farasaSeg.jar

from pathlibimport Pathimport subprocessimport tempfiledef run_farasa_jar(    text: str,    jar_path: str,    java_cmd: str = "java",    farasa_data_dir: str | None = None,    timeout: int = 60,) -> str:    """    使用 Python subprocess 调用 Farasa Java JAR。    参数： text: 输入的阿拉伯语文本。    jar_path: Farasa JAR 文件路径    java_cmd: Java 命令，默认使用系统 PATH 中 java    farasa_data_dir: 可选。如需要 FarasaDataDir，可传入数据目录。    timeout: 超时时间，单位秒。    返回：    Farasa 输出文本。    """    jar = Path(jar_path).expanduser().resolve()    if not jar.exists():        raise FileNotFoundError(f"找不到 Farasa JAR 文件：{jar}")    with tempfile.TemporaryDirectory() as tmpdir:        tmpdir_path = Path(tmpdir)        input_file = tmpdir_path / "input.txt"        output_file = tmpdir_path / "output.txt"        input_file.write_text(text, encoding="utf-8")        cmd = [            java_cmd,            "-Dfile.encoding=UTF-8",            "-jar",            str(jar),            "-i",            str(input_file),            "-o",            str(output_file),        ]        env = None        if farasa_data_dir is not None:            import os            env = os.environ.copy()            env["FarasaDataDir"] =str(Path(farasa_data_dir).expanduser().resolve())        completed = subprocess.run(            cmd,            cwd=str(jar.parent),            env=env,            stdout=subprocess.PIPE,            stderr=subprocess.PIPE,            text=True,            encoding="utf-8",            timeout=timeout,        )        if completed.returncode != 0:            raise RuntimeError(                "Farasa Java 调用失败。\n"                f"命令：{' '.join(cmd)}\n"                f"标准输出：{completed.stdout}\n"                f"错误输出：{completed.stderr}"            )        if not output_file.exists():            raise FileNotFoundError(                "Farasa 没有生成输出文件。请检查 JAR 文件版本和命令行参数。"            )        return output_file.read_text(encoding="utf-8").strip()if __name__ == "__main__":    sample_text = "ذهبت إلى الجامعة الأردنية صباح اليوم."    result = run_farasa_jar(        text=sample_text,        jar_path="./farasa/farasaSeg.jar",    )     print(result)

result = run_farasa_jar(        text="ذهبت إلى الجامعة الأردنية صباح اليوم.",    jar_path="./farasa/Farasa.jar",    farasa_data_dir="./farasa/FarasaData",)

java -version

jar_path="./farasa/farasaSeg.jar"

-Dfile.encoding=UTF-8

encoding="utf-8"

pip install transformers torch arabert

from arabert import ArabertPreprocessor   def preprocess_with_arabert(text: str, model_name: str) -> str:"""使用 AraBERT 官方预处理器处理文本。"""    preprocessor = ArabertPreprocessor(model_name=model_name)    return preprocessor.preprocess(text)  if __name__ == "__main__":    model_name = "aubmindlab/bert-base-arabertv2"    text = "ولن نبالغ إذا قلنا إن اللغة العربية لغة غنية ومعقدة."    processed = preprocess_with_arabert(text, model_name)    print(processed)

import torchfrom transformers import AutoTokenizer, AutoModeldef encode_with_arabert(text: str, model_name: str = "aubmindlab/bert-base-arabertv2"):    """    使用 AraBERT 编码阿语文本。    返回 last_hidden_state。    """    tokenizer = AutoTokenizer.from_pretrained(model_name)    model = AutoModel.from_pretrained(model_name)    inputs = tokenizer(        text,        return_tensors="pt",        truncation=True,        padding=True,    )    model.eval()    with torch.no_grad():        outputs = model(**inputs)    return outputs.last_hidden_stateif __name__ == "__main__":    text = "اللغة العربية لغة ذات نظام صرفي غني."    hidden_states = encode_with_arabert(text)    print(hidden_states.shape)

torch.Size([1, sequence_length, 768])

from transformers import AutoTokenizer, AutoModelForSequenceClassificationdef load_arabert_classifier(    model_name: str = "aubmindlab/bert-base-arabertv2",    num_labels: int = 3,):    """    加载 AraBERT 分类模型结构。    注意：如果使用基础模型，分类头需要训练。    """    tokenizer = AutoTokenizer.from_pretrained(model_name)    model = AutoModelForSequenceClassification.from_pretrained(        model_name,        num_labels=num_labels,    )    return tokenizer, modelif __name__ == "__main__":    tokenizer, model = load_arabert_classifier(num_labels=3)    text = "هذا المنتج ممتاز جدا."    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)    outputs = model(**inputs)    print(outputs.logits)

pip install transformers torch

import torchfrom transformers import AutoTokenizer, AutoModeldef encode_with_marbert(text: str, model_name: str = "UBC-NLP/MARBERT"):    """    使用 MARBERT 编码阿语文本。    返回 last_hidden_state。    """    tokenizer = AutoTokenizer.from_pretrained(model_name)    model = AutoModel.from_pretrained(model_name)    inputs = tokenizer(        text,        return_tensors="pt",        truncation=True,        padding=True,    )    model.eval()    with torch.no_grad():        outputs = model(**inputs)    return outputs.last_hidden_stateif __name__ == "__main__":    text = "الخدمة كتير ممتازة والأسعار مناسبة."    hidden_states = encode_with_marbert(text)    print(hidden_states.shape)

import torchfrom transformers import AutoTokenizer, AutoModelForMaskedLMdef predict_mask_with_marbert(    text: str,    model_name: str = "UBC-NLP/MARBERT",    top_k: int = 5,):    """    使用 MARBERT 对 [MASK] 位置进行预测。    """    tokenizer = AutoTokenizer.from_pretrained(model_name)    model = AutoModelForMaskedLM.from_pretrained(model_name)    inputs = tokenizer(text, return_tensors="pt")    mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]    if len(mask_token_index) == 0:        raise ValueError("输入文本中必须包含 [MASK]。")    model.eval()    with torch.no_grad():        outputs = model(**inputs)    mask_logits = outputs.logits[0, mask_token_index, :]    top_tokens = torch.topk(mask_logits, top_k, dim=1).indices[0].tolist()    return [tokenizer.decode([token]).strip() for token in top_tokens]if __name__ == "__main__":    text = "الجو اليوم [MASK] جدا."    predictions = predict_mask_with_marbert(text)    print(predictions)

原始阿语文本↓CAMeL Tools 规范化↓Farasa 分词或词干提取↓保存为 JSON / CSV / SQLite↓进入统计分析或检索系统

现代标准阿语文本
↓
必要的文本清洗
↓
AraBERT tokenizer
↓
AraBERT 模型
↓
分类器或向量表示

社交媒体文本↓轻度清洗↓MARBERT tokenizer↓MARBERT 模型↓分类器或向量表示

Python 输入文本
↓
写入临时 UTF-8 文件
↓
subprocess 调用 java -jar farasaSeg.jar
↓
读取输出文件
↓
返回 Python 字符串

CAMeL Tools：规范化与基础处理Farasa：分词与词干提取AraBERT：现代标准阿语文本理解MARBERT：方言和社交媒体文本理解