pip install jieba

import jiebatext = "我爱自然语言处理技术"# 精确模式（默认）print("精确模式:", "/ ".join(jieba.cut(text)))# 精确模式: 我/ 爱/ 自然语言/ 处理/ 技术# 全模式print("全模式:", "/ ".join(jieba.cut(text, cut_all=True)))# 全模式: 我/ 爱/ 自然/ 自然语言/ 语言/ 处理/ 技术# 搜索引擎模式print("搜索引擎模式:", "/ ".join(jieba.cut_for_search(text)))# 搜索引擎模式: 我/ 爱/ 自然/ 语言/ 自然语言/ 处理/ 技术

词语 [词频] [词性]

冠状动脉 2000 n血小板减少症 1800 nMRI检查 1500 n

# 添加自定义词典# 文件格式：词语 词频(可选) 词性(可选)jieba.load_userdict("userdict.txt")  # 动态调整词典jieba.add_word("自然语言处理", freq=20000, tag='n')jieba.del_word("某个词")# 调整词频jieba.suggest_freq(("自然语言", "处理"), tune=True)

import jieba.posseg as psegwords = pseg.cut(text)for word, flag in words:    print(f"{word}({flag})", end=" ")# 我(r) 爱(v) 自然语言(l) 处理(v) 技术(n)

from jieba import analyse# TF-IDF关键词提取# 可自定义IDF语料库# analyse.set_idf_path("idf.txt")  tfidf_result = analyse.extract_tags(text, topK=5, withWeight=True, allowPOS=('n', 'nr'))print('tfidf_result', tfidf_result)# tfidf_result [('技术', 4.71945717857)]# TextRank关键词提取textrank_result = analyse.textrank(text, topK=5, withWeight=True)print('textrank_result', textrank_result)# textrank_result [('技术', 1.0), ('处理', 0.9961264494011037)]

result = jieba.tokenize(text)for tk in result:    print(f"word:{tk[0]} start:{tk[1]} end:{tk[2]}")

word:我 start:0 end:1word:爱 start:1 end:2word:自然语言 start:2 end:6word:处理 start:6 end:8word:技术 start:8 end:10

pip install -U jiagu

import jiagutext = "深度学习是人工智能的核心技术"words = jiagu.seg(text)print(words)

# 加载自定义词典jiagu.load_userdict('userdict.dict')# jiagu.load_userdict(['汉服和服装'])

pos = jiagu.pos(words)print(pos)

ner = jiagu.ner(text)print(ner)

# 提取3个关键词keywords = jiagu.keywords(text, 3)  print(keywords)

import jiagutext = '姚明1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理。'knowledge = jiagu.knowledge(text)print(knowledge)

import jiaguwith open('input.txt', 'r', encoding='utf-8') as f:    text = f.read()# 摘要summarize = jiagu.summarize(text, 3)  print(summarize)

import jiagu# 根据文本，利用信息熵做新词发现。jiagu.findword('input.txt', 'output.txt') 

import jiagutext = '我不喜欢吃苹果。'sentiment = jiagu.sentiment(text)print(sentiment)

import jiagudocs = [    "苹果是一种常见的水果，富含维生素和膳食纤维",    "香蕉是热带水果，含有丰富的钾元素，有助于缓解疲劳",    "水果分类研究：浆果、核果和柑橘类水果的营养价值比较",    "如何挑选新鲜的水果？从颜色、气味和硬度三个方面教你选购技巧",    "芒果的栽培技术及病虫害防治方法分享",    "不同成熟度的水果在储存过程中糖分和酸度的变化研究",    "水果榨汁与直接食用的营养差异分析",    "进口水果与本地水果在价格和口感上的对比评测"]cluster = jiagu.text_cluster(docs)for group_id, values in cluster.items():    print(group_id, values)

pip install snownlp

from snownlp import SnowNLPtext = "这个电影真的很棒！剧情跌宕起伏，引人入胜，我很喜欢。"s = SnowNLP(text)print("分词:", list(s.words))

print("词性标注:", list(s.tags))

print("拼音:", list(s.pinyin))

# 0-1之间，越接近1表示越积极print("情感分数:", s.sentiments)  

text='學習程式設計讓我的生活更豐富多彩's = SnowNLP(text)traditional = s.hanprint("简体字:", traditional)# 简体字: 学习程式设计让我的生活更丰富多彩

print("关键词:", s.keywords(3))

print("摘要:", s.summary(3))

pip install thulac

import thulac# 默认模式thu = thulac.thulac()text = "我爱北京天安门"# 分词result = thu.cut(text)print(result)# 仅分词thu = thulac.thulac(seg_only=True)print(thu.cut(text))

import thulacthu = thulac.thulac()text = "清华大学自然语言处理实验室"seg_result = thu.cut(text)print(seg_result)# [['清华大学', 'ni'], ['自然', 'n'], ['语言', 'n'], ['处理', 'v'], ['实验室', 'n']]seg_result = thu.cut(text, text=True).split()print(seg_result)# ['清华大学_ni', '自然_n', '语言_n', '处理_v', '实验室_n']

pip install LAC

from LAC import LAC# 初始化模型（默认会下载模型文件）lac = LAC(mode='seg') # 分词text = "百度是一家高科技公司"result = lac.run(text)print(result)  # ['百度', '是', '一家', '高科技', '公司']# 批量样本输入texts = ["百度是一家高科技公司", "阿里巴巴是一家高科技公司", "腾讯是一家高科技公司"]results = lac.run(texts)print(results)

# 装载LAC模型lac = LAC(mode='lac')# 单个样本输入result = lac.run(text)print(result)# [['百度', '是', '一家', '高科技', '公司'], ['ORG', 'v', 'm', 'n', 'n']]

# 词语重要性lac = LAC(mode='rank')result = lac.run(text)print(result)# [['百度', '是', '一家', '高科技', '公司'], ['ORG', 'v', 'm', 'n', 'n'], [3, 0, 2, 3, 1]]

# 装载自定义词典，sep参数表示词典文件采用的分隔符，为None时默认使用空格或制表符'\t'lac.load_customization('custom.txt', sep=None)# 使用自定义词典进行分词result = lac.run(text)