pip install pandas numpy scikit-learn nltk gensim

import osimport pandas as pdimport numpy as npfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.model_selection import train_test_splitimport nltkfrom nltk.corpus import stopwordsfrom nltk.stem import PorterStemmerclass DocumentClassifier:    """文档分类器基类"""    def __init__(self, data_path=None):        self.data_path = data_path        self.vectorizer = TfidfVectorizer(max_features=5000)        self.classifier = MultinomialNB()        self.setup_nltk()    def setup_nltk(self):        """设置NLTK环境"""        try:            nltk.data.find('tokenizers/punkt')        except LookupError:            nltk.download('punkt')        try:            nltk.data.find('corpora/stopwords')        except LookupError:            nltk.download('stopwords')    def load_documents(self, file_pattern="*.txt"):        """加载文档数据"""        import glob        documents = []        labels = []        for file_path in glob.glob(os.path.join(self.data_path, file_pattern)):            try:                with open(file_path, 'r', encoding='utf-8') as f:                    content = f.read()                    documents.append(content)                    # 从文件名或路径提取标签                    label = self.extract_label_from_path(file_path)                    labels.append(label)            except Exception as e:                print(f"读取文件失败 {file_path}: {str(e)}")                continue        return documents, labels    def preprocess_text(self, texts):        """文本预处理"""        processed_texts = []        stemmer = PorterStemmer()        stop_words = set(stopwords.words('english'))        for text in texts:            # 转换为小写            text = text.lower()            # 移除非字母字符            text = re.sub(r'[^a-zA-Z\s]', '', text)            # 分词并去除停用词            words = text.split()            words = [stemmer.stem(word) for word in words if word not in stop_words]            processed_texts.append(' '.join(words))        return processed_texts# 使用示例def basic_classification_demo():    """基础分类演示"""    classifier = DocumentClassifier('documents/')    # 加载和预处理文档    documents, labels = classifier.load_documents()    processed_docs = classifier.preprocess_text(documents)    # 划分训练测试集    X_train, X_test, y_train, y_test = train_test_split(        processed_docs, labels, test_size=0.2, random_state=42    )    # 特征提取    X_train_vec = classifier.vectorizer.fit_transform(X_train)    X_test_vec = classifier.vectorizer.transform(X_test)    # 训练分类器    classifier.classifier.fit(X_train_vec, y_train)    # 评估模型    accuracy = classifier.classifier.score(X_test_vec, y_test)    print(f"分类准确率: {accuracy:.2%}")    return classifierif __name__ == "__main__":    basic_classification_demo()

class AdvancedDocumentClassifier(DocumentClassifier):    """高级文档分类器"""    def __init__(self, data_path=None):        super().__init__(data_path)        self.models = {}        self.setup_advanced_features()    def setup_advanced_features(self):        """设置高级特征"""        from sklearn.ensemble import RandomForestClassifier        from sklearn.svm import SVC        from sklearn.neural_network import MLPClassifier        self.models = {            'naive_bayes': MultinomialNB(),            'random_forest': RandomForestClassifier(n_estimators=100),            'svm': SVC(kernel='linear'),            'neural_network': MLPClassifier(hidden_layer_sizes=(100, 50))        }    def extract_advanced_features(self, texts):        """提取高级特征"""        features = []        for text in texts:            text_features = {}            # 文本长度特征            text_features['length'] = len(text)            text_features['word_count'] = len(text.split())            text_features['avg_word_length'] = np.mean([len(word) for word in text.split()])            # 词汇丰富度            unique_words = set(text.split())            text_features['vocab_richness'] = len(unique_words) / len(text.split()) if text.split() else 0            # 主题特征（简单版）            text_features['contains_digital'] = any(char.isdigit() for char in text)            text_features['contains_money'] = any(keyword in text for keyword in ['$', 'USD', 'money', 'price'])            features.append(list(text_features.values()))        return np.array(features)    def train_ensemble_model(self, texts, labels):        """训练集成模型"""        from sklearn.ensemble import VotingClassifier        # 文本特征        text_features = self.vectorizer.fit_transform(texts)        # 高级特征        advanced_features = self.extract_advanced_features(texts)        # 组合特征        from scipy.sparse import hstack        combined_features = hstack([text_features, advanced_features])        # 创建集成模型        ensemble_model = VotingClassifier(            estimators=[                ('nb', self.models['naive_bayes']),                ('rf', self.models['random_forest']),                ('svm', self.models['svm'])            ],            voting='soft'        )        # 训练模型        ensemble_model.fit(combined_features, labels)        return ensemble_model# 使用示例def advanced_classification_demo():    """高级分类演示"""    classifier = AdvancedDocumentClassifier('enterprise_documents/')    # 模拟企业文档数据    documents = [        "2024年第一季度财务报表显示收入增长15%",        "人力资源部招聘计划需要审批",        "技术部门产品开发进度报告",        "市场营销活动预算申请报告"    ]    labels = ['财务', '人力资源', '技术', '市场']    # 训练模型    model = classifier.train_ensemble_model(documents, labels)    # 测试新文档    test_docs = ["需要审批新的招聘预算", "技术团队开发完成情况"]    test_features = classifier.vectorizer.transform(test_docs)    test_advanced = classifier.extract_advanced_features(test_docs)    from scipy.sparse import hstack    test_combined = hstack([test_features, test_advanced])    predictions = model.predict(test_combined)    print(f"预测结果: {predictions}")    return classifier, model

class EnterpriseDocumentSystem(AdvancedDocumentClassifier):    """企业级文档管理系统"""    def __init__(self, config):        super().__init__(config.get('data_path'))        self.config = config        self.setup_storage_system()        self.setup_workflow_engine()    def setup_storage_system(self):        """设置存储系统"""        self.storage_backend = self.config.get('storage', 'local')        self.archive_rules = self.config.get('archive_rules', {})    def setup_workflow_engine(self):        """设置工作流引擎"""        self.workflow_stages = {            'upload': self.process_upload,            'classify': self.process_classification,            'review': self.process_review,            'archive': self.process_archiving        }    def process_document_workflow(self, file_path):        """处理文档工作流"""        try:            # 1. 上传阶段            doc_info = self.workflow_stages['upload'](file_path)            # 2. 分类阶段            classification_result = self.workflow_stages['classify'](doc_info['content'])            # 3. 审核阶段            if classification_result['confidence'] < 0.8:                review_result = self.workflow_stages['review'](doc_info, classification_result)                classification_result = review_result            # 4. 归档阶段            archive_path = self.workflow_stages['archive'](doc_info, classification_result)            return {                'status': 'success',                'document_id': doc_info['id'],                'category': classification_result['category'],                'archive_path': archive_path            }        except Exception as e:            print(f"文档处理失败: {str(e)}")            return {'status': 'error', 'message': str(e)}    def intelligent_archiving(self, document_info, category):        """智能归档"""        import datetime        import shutil        # 根据分类规则确定存储路径        base_path = self.config.get('archive_root', './archive')        year = datetime.datetime.now().year        month = datetime.datetime.now().month        # 构建归档路径        archive_path = os.path.join(base_path, category, str(year), f"{month:02d}")        os.makedirs(archive_path, exist_ok=True)        # 生成唯一文件名        filename = f"{document_info['id']}_{os.path.basename(document_info['path'])}"        target_path = os.path.join(archive_path, filename)        # 移动文件        shutil.move(document_info['path'], target_path)        # 更新元数据        self.update_document_metadata(document_info['id'], {            'archive_path': target_path,            'archived_at': datetime.datetime.now(),            'category': category        })        return target_path# 使用示例def enterprise_system_demo():    """企业级系统演示"""    config = {        'data_path': '企业文档库/',        'storage': 'local',        'archive_rules': {            '财务': {'retention_years': 10, 'access_level': 'high'},            '人力资源': {'retention_years': 7, 'access_level': 'medium'},            '技术': {'retention_years': 5, 'access_level': 'medium'},            '市场': {'retention_years': 3, 'access_level': 'low'}        },        'archive_root': '/企业归档/'    }    doc_system = EnterpriseDocumentSystem(config)    # 处理新文档    result = doc_system.process_document_workflow('新文档.pdf')    print(f"文档处理结果: {result}")    return doc_system

Sub BasicDocumentClassification()    ' 基础文档分类    On Error GoTo ErrorHandler    Application.ScreenUpdating = False    Application.Calculation = xlCalculationManual    Dim ws As Worksheet    Dim rulesWs As Worksheet    Dim fileList As Range    Dim i As Long    Set ws = ThisWorkbook.Sheets("文档列表")    Set rulesWs = ThisWorkbook.Sheets("分类规则")    ' 获取文件列表    Dim lastRow As Long    lastRow = ws.Cells(ws.Rows.Count, "A").End(xlUp).Row    ' 应用分类规则    For i = 2 To lastRow        Dim fileName As String        Dim fileContent As String        Dim category As String        fileName = ws.Cells(i, 1).Value        fileContent = GetFileContent(ws.Cells(i, 2).Value)  ' 文件路径在B列        ' 基于规则分类        category = ClassifyByRules(fileName, fileContent, rulesWs)        ws.Cells(i, 3).Value = category  ' 分类结果在C列        ' 记录分类日志        ws.Cells(i, 4).Value = Now  ' 时间戳在D列    Next i    Application.ScreenUpdating = True    Application.Calculation = xlCalculationAutomatic    MsgBox "文档分类完成！共处理 " & (lastRow - 1) & " 个文档", vbInformation    Exit SubErrorHandler:    Application.ScreenUpdating = True    Application.Calculation = xlCalculationAutomatic    MsgBox "分类过程出错: " & Err.Description, vbCriticalEnd SubFunction ClassifyByRules(fileName As String, fileContent As String, rulesWs As Worksheet) As String    ' 基于规则分类    Dim rulesRange As Range    Dim ruleRow As Long    Set rulesRange = rulesWs.Range("A2:B" & rulesWs.Cells(rulesWs.Rows.Count, "A").End(xlUp).Row)    For Each ruleRow In rulesRange.Rows        Dim keyword As String        Dim category As String        keyword = ruleRow.Cells(1, 1).Value        category = ruleRow.Cells(1, 2).Value        ' 检查文件名和内容中是否包含关键词        If InStr(1, fileName, keyword, vbTextCompare) > 0 Or _           InStr(1, fileContent, keyword, vbTextCompare) > 0 Then            ClassifyByRules = category            Exit Function        End If    Next ruleRow    ' 默认分类    ClassifyByRules = "未分类"End Function

Class AdvancedDocumentManager    ' 高级文档管理器    Private classificationRules As Collection    Private fileSystem As Object    Public Sub Initialize()        Set classificationRules = New Collection        Set fileSystem = CreateObject("Scripting.FileSystemObject")        Call LoadClassificationRules    End Sub    Private Sub LoadClassificationRules()        ' 加载分类规则        Dim ws As Worksheet        Set ws = ThisWorkbook.Sheets("智能规则")        Dim lastRow As Long        lastRow = ws.Cells(ws.Rows.Count, "A").End(xlUp).Row        Dim i As Long        For i = 2 To lastRow            Dim rule As ClassificationRule            Set rule = New ClassificationRule            rule.Keyword = ws.Cells(i, 1).Value            rule.Category = ws.Cells(i, 2).Value            rule.Priority = ws.Cells(i, 3).Value            rule.Confidence = ws.Cells(i, 4).Value            classificationRules.Add rule        Next i    End Sub    Public Function SmartClassifyDocument(filePath As String) As ClassificationResult        ' 智能文档分类        Dim result As ClassificationResult        Set result = New ClassificationResult        Dim fileContent As String        fileContent = ReadFileContent(filePath)        Dim bestMatch As ClassificationRule        Dim highestScore As Double        highestScore = 0        Dim rule As ClassificationRule        For Each rule In classificationRules            Dim score As Double            score = CalculateMatchScore(rule, fileContent)            If score > highestScore Then                highestScore = score                Set bestMatch = rule            End If        Next rule        If highestScore > 0.3 Then  ' 置信度阈值            result.Category = bestMatch.Category            result.Confidence = highestScore            result.IsConfident = True        Else            result.Category = "需要人工审核"            result.Confidence = highestScore            result.IsConfident = False        End If        Set SmartClassifyDocument = result    End Function    Private Function CalculateMatchScore(rule As ClassificationRule, content As String) As Double        ' 计算匹配分数        Dim keywordCount As Integer        keywordCount = CountOccurrences(content, rule.Keyword)        Dim baseScore As Double        baseScore = keywordCount * 0.1 * rule.Priority        ' 应用置信度调整        CalculateMatchScore = baseScore * rule.Confidence    End FunctionEnd Class

class KnowledgeBaseClassifier(EnterpriseDocumentSystem):    """知识库智能分类系统"""    def __init__(self, kb_config):        super().__init__(kb_config)        self.knowledge_categories = kb_config.get('categories', [])        self.setup_knowledge_graph()    def setup_knowledge_graph(self):        """设置知识图谱"""        self.entity_extractor = EntityExtractor()        self.relation_miner = RelationMiner()        self.graph_builder = GraphBuilder()    def extract_document_entities(self, document_path):        """提取文档实体"""        content = self.read_document_content(document_path)        entities = self.entity_extractor.extract(content)        return {            'persons': entities.get('PERSON', []),            'organizations': entities.get('ORG', []),            'dates': entities.get('DATE', []),            'topics': entities.get('TOPIC', [])        }    def multi_dimension_classification(self, document_path):        """多维度分类"""        # 内容分类        content_category = self.content_based_classification(document_path)        # 实体分类        entity_categories = self.entity_based_classification(document_path)        # 元数据分类        metadata_category = self.metadata_based_classification(document_path)        # 综合分类结果        final_category = self.ensemble_classification([            content_category, entity_categories, metadata_category        ])        return final_category    def build_knowledge_graph(self, documents):        """构建知识图谱"""        knowledge_graph = {}        for doc_path in documents:            entities = self.extract_document_entities(doc_path)            doc_id = self.generate_document_id(doc_path)            knowledge_graph[doc_id] = {                'entities': entities,                'relations': self.relation_miner.find_relations(entities),                'categories': self.multi_dimension_classification(doc_path)            }        return self.graph_builder.build_graph(knowledge_graph)# 使用示例def knowledge_base_demo():    """知识库案例演示"""    kb_config = {        'data_path': '企业知识库/',        'categories': ['技术', '市场', '销售', '人力资源', '财务', '管理'],        'storage': 'cloud',        'archive_rules': {            '技术': {'retention': 'permanent', 'access': 'technical'},            '财务': {'retention': '10_years', 'access': 'financial'}        }    }    kb_system = KnowledgeBaseClassifier(kb_config)    # 处理知识库文档    documents = ['技术文档.pdf', '财务报告.docx', '市场分析.pptx']    knowledge_graph = kb_system.build_knowledge_graph(documents)    print("知识库分类系统构建完成！")    return kb_system, knowledge_graphif __name__ == "__main__":    kb_system, graph = knowledge_base_demo()