2python之本地模型分科及部署

写在前面的话

不白忙活。这次天津蓟州之行，总体还算不错，不完美的是大宝一直牙疼，买的套票没怎么玩。这次开车去，让我有点挠头，因为拐进山里，有七八公里盘山道，无数个陡弯，开的手心冒汗。我们9点从北京出发，到景点12点半，景区人员热情的说，里面项目比较多，现在进去也可以，但建议明天再来，一个项目要排一个多小时，5点半关门，最多玩两三个项目，不划算。能设身处地的为游客着想，还是挺感动的，第二天进去之后，排队时，工作人员端着盘子送水，送遮阳伞，感觉挺好。尤其，晚上十点多在旅店睡，大宝牙疼，房东大哥开车带着我跑了七八个药店买药，虽说都关门了没买到，但给我的体验特别好。本来想给房东买盒烟，想想算了，下次来了还住他这里就好了，让他不白忙活。我相信，没有白忙活的事，这里得不到回报，会在未来某个节点以回馈，我真的这么认为。

[240+100]--------底部有张生活照(我现在做头条号运营：大家想全托管挂号的联系我哦，每天让你得个汉堡包钱，wx: qhz198607)

【关键词】python、ragflow、本地模型、分科

一、本地模型分科（三级）

描述：现在本地模型分科，基本做出来了，需要把它引入到问询程序中，并且和之前的分科对齐。

开工：

第一步：取出最可能分科（四级）

20250328周五时间段：11:58-12:00

现在跑测试用例，效果如下：

图2a-1

注：两个问题，一是怎么取出数据【消化道科】，二是能不能把科室的embedding向量存起来，不要每次都计算，因为数据是不变的。

第二步：保存向量（四级）

20250328周五时间段：12:11-13:00

对embedding向量实行预计算，程序如下：

    # 类变量，所有实例共享
    _precomputed_departments  = None
    _precomputed_descriptions = None
    _precomputed_embeddings = None

    def __init__(self):
        self.model = SentenceTransformer('all-MiniLM-L6-v2')

        if self.__class__._precomputed_departments is None or \
           self.__class__._precomputed_descriptions is None or \
           self.__class__._precomputed_embeddings is None:
            self._precompute_embeddings()
        else:
            # 直接使用已计算的结果
            self.departments = self.__class__._precomputed_departments
            self.department_descriptions = self.__class__._precomputed_descriptions
            self.department_embeddings = self.__class__._precomputed_embeddings

注：这个进行事先计算，如果不存在重新计算，并保存到类变量中，_precompute_embeddings函数如下：

    def _precompute_embeddings(self):

        # 定义科室及其典型症状描述
        self.departments = {"消化道科": ["腹泻", "呕吐", "拉稀", "食欲不振", "消化不良", "便秘", "便血"],
                            "呼吸科": ["咳嗽", "打喷嚏", "呼吸困难", "喘息", "流鼻涕", "呼吸急促"],
                            "五官科": ["眼睛发红", "耳朵流脓", "耳螨", "眼屎多", "牙龈出血", "口腔溃疡"],
                            "皮肤科": ["皮肤瘙痒", "掉毛", "皮疹", "皮肤红肿", "皮屑", "皮肤溃烂"],
                            "泌尿科": ["尿频", "尿血", "排尿困难", "尿失禁", "尿量异常"],
                            "骨科": ["跛行", "关节肿胀", "不愿走动", "骨折", "关节疼痛"]
                            }

        # 为每个科室生成描述语句
        self.department_descriptions = {
            dept: f"宠物{dept}相关问题，包括但不限于：{', '.join(symptoms)}"
            for dept, symptoms in self.departments.items()
        } 

        # 预先计算所有科室描述的嵌入向量（保持为2D张量）
        self.department_embeddings = {
            dept: self.model.encode(desc, convert_to_tensor=True).unsqueeze(0)
            for dept, desc in self.department_descriptions.items()
        }

        # 保存到类变量
        self.__class__._precomputed_departments = self.departments
        self.__class__._precomputed_descriptions = self.department_descriptions
        self.__class__._precomputed_embeddings = self.department_embeddings

注：接下来，看下怎么取值。

第三步：从数据中取值（四级）

20250328周五时间段：15:18-16:00

返回的值，很奇怪，像集合似的，看下怎么取，数据如下：

[('消化道科', 0.7293846011161804)]

修改程序如下：

图2a-2

注：接下来，就是把数据与分科对齐。

第四步：数据与分科对齐（四级）

20250328周五时间段：15:29-16:00

对齐数据修改如下：

图2a-3

注：接下来，这个数据是分科的，要再来一个意图识别的。通过参数作区分。

第五步：加意图识别数据（四级）

20250328周五时间段：15:37-16:00

这个主要是选关键词，看下大模型能不能生成。需要生成关键词的如下：

    res_res = [    
            '疾病问诊',
            '疫苗接种',
            '用药咨询',
            '在线复诊',
            '驱虫选药',
            '科学养宠',
            '行为异常',
            '检测报告',
            "其它"
    ]

注：问下大模型，结果如下：

图2a-4

注：把这个搞到程序里，后期不准确再优化。速度是第一位的，别墨迹。

接下来，就是根据传的参数不同，把数据进行分开。

第六步：参数分开（四级）

20250328周五时间段：16:33-17:00

根据接口传参是意图识别还是分科，把向量数据分开，修改程序如下：

图2a-5

注：先设两个变量，再根据参数传参数，来决定用哪一个，如下：