一、安必康复方丹参片产品介绍
1、品名：安必康复方丹参片(0大含量.8克*90片，薄膜衣)。
2、主要成分：丹参、三七、冰片。
3、主治：活血化瘀，理气止痛。用于气滞血瘀所致的胸痹，症见胸闷、心前区刺痛；冠心病心绞痛见上述证候者。冠心病心绞痛必备药品，高血压必配产品。
4、规格：0.8g*90片，独有大含量0.8克，一次只需吃一片，一片顶其他的三片，一瓶90片，一瓶可以吃30天。
5、用法用量：口服，1次1片，1日3次，服用方便。
6、有效期：36个月。
二、产品定位
1、绝对控销：打造区域控销黄金爆品，市场唯一控销大含量的复方丹参片，每盒都有放心码，市场严格保护。
2、质量高标准把控，质量可追溯，为冠心病心绞痛的患者提供高质量的产品和专业的爱游戏平台的解决方案。
3、一街一店，一镇一店，确保终端独家经营，为终端提供高毛利的上量大品种，帮助终端引流，引入更多的冠心病心绞痛的患者成为终端的忠实客户。
三、安必康复方丹参片产品特点
1、独有大含量，每片0.8克
独有大含量：每片0.8克，高含量，一次只吃一片，服用方便，一片胜过三片(市场上其它的复方丹参片，每片为0.3g左右，一次需吃三片)。
2、一盒一码，每盒都有追溯码，质量可追溯，安全可靠。
每一盒都有不同的唯一的放心码，质量可追溯，疗效有保障，可追溯销售路径，区域保护，窜货可查，独家销售，统一售价。
3、服用方便，一次一片，椭圆形，易吞服
服用方法：高含量一次只需一片，服用方便。椭圆形，易吞服。
对比图：安必康复方丹参片(椭圆形)、其他产品圆形、书写笔。
4、薄膜衣片，不含糖
薄膜衣片不但具有防潮、避光、掩味、耐磨，且不易产生裂片、花班，易于崩解，大大提高了药物的溶出度、生物利用度、药物保存的有效，提高了药效。
5、有效期长，36个月
有效期36个月，质量稳定，易保存。
6、经典配方，科学配伍，纯中药制剂，副作用小
复方丹参片由丹参、三七和冰片组成，是临床上常用的中药制剂，副作用小。
(1)具有活血化瘀、理气止痛、安心宁神的功效。
(2)主要用于气滞血瘀所致的胸痹。
(3)症见胸闷、心前区刺痛，冠心病心绞痛等症候。
丹参
(1)现代医学研究和临床实践表明，丹参有扩张冠状动脉，增加冠状动脉血流量、减慢心率，改善心肌缺氧之功效，常用于治疗冠心病、心绞痛、胸闷、心悸等症。
(2)可治疗心肌梗塞、心肌炎，可改善急性症状和心电图缺血性改变。
(3)丹参可抑制血小板凝集、抑制血小板的释放反应、降低血粘度、降低血脂，可治疗高粘滞血症。
(4)丹参有凉血作用，又能养血安神，补心定志，安神宁心，起镇静和安定作用，可除心烦、用于高热、烦躁不安。
(5)丹参通脉养血，活血化瘀，调经血，故可治疗妇女月经不调、闭经、产后瘀滞腹痛以及肢体疼痛等症。
(6)丹参具有降低血糖作用，常服可预防和治疗糖尿病。丹参能改善肝功能，对早期肝硬化、肝脾肿大、肝炎皆有一定疗效。
三七
(1)明代著名的药学家李时珍称其为“金不换”。清朝药学著作《本草纲目拾遗》中记载：“三七补血第一。
(2)”其最大功效为止血、散瘀、消肿和定痛，能扩血管、降血压、抗心肌缺血和抗心律失常。
1912年版《中国医药大辞典》记载：
(1)三七功用补血，去瘀损，止血衄，能通能补，功效最良，是方药中之最珍贵者。三七生吃，去瘀生新，消肿定痛，并有止血不留瘀血，行血不伤新的优点；熟服可补益健体。
(2)扩张血管的作用。
(3)有较强的镇痛作用，具有抗疲劳、提高学习和记忆能力的作用。
(4)抗炎症作用。
(5)具有免疫调节剂的作用，能使过高或过低的免疫反应恢复到正常，但不干扰机体正常的免疫反应。
(6)抗肿瘤作用；抑制疤痕增生。
(7)抗衰老、抗氧化作用。
(8)降低血脂及胆固醇作用。
(9)保护肝脏。
冰片
采用特级冰片，提高药效同时又减少了对胃的刺激，通诸窍、散郁火、去翳明目、消肿止痛。
1.片具有抗炎作用。所含龙脑、异龙脑均能显著抑制蛋清所致的大鼠足跟肿胀。
2．抗心肌缺血作用冰片能使离体豚鼠心脏冠脉流量增加，以冰片苏合香组成的苏冰滴丸可使心肌梗死犬冠窦血流量明显增加，并减慢心率，降低心肌耗氧量。对垂体后叶素所致心肌营养性血流量降低和心肌超微结构改变，苏冰滴丸有对抗和保护作用。临床上苏冰滴丸有缓解心绞痛的作用。
3．抗菌作用 冰片对葡萄球菌、链球菌，肺炎双球菌、大肠杆菌等有抑制作用。对部分致病性皮肤真菌亦有明显抑制作用。
4．止痛、防腐作用 冰片有局部镇痛作用，外用时对感觉神经末梢有轻微刺激作用，同时呈现局部温和的止痛效果。此外，0．5％冰片可抑菌，而具有温和的防腐作用。
7、道地药材，有效含量远高于药典标准
成份药典标准每片含量安必康复方丹参片每片含量丹参酮ⅱa(c19h18o3)的含量0.60mg1.0mg丹酚酸b的含量15.0mg24.0mg三七以人参皂苷rg1(c42h72o14)、人参皂苷rb1(c54h922o23)、三七皂苷r1(c47h80o18)及人参皂苷re(c48h82o18)的总量18.0mg23.50mg
丹参：主要来源于方城丹参。有效成分丹参酮ⅱa、丹酚酸b都远高于药典标准。
三七：来源云南三七原产地文山,三七用药经过严格挑选，采用优质的文山三七入药，三七有效成份含量远远高于出药典标准。
8、?投料足，效果好
安必康复方丹参片含量达到0.8克/粒，丹参含量更是高达75%以上，投料足，含量高，效果好，一次只需吃一片。
9、先进工艺，包装精美
(1)“指纹图谱”技术控制生产，严格按照药典要求进行投料和按照新版gmp标准生产，提升产品品质，生产技术先进。
(2)包装大气漂亮，双面防伪标志，适合终端陈列，便于推荐。
四、复方丹参片用途广泛，心脑血管患者2.9亿人。冠心病心绞痛必备，高血压必配
1、冠心病(心绞痛)：具有活血化瘀、芳香开窍、理气止痛的功效，主要用于冠心病的胸闷、心绞痛等，是一味活血化瘀、理气止痛的心血管常用中成药。
2、支气管哮喘：治疗支气管哮喘作用与西药酮替芬比较疗效相当，并且可使血清ige含量显著下降，体液免疫功能得以改善，并能改善患者的微循环障碍，无明显副作用。动物实验发现，丹参具有良好的防治哮喘作用，机理在于抗过敏及稳定肥大细胞膜。服用7天为一个疗程。
3、三叉神经痛：对舌质紫暗、疼痛久治不愈者，复方丹参片6天为一疗程。?
4、痛经：口服，连服20天为一疗程，隔10天再进行第二个疗程的治疗。间隔时间最好是行经期，以免影响行经。
5、消化性溃疡：胃脘隐痛、久病不愈、舌质紫暗者，用复方丹参片7天为一疗程。?
6、风湿热伴风湿性心脏病：病人出现心慌、气短、胸痛、乏力、低热等症状时，可用复方丹参片，7天为一个疗程。?
7、结节性多发性动脉炎：当出现气滞血瘀、脉络闭塞证，如肌肉关节酸痛及皮下结节时，在用泼尼松的基础上加复方丹参片，10天为一个疗程。
8、病毒性心肌炎：表现气血两虚时，复方丹参片加生脉饮同服，复方丹参片，7天为一个疗程。?
9、浅层巩膜炎：复方丹参片口服，每次1片，每日3次。
10、色素性紫癜性皮肤病：复方丹参片口服，每次1-2片，每日早晚各1次，温开水送服，八珍益母片，每次6片，与复方丹参片同服。连接服用1个月为一疗程，一般于服药10天左右出现效果。
11、冻疮和急性软组织损伤：取本品适量碾碎，用酒或醋调成糊状，敷患处，纱布覆盖，胶布固定，每日换药1～2次至痊愈，软组织损伤严重者可口服。
五、安必康复方丹参片联合用药
1、冠心病(心绞痛)：复方丹参片 ?银杏叶片、复方丹参片 酒石酸美托洛尔片、复方丹参片 硝酸甘油
2、高血压：降血压药(硝苯地平、复方利血平、苯磺酸氨氯地平等) 复方丹参片
六、注意事项
? 需要注意的是，患者若长期服用复方丹参片可使其血中的含钾量降低。因此，人们在服用复方丹参片的过程中应注意适当地补钾，可经常吃一些富含钾的食物，如香蕉、马铃薯、海带等。
?
商 品 名：印度易瑞沙（gefitinib）；
通 用 名：吉非替尼片 ；
产品规格：0.25g*30片/盒（薄膜衣片） ；
产品成份：吉非替尼gefitinib ；
<
目录
华佗：bentsao相关工作华佗模型实验
huatuogpt动机爱游戏平台的解决方案混合数据的sft基于ai反馈的rl
医学中的llm指令微调
华佗：bentsao
大型语言模型（llm），如llama模型，已经证明了它们在各种通用领域自然语言处理（nlp）任务中的有效性。尽管如此，llm在生物医学领域的任务中还没有得到最佳的执行，因为需要医学专业知识。为了应对这一挑战，作者提出华驼，一个基于llama的模型，该模型已经用qa实例进行了监督和微调。实验结果表明，华佗具有更可靠的医学知识。
来自：huatuo (华驼): tuning llama model with chinese medical knowledge
以chatgpt为代表的instruction-following大型语言模型（llm），由于其在理解指令和生成类人语言方面的卓越表现，引起了人们的极大兴趣。与较小的模型相比，llm在各种自然语言处理（nlp）任务中表现出强大的泛化能力，并在解决unseen或其他复杂任务方面表现出独特的能力。尽管chatgpt处于非开源状态，但开源社区已经提供了几种替代方案，如llama（llama: open and efficient foundation language models），其训练成本相对较低。
然而，尽管llm有许多优点，但它们并不是专门为医疗领域而设计的。在涉及这些专业领域时，他们的领域知识往往不足，而准确和特定领域的专家知识至关重要。这会导致次优的诊断准确性，药物推荐，医疗建议，并危及到患者。很少有人努力解决这个问题，现有的方法主要集中在向llm提供从对话中检索到的医疗信息，而在对话中，人为错误可能会更频繁地发生。此外，llm通常接受英语训练，这限制了他们在与英语显著不同的语言中（如汉语）的理解能力，导致在汉语环境中的直接应用不理想。
因此，华驼是为生物医学领域量身定制的llm，专注于中文。通过基于cmekg的医学知识生成不同的指令数据，作者强调确保模型在响应中事实的正确性，这在生物医学领域至关重要。通过这个过程，收集了8000多个指令数据，用于监督微调。模型建立在开源llama-7b的基础上，集成了来自中国医学知识图谱（cmekg）的结构化和非结构化医学知识，并使用基于知识的指令数据进行微调。
相关工作
大型语言模型：llm的最新进展已经证明了它们优于前一代范式，如预训练和微调。模型规模的显著增加导致llm发生了质的变化。其中包括针对零样本任务的上下文学习，以及增强模型在复杂任务中的性能的思想链。openai对chatgpt和gpt-4的开发彻底改变了人类对llm的认知。尽管这些模型表现出了显著的性能，但openai尚未披露有关其训练策略或权重参数的细节。llama是gpt的开源替代方案，参数大小从70亿到650亿不等。taori等人在llama的基础上通过指令调整训练了alpaca。
虽然llama的性能与gpt-3.5相当，但由于其训练数据主要局限于英语语料库，因此其在中文任务上的性能较差。为了解决涉及中文的具体应用，du等人，zeng等人提出了glm，这是一个1300亿参数的自回归预训练模型，具有多个训练目标。chatglm进一步结合了代码训练，并通过监督微调与人类意图保持一致，为中文上下文提供了量身定制的爱游戏平台的解决方案。
医学领域的预训练模型：尽管大语言模型（llm）在一般领域表现出显著的性能，但它们缺乏特定领域的知识，导致在生物医学等需要专业知识的领域表现不佳。生物医学领域的固有性质要求模型拥有相关查询的全面知识库，特别是当应用于患者寻求健康和医疗建议的情况时。为了使llm适应生物医学领域，目前已经做出了一些努力。
现有的方法主要使用chatgpt进行辅助，并使用其提炼或翻译的知识来训练较小的模型。chatdoctor首次尝试通过使用通过chatgpt合成的会话演示来微调llama，从而使llm适用于生物医学领域。doctorglm利用chatglm-6b作为基础模型，并通过chatgpt获得的chatdoctor数据集的中文翻译对其进行微调。此外，chen等人在他们的llm集合中开发了一个中文和医学增强语言模型。总之，这些工作说明了llm在生物医学领域成功应用的潜力。
华佗模型
llama是一个多语言基础模型的集合，参数从70亿到650亿不等，对研究界来说是开源的。在这里，作者采用了llama-7b模型来进行更方便的训练。
医学知识种类繁多，通常包括：
像医学知识图谱这样的结构化医学知识像医学指南这样的非结构化医学知识。
作者使用了中文医学知识图谱cmekg，该图谱还提供了可检索到的有关疾病、药物、症状等医学知识。表1显示了cmekg知识库中的几个知识案例。
表1：cmekg知识案例
类型中文知识知识翻译到英语disease（疾病）{“class”: “百种常见病”, “中心词”: “肝 癌”, “药物治疗”: [“瑞格非尼”, “对乙型 或丙型肝炎有效的抗病毒药物”, “索拉 非尼”], “多发地区”: [“撒哈拉以南的非 洲”], “高危因素”: [“肥胖”, “hbv dna过 高”, “慢性酗酒”, “男性”, “慢性乙型肝 炎感染”, “肝癌家族史”, “慢性丙型肝 炎肝硬化”, “核心启动子突变”, “肝硬 化”, “hcv重叠感染”, “老年性心瓣膜病”, “乙型肝炎e抗原”, “糖尿病”],“发病部位”: [“肝脏”], “辅助检查”: [“肝功能检查”], “病史”: [“长期慢性乙肝病史”]}{“class”: “common diseases”, “key word”: “liver cancer”, “drug treatment”: [“regorafenib”, “antiviral drugs effective against hepatitis b or c”, “sorafenib”], “high prevalence regions”: [“sub-saharan africa”], “high risk factors”: [“obesity”, “high hbv dna levels”, “chronic alcoholism”, “male gender”, “chronic hepatitis b infection”, “family history of liver cancer”, “cirrhosis due to chronic hepatitis c”, “core promoter mutation”, “liver cirrhosis”, “hcv co-infection”, “senile valvular heart disease”, “hepatitis b e antigen”, “diabetes”], “affected area”: [“liver”], “auxiliary examination”: [“liver function test”], “medical history”: [“long-term history of chronic hepatitis b”]}drug（药物）{ “class”: “西药”, “中心词”: “二甲双胍”, “性状”: [“糖衣或薄膜衣片，除去包衣 后显白色”], “英文名称”: [“异福片”, “格 华止”], “分类”: [“双胍类”, “抗结核病 药”], “规格”: [“0.25g”], “otc类型”: [“乙 类otc”, “甲类otc”], “适应证”: [“糖尿 病”, “肥胖”], “通用名”: [“异福片”], “成 份”: [“利福平及异烟肼”, “异烟肼”, “异 烟肼0.1克”, “异烟肼150毫克”, “本品为 复方制剂”, “利福平”, “利福平300毫克”, “利福平0.15克”, “盐酸二甲双胍”, “盐 酸”]}{ “class”: “western medicine”, “key word”: “metformin”, “appearance”: [“sugarcoated or film-coated tablets, white after removal of coating”], “english names”: [“yifupian”, “gehuazhi”], “classification”: [“biguanide class”, “anti-tuberculosis drug”], “specifications”: [“0.25g”], “otc types”: [“otc class b”, “otc class a”], “indications”: [“diabetes”, “obesity”], “generic name”: [“yifupian”], “ingredients”: [“isoniazid and pyrazinamide”, “pyrazinamide”, “0.1g pyrazinamide”, “150mg pyrazinamide”, “this product is a compound preparation”, “isoniazid”, “300mg isoniazid”, “0.15g isoniazid”, “metformin hydrochloride”, “hydrochloride”]}symptom（症状）{ “中心词”: “毛发脱落”, “检查”: [“毛发 矿物质检查”], “相关疾病”: [“斑秃”, “慢 性疲劳综合症”], “相关症状”: [“毛发色 淡而呈棕色”, “毛发干燥易断”, “皮肤变 硬”], “所属科室”: [“内科”, “皮肤性病”, “放疗、化疗科”], “发病部位”: [“头部”]}{“key word”: “hair loss”, “examinations”: [“hair mineral analysis”], “related diseases”: [“alopecia areata”, “chronic fatigue syndrome”], “related symptoms”: [“hair color is light and brown”, “hair is dry and brittle”, “skin becomes hardened”], “related departments”: [“internal medicine”, “dermatology and venereology”, “radiation and chemotherapy”], “affected area”: [“head”]}
表2：带有指令的实例
instruction（指令）input（输入）output（输出）translate the following sentence into chinese.what are the possible reasons for liver cancer?肝癌可能的原因有什么？
指令微调已被证明对大型语言模型的微调是有效的，这有助于模型在零样本场景下以足够的注释指令为代价取得令人满意的性能。作者基于上述医学知识生成了指令数据。如表2所示，指令微调包括对训练实例的监督微调和用自然语言描述任务的指令。然而，对于医学对话的大型语言模型，输入大多以问题的形式表示，说明都类似于“回答以下问题”。因此，作者丢弃了指令，只为华佗保留输入。生成的指令需要足够多样化，以完成看不见的任务，来自大语言模型的响应中的事实的正确性在生物医学领域更受关注。因此，作者首先从知识图中抽取知识实例，然后使用openai api基于特定知识生成实例。最后，收集了8000多个指令数据，如表3，作为监督微调的训练实例。
表3：监督微调的训练实例
instance（实例）instance（翻译到英文）question患者xxx因头部及眼后部疼痛并能听到连续不断的隆隆声来到医院，医生对其进行了检查后诊断为偏头痛。请问，该病有什么治疗方法？patient xxx came to the hospital due to pain in the head and behind the eyes, accompanied by continuous rumbling sounds. after an examination, the doctor diagnosed the patient with a migraine. what are the treatment options for this condition?answer治疗偏头痛的方法包括药物治疗和非药物治疗。药物治疗主要包括三大类：急性发作期治疗、预防性治疗和混合治疗。非药物治疗包括改变生活方式，如减少熬夜、避免过度劳累、避免饮酒、戒烟等；此外还包括针灸、按摩、脉冲放电治疗等。在治疗中应该综合评估患者的病情、临床表现、个人情况等因素，制定个性化的治疗方案。the methods for treating migraines include medication and non-pharmacological therapies. medication therapy primarily consists of three categories: acute attack treatment, preventative treatment, and mixed treatment. non-pharmacological therapies include lifestyle changes such as reducing staying up late, avoiding overwork, avoiding alcohol consumption, and quitting smoking; in addition, they also include treatments such as acupuncture, massage, and pulse discharge therapy. during treatment, a comprehensive assessment of the patient’s condition, clinical manifestations, personal circumstances, and other factors should be taken into account to develop a personalized treatment plan.
实验
为了证明华佗的性能，作者与四个基线模型进行了比较分析：
llama（touvron等人，2023）是华佗的基础模型。使用llama-7b是因为它与其他基线相比相对公平，并且易于训练。alpaca（taori等人，2023）是llama的一个指令编辑版本，拥有在通用域中生成的80000多个实例。chatglm（zeng et al，2023）是一个专门为中文聊天场景设计的对话模型。作者将华佗的性能与chatglm-6b进行了比较。
对于医疗qa任务，需要安全性safety、可用性usability和流畅性smoothness。安全性决定了是否包括任何可能误导用户进入危险的内容，例如错误的药物建议。可用性反映了特定的医学专业知识。流畅性表示作为语言模型的基本能力。
在自然语言生成领域，各种评估指标被用来评估生成模型的有效性。在一般领域中广泛使用的指标包括bleu和rouge，它们将生成的响应与ground truth进行比较。此外，对于医学问答任务，作者引入了一个评估指标sus。sus度量包括三个维度：安全性、可用性和流畅性。
在这项研究中，作者构建了一个汉语对话场景的测试集，并将华佗模型与其他三个基线模型产生的回答进行了比较。为了评估模型的性能，招募了五名具有医学背景的注释者，他们使用安全性、可用性和平稳性（sus）来评估模型。sus等级范围从1（不可接受）到3（良好），其中2表示可接受。sus的平均分数如表4所示。尽管llama获得了最高的安全性分数，但其回答往往没有信息，并对问题进行了重新表述，导致可用性分数较低。另一方面，华佗模型在不影响安全性的情况下显著提高了知识的可用性。
表4：实验结果比较
作者称华佗计划主要致力于研究，并非旨在提供医疗建议。研究中使用的医学信息来源于开放获取的医学知识图谱。
图1：模型结果对比，bentsao为华佗模型
huatuogpt
huatuogpt的核心是在监督微调阶段利用来自chatgpt的提取数据和来自医生的真实世界数据。chatgpt的反应通常是详细的、呈现良好的和信息丰富的，而它在许多方面不能像医生一样表现，例如在综合诊断方面。作者认为，来自医生的真实世界数据将与提取的数据互补，因为前者可以训练语言模型，使其表现得像医生。为了更好地利用两种数据的优势，作者训练了一个奖励模型，以使语言模型与两种数据带来的优点保持一致，并遵循rlaif（从人工智能反馈中强化学习）。
来自：huatuogpt, towards taming language model to be a doctor
chatgpt在医学上已经足够吗？回答是“否”。根据最近的研究，已经观察到chatgpt甚至gpt-4，在医学等垂直领域表现出相对较差的性能。造成这种现象的一个因素是注释者可能缺乏医学知识的熟练程度。因此，在这一领域存在着进一步探索和改进的重大机遇。
另一方面，在线医疗往往带来定制化和本地化的挑战。例如，中国医学与西方医学有着根本的不同，印度医学和许多其他医学也是如此。然而，chatgpt作为一种通用的语言模型，缺乏定制能力。此外，将用户的医疗数据委托给私营公司会引起人们的担忧，这强调了私人部署以确保本地数据存储的必要性。开发一种完全开源且具有商业可行性的医疗chatgpt将有利于个人健康。
llm4med的预期目的是医疗和健康建议、分诊、诊断、开药、解释医疗报告等。一般来说，任何医疗或健康信息都可以合并到在线聊天过程中，类似于使用chatgpt。在线医疗咨询提供了许多优势，包括：
成本效益：以在线方式为多个用户服务的成本与为单个用户服务的成本不成线性比例。一旦对模型进行了训练，这种可扩展性就可以实现经济高效的扩展。减少医院拥挤：最近的疫情凸显了医院人满为患的风险，因为许多人即使不需要立即就医也会寻求线下咨询。通过提供在线替代方案，可以缓解医院的压力，以减轻未来流行病的风险。解决心理障碍：一些人可能因为恐惧或迷信而不寻求医疗帮助或治疗。在线聊天平台可以为这些人提供一个更舒适的环境来讨论他们的担忧。医疗平等：中国的医疗保健不平等是一个重大问题。一线城市居民与小城市和农村地区居民在医疗条件方面的差异非常显著。
目前，chatgpt在医疗领域存在下面问题：
chatgpt在医学领域表现不佳，尤其是在中文领域；chatgpt因道德和安全问题拒绝诊断和开药；chatgpt的表现不如医生，例如，它从不提问，即使患者的情况不完整，医生通常会询问更多细节。在这种情况下，chatgpt会给出一个通用的响应，而不是专门的响应。
为了克服上述问题，huatuogpt的核心是在监督微调（sft）阶段利用来自医生的真实世界数据和来自chatgpt的提取数据；这两个数据都包括医疗指令数据和医疗会话数据。从chatgpt提取的数据被用来训练语言模型，使其遵循医学指示并流利地说话。额外的真实世界医学数据不仅将医学知识注入语言模型，而且还训练语言模型，以执行医学诊断或开药，像医生一样行事，并提供准确的信息。
huatuogpt的特点如下：
huatuogpt是第一个使用rlaif来利用真实数据和提取数据（包括指令和会话数据）的优点的医学语言模型。人类评估显示，huatuogpt优于现有的开源llm和chatgpt（gpt-3.5-turbo）。其性能与医生最相似。
动机
从纯粹的真实世界对话中训练语言模型是一种常见的做法。然而，这受到低质量数据的影响。例如，现实世界对话中的回答可能是无信息的、简短的和糟糕的。更重要的是，这些数据中的值并不一致，甚至相互矛盾。与chatgpt相比，向纯人类学习通常会导致不满意的基于聊天的语言模型。
最近的工作倾向于从chatgpt中提取语言模型，要么模仿单回合指令中的chatgpt响应，要么在与人类交互聊天时学习chatgpt反应。通过提取chatgpt的输出，模型可以快速获得令人印象深刻的指令跟随能力和无缝对话技能。此外，以其多样性和快速生成为特点，chatgpt提取的数据可以跨越各种医学对话，包括各种疾病、症状和治疗模式。这种广度和多样性大大提高了模型的预测性能和可推广性。
然而，从chatgpt中提取可能不适用于医学llm，因为chatgpt反应和医生反应之间存在根本差距，如图1和表1所示。提取的数据的质量可能会波动，表现为生成的对话中的不正确或模棱两可的信息。
图1：医疗咨询对话中chatgpt回复（左）和医生回复（右）的示例，其中，文本从中文翻译为英文。医生提出的问题用蓝色表示，医学诊断用下划线表示。注意，chatgpt通常不会像医生一样在回答患者时提出问题或提供医学诊断。
表1：chatgpt和医生在各个方面的行为差异。作者认为，向chatgpt和doctors学习是相辅相成的。
爱游戏平台的解决方案
考虑到这些挑战，作者建议将提取数据（来自chatgpt）和真实世界数据（来自doctors）的优势结合起来，如表2所示。目的是训练医学llm，使其表现得像医生。例如，它不仅要提供详细、信息丰富、呈现良好的内容，而且要像医生一样进行准确和互动的诊断（通常提出澄清的问题）。为此，首先在监督微调阶段（sft）混合提取的数据和真实世界的数据。然后，使用人工智能反馈的rl（rlaif）来利用这两种数据的优势，同时减轻它们的弱点。
表2：流行的医学模型中数据源和训练方法的比较。
huatuogpt侧重于整合医生和chatgpt的特征，通过两阶段训练策略提高医疗咨询中的反应质量：混合数据的sft和人工智能反馈的rl。首先利用精心选择的混合数据，通过监督微调来训练模型，然后通过人工智能的反馈来加强所需响应的生成，如图2所示。
图2：huatuogpt框架。
混合数据的sft
在第一阶段，采用了提取数据和真实世界数据的混合，利用这两种优势赋予模型类似医生和患者友好的特征。在每个数据类别中，收集了指令数据和会话数据，以使模型具有指令跟踪和交互式诊断的能力。
从chatgpt提取指令：遵循self-instruct的工作构建了一组医疗指导数据，旨在使模型能够遵循用户的医疗指导。不同之处在于，采用了自上而下的方式来创造更自然、更全面的应对措施。作者设计了一个分类法来收集或手动创建基于角色和用例的种子指令。根据每个角色或用例，使用自我指导分别生成指令。这可以提供广泛的说明，同时为每个角色或用例保留足够的说明。最后，将所有的种子指令混合在一起，进行自我指导；这可能有助于生成更加多样化的指令。
根据之前的工作，使用self-instruct从chatgpt生成指令，并使用手动构建的医学种子指令，提示如下： 与最初的self-instruct不同，作者生成了角色增强指令，它将用于生成具有以下提示的输出。
假设你是一名经验丰富的[medicalrole]，会对患者给予非常耐心且全面的回答，并且语气温柔亲切，非常受患者喜欢。如果患者没有提供给你足够的信息判断，你会反问他相关问题。而且在诊断最后，你还会给予他一些额外的建议。如果患者提问： {question} 那么，你会回答：
从医生获取真实世界指令：真实世界的指令数据来源于医生和患者之间的问答。医生的回答是专业知识，具有高度的相关性和简洁性。因此，通过提炼真实的医患qa对，进一步提高了single-turn指令数据的质量和可靠性。
在实验中，从网络上收集了真实世界的问答数据，并对一组用于训练的高质量问答对进行了采样。每一对都经过llm的提炼。提示如下：
从chatgpt获取对话：提取的对话由两个chatgpt生成，每个chatgpt使用精心设计的提示与一个角色（医生或患者）进行关联。首先，利用第三方医学诊断数据库作为生成合成对话数据的医学知识和专业知识的来源。基于患者的基本背景和医生的最终诊断，两个chatgpt被要求逐一生成对话。在这些对话中，llm产生的回答通常信息丰富、详细、呈现良好，并遵循一致的风格；格式和信息通常对患者友好。
作者展示了用于患者llm和医生llm的提示。患者llm的提示为：
你是一名患者，下面是你的病情，你正在向huatuogpt智能医生咨询病情相关的问题，请记住这是一个多轮咨询过程，每次询问要精炼一些，第一次询问要尽可能简单点、内容少一点。 {medical_case} 当你认为整个问诊应该结束的时候请说：再见
医生llm的提示为：
你是一名经验丰富的医生，会对患者给予非常耐心且全面的回答，说话方式像医生，并且语气温柔亲切，非常受患者喜欢，对患者的询问要回复的更详细更有帮助。如果患者没有提供足够的信息用以诊断，你要反问他相关问题来获取更多信息来做出诊断，做出诊断后你还会给予他一些额外详细的建议。注意，你只能接收患者的描述没法看到图片之类的材料或附件。 如果无法做出明确的诊断，请询问出患者更多的病情信息，最后给出的诊断结果可以是： {doctor_diagnosis}
从医生获得真实世界对话：真实世界的对话是从真实的场景中收集的，医生的反应通常需要不同的能力，包括长期推理和提出问题来指导患者描述自己的症状。然而，这种数据有时过于简洁和口语化。为了解决这一问题，作者利用语言模型来增强和细化基于原始内容的数据，从而生成高质量的真实对话数据集。
表3：混合sft数据的详细信息。description分别为：通过self-instruct生成的医疗指令。种子指令是手动编写的。现实世界场景中的单轮医疗顾问，医生的反应更具体，可以解决用户的医疗问题。医疗多回合对话是使用两个chatgpt创建的：一个充当患者，另一个充当医生。这些对话基于真实世界中的患者案例及其相应的治疗。现实世界场景中的医学多回合对话，对话包括医生的多轮提问和患者的连续提问。
基于ai反馈的rl
在监督微调（sft）阶段，作者引入了一个多样化的数据集，旨在使huatuogpt能够模仿医生的询问和诊断策略，同时保持llm反应的丰富、逻辑和连贯特征。为了进一步使模型的生成偏好与人类需求相一致，建议将强化学习与人工智能反馈相结合，以提高模型响应（response）的质量。此前，openai引入了带有人类反馈的强化学习，以使llm与人类偏好保持一致，但需要付出大量的时间和人力成本。作者设计了一个新的管道，以迫使模型在不偏离医生诊断的情况下生成信息和逻辑响应。
需要训练一个奖励模型，以符合医生和llm的特点。使用真实的指令和对话作为训练数据，从微调的模型中采样多个响应。对于多回合对话，提供对话历史，以调整模型的响应生成。然后，这些response由llm（如chatgpt）进行评分，考虑到信息性、连贯性、对人类偏好的遵守以及基于给定真实医生诊断的事实准确性。评分llm评估每个响应并分配一个分数。使用这些成对的响应数据来训练奖励模型，使用微调模型作为其骨干，以更好地泛化。
在rl过程中，通过对当前策略
π
\pi
π对给定query
x
x
x的
k
k
k个不同response
{
y
1
,
.
.
.
,
y
k
}
\left\{y_1,...,y_k\right\}
{y1?,...,yk?}进行采样。每个response
y
i
y_i
yi?被送到奖励模型以得到奖励分数
r
r
m
r_{rm}
rrm?。为了确保模型不会偏离初始状态
π
0
π_0
π0?太远，作者添加了经验估计的kl惩罚项，最终的奖励函数如下：
r
=
r
r
m
?
λ
k
l
d
k
l
(
π
∣
∣
π
0
)
r=r_{rm}-\lambda_{kl}d_{kl}(\pi||\pi_{0})
r=rrm??λkl?dkl?(π∣∣π0?)其中
λ
k
l
λ_{kl}
λkl?是kl惩罚的超参数，
d
k
l
d_{kl}
dkl?是kl函数。
λ
k
l
λ_{kl}
λkl?通常设置为0.05。输入查询被消除重复并从剩余的sft混合数据中采样。这确保了输入的多样性，同时在单回合指令和多回合对话场景中都保留了模型的response偏好。
医学中的llm
医学领域的语言模型一直是研究者关注的问题。早期的模型主要基于gpt-2系列模型，以继续在医学领域进行训练。biomedlm是生物医学领域特定的大型语言模型，由2.7b gpt-2训练而成。它是在pile数据集的pubmed abstracts和pubmed central部分上训练的，该数据集包含约50b个token，涵盖生物医学文献中的1600万篇摘要和500万篇全文文章。类似地，biogpt是从pubmed官方网站收集的医学数据 gpt-2。对于下游任务，它使用软提示（soft prompt）进行微调训练。
最近，许多人努力试图使用指令微调（instruction fine-tuning）来增强大规模语言模型（>6b）上的医学咨询能力。medalaca是在medical meadow上训练的llama模型，由两个主要类别组成，分为以指令微调格式重新格式化的已建立的医学nlp任务集合，以及各种互联网资源。chatdoctor是一个接受过healthcaremagic-100k训练的llama。healthcaremagic-100k数据集由来自在线医疗咨询网站的10万个真实世界的患者-医生对话组成。chatdoctor具有自主知识检索能力，可以访问实时权威信息，并基于维基百科等数据库回答患者问题，以提高模型响应的准确性。baize-healthcare是baize的一个变体，它对医学数据（quora对话框和医学对话框）进行了微调。与之相关的技术报告尚未公布，导致可用的细节有限，因为只公布了模型权重。med-palm2基于palm2，并在multimedqa中进行了微调，用于专家级医疗问答。
对于中文，doctorglm是在基于chatglm的多个医学qa数据集上训练的中文医学llm。它通过翻译利用来自chatdoctor的训练数据，并将包含五个部门的qa和meddialog聊天数据的中医对话作为训练数据的一部分。bentsao是一个知识增强型中医llm，在8k以上的指令下进行训练。该指令由chatgpt api从cmekg生成。medicalgpt-zh是一个基于chatglm-6b lora的中文医学通用模型，具有16-bit指令微调。用于训练模型的数据集是从28个医疗部门的中医知识问答对和临床指南文本中获得的。
指令微调
参考：finetuned language models are zero-shot learners
这是一个提高语言模型零样本学习能力的方法，在通过指令描述的一组数据集上，instruction tuning可以提高零样本表现。
比较instruction tuning，pretrain–finetune和prompting。对于预训练微调：通常需要许多特定任务的示例，并且每个任务都有一个专门的模型。对于提示：通过few-shot提示或提示工程提高性能。对于指令微调：模型通过自然语言指令学习执行许多任务。
对于预训练-微调范式，这是bert时代引入的，缺点是每个任务都对应一个专用模型。提示范式由gpt-3推广，采用一个经过预训练的大模型，并使用提示在推理时执行下游任务。"提示"可以被视为一种尝试，用于弥合预训练目标和下游任务的差距。对于难以编写提示的任务，依然不能很好工作。
指令微调是在提示范式中插入了一个微调阶段，其目的是教模型执行基于指令的任务，然后要求模型执行一个unseen的任务，这是零样本学习，因为模型事先不知道任务，没有任何推理任务的例子。unseen任务可以是nlp中的任何任务，表述为指令。例如对影评进行情感分类，或者将句子翻译成丹麦语。
从而引出指令微调：对通过指令描述的任务集合的语言模型进行微调。方法从数据集开始，62个nlp数据集被分为12个任务群组。其中，每个任务群组中的数据集都具有相同的任务类型。
对于每个任务群组，描述该任务的10个自然语言指令模板是手动编写的。 上图是一个自然语言推理任务的例子，这里有一些关于俄罗斯人在太空的前提（premise）和假设（hypothesis）。任务是回答假设是否是由前提引起的。
表述任务的一种方法是给出前提再询问模型：基于以上段落，我们能得出俄罗斯人保持着太空停留时间最长的记录吗？
该任务也可以表述为：阅读下面的内容，并确定是否可以从该前提推断出该假设。
为了评估零样本表现，实验应该如下：如果要在nli（自然语言推理）上评估，则对其他所有任务进行微调，并要求微调中没有见到nli数据集。
训练数据中，每个实例都使用10个指令模板表示，训练时，为每个任务群组训练一个单独的ckpt，用于专用该任务。
还没有评论，来说两句吧...