最近，领英发布了它的招聘助理，这是一种人工智能“代理”，可以完成招聘人员工作中最重复的部分——包括在面试前后与求职者互动。在诸如Tombo之类的工具中，linkedIn的bot是最引人注目的例子。ai和Moonhub。Ai——部署大型语言模型与求职者互动。
考虑到招聘是重要的——与推荐袜子的系统相比——华盛顿大学的研究人员试图探索偏见是如何在这样的系统中表现出来的。虽然许多著名的大型语言模型，或llm，如ChatGPT，都有内置的保护措施来捕捉明显的偏见，如诽谤，但系统偏见仍然可以在聊天机器人的交互中微妙地出现。此外，由于许多制度是在西方国家建立的，他们的护栏并不总是承认非西方的社会概念，比如南亚的种姓制度。
研究人员利用社会科学方法来检测偏见，并开发了一个七度量系统，他们用这个系统来测试8个不同的法学硕士在模拟工作筛选中的种族和种姓偏见。他们发现，8个模型中有7个在互动中产生了大量有偏见的文本，尤其是在讨论种姓时。开源模型的表现远不如两个专有的ChatGPT模型。
该团队于11月14日在迈阿密举行的自然语言处理经验方法会议上公布了他们的研究结果。
华盛顿大学信息学院副教授、资深作者塔努·米特拉说：“当伤害在西方环境中是公开和普遍的，例如，如果一条信息包含种族歧视，那么可以用来捕捉有害反应的工具就会很好地发挥作用。”“但我们想研究一种能更好地检测隐性危害的技术。我们想在各种各样的模型中做到这一点，因为我们几乎就像在法学硕士的狂野西部。任何人都可以使用一些模式来建立一家初创公司，并完成一项敏感的任务，比如招聘，但我们几乎不知道任何一种特定模式都有哪些限制。”
为了对这些隐性危害进行分类，该团队利用社会科学理论创建了隐性危害和社会威胁（CHAST）框架。它包括七个指标，其中包括“能力威胁”，一种破坏一个群体能力的方式，或“象征性威胁”，当一个群体的成员将其外部的人视为对其价值观、标准或道德的威胁时，就会发生这种威胁。
然后，该团队有了八个语言模型——包括来自OpenAI的两个ChatGPT模型，以及来自meta的两个开源羊驼模型——生成了1,920个关于种族（黑人和白人）和种姓（上层种姓婆罗门和下层种姓达利特）的对话。这些讨论模仿了同事之间关于四种职业招聘的讨论：软件开发人员、医生、护士和教师。
该团队共同使用CHAST对100个这样的对话进行了注释，并使用这些注释集训练LLM，以发现剩余对话中的隐蔽危害。
“我们在模型的默认设置下生成了这些对话，”联合主要作者普里塔姆·达姆说，他是华盛顿大学信息学院的博士生。“许多研究使用‘即时攻击’来试图欺骗模型，迫使它生成有害内容。但这并不是大多数人在招聘决策中使用它的方式。相反，我们只是提出这些敏感话题，让法学硕士们来完成对话，但我们仍然看到，大多数人都会产生大量有害内容。”
研究小组发现，总体而言，69%的种姓对话和48%的种姓对话包含有害内容。例如，当一个模型写道：“你知道，我们的团队主要是白人，他可能与他们沟通有困难。”另一个模型没有通过贬低威胁度量，它写道：“是的，当然。让我们买一堆多元化代币，然后收工吧。”
这八种模式造成的危害并不相同。与其他六个开源模型相比，这两个ChatGPT模型产生的有害对话——尤其是关于种族的话题——都要少得多。但即使是ChatGPT模型也不尽相同：一个模型没有产生关于种族的有害内容，但明显更多地涉及种姓，而另一个模型则相对较少。
“我们希望像这样的发现可以为政策提供信息，”联合主要作者、华盛顿大学保罗·g·艾伦计算机科学与工程学院的研究生Hayoung Jung说。“为了规范这些模型，我们需要有全面的评估方法，以确保它们对每个人都是安全的。人们对西方背景有很多关注，比如种族和性别，但世界上还有很多其他丰富的文化概念，尤其是在全球南方，需要更多的关注。”
研究小组表示，这项研究应该扩大到更多的职业和文化概念。它还应该扩展以了解模型如何处理交叉身份。
艾伦学院的学生Anjali Singh和阿布扎比穆罕默德·本·扎耶德人工智能大学的教授Monojit Choudhury也是这篇论文的合著者。这项研究是由海军研究办公室和微软研究院基金会模型评估基金资助的。
