3月15日晚,在今年的 央视3·15晚会 上,AI大模型被“投毒”的黑色产业链被曝光。其中,一款名为“力擎 GEO 优化系统”的软件被点名,相关软件被指通过批量生成和分发虚假内容,操纵AI大模型的信息来源,从而影响模型输出结果。
央视报道显示,有业内人士在电商平台随机购买了该软件,并进行测试。测试中,研究人员虚构了一款名为 Apollo-9的智能手环产品,并将相关虚假信息输入系统,在勾选“文章创作”等指令后,该软件很快批量生成了多篇内容。随后,这些虚假内容被发布到互联网上,经过一段时间传播后,被多家AI大模型抓取并引用,最终在相关问题中给出了带有推荐性质的回答。
这一过程被业内称为对AI模型进行“投毒”,即通过人为制造并扩散虚假信息源,影响模型在检索和生成过程中的内容判断。随着越来越多大模型依赖互联网内容进行训练或实时检索,这类操作被认为可能对信息生态带来新的风险。
晚会曝光后,相关软件迅速从电商平台下架。在淘宝、闲鱼 等平台上,以“力擎 GEO”为关键词进行搜索,已无法看到相关商品展示。
工商信息显示,“力擎 GEO 优化系统”关联公司为 北京力思文化传媒有限公司。该公司成立于2018年4月,注册资本100万元人民币,法定代表人为 李千钟,经营范围包括组织文化艺术交流活动、文艺创作以及承办展览展示活动等,由李千钟全资持股。(袁宁)