在特斯拉和XAI首席执行官埃隆·马斯克（Elon Musk）声称人工智能可以很快取代医生时，纽约出现了令人震惊的情况，强调了从Generative AI Chatbots获得的非医学专业知识的危险。
一名老人在遵循AI聊天机器人Chatgpt制定的饮食计划后，最近住院，导致了一种罕见的中毒形式。该病例在《内科纪事：临床病例》的一份报告中详细介绍，强调了在没有专业咨询的情况下使用AI进行医疗建议的危险。
60岁的男人要求饮食计划
这位60岁的纽约男子没有先前的病史，他要求AI工具制定饮食计划，以消除饮食中消除氯化钠（餐盐）。作为回应，Chatgpt建议使用溴化钠作为替代品。该男子假设建议是正确的，遵循了三个月的建议。他在线购买了该化合物并将其添加到他的食物中。溴化物曾经在20世纪初期用于焦虑症，但现在被称为高剂量有毒。
该男子最终生病，并在患有严重的神经系统症状（包括妄想症，幻觉和混乱）后被送往医院。他还表现出毒性的身体迹象，例如痤疮样的皮肤喷发和身体上独特的红斑。医生诊断出他患有溴化物的毒性，这种情况如此罕见，现在被认为几乎闻所未闻。
人类医生使他免于中毒
该男子在医院花了三个星期后康复，接受治疗以补充水分并恢复其电解质平衡。案例研究中的医生强调了AI工具的错误信息的风险，并指出，当他们后来问Chatgpt同样的问题时，它再次提出了溴化物，而没有特定的健康警告。
Chatgpt的开发商Openai在其使用方面指出，其服务不打算诊断或治疗医疗状况，并且用户不应依靠输出作为替代专业建议。
但是，许多案件出现了个人依靠Chatgpt或任何其他AI工具寻求医疗帮助的地方，从而使自己处于危险之中。最近，Openai浮出水面，一个癌症幸存者依靠Chatgpt的建议以及医疗监督来成功击败致命疾病。
