清原一中贴吧TII表示，Falcon 180B拥有1800亿参数，使用4096个GPU在3.5万亿token 数据集上进行训练，这也是目前开源模型里规模最大的预训练数据集之一。Falcon 180B有基础和聊天两个模型，允许商业化。

　　今年5月，「AIGC开放社区」曾介绍过TII发布的一款类ChatGPT开源大语言模型Falcon-40B。

　　Falcon 180B便是在Falcon-40B基础之上研发而成，并将模型参数扩大了4.5倍，训练集从1万亿提升至3.5万亿token，并在算法、推理、硬件部署方面进行了大幅度优化。

　　其中，最大的亮点就是Falcon 180B- chat版本支持中文，并进行了数据微调。

　　Falcon 180B的训练数据集主要来自RefinedWeb的网络数据（大约占85%）。还在对话、技术论文和一小部分代码 (约占 3%) 等，经过整理的混合数据的基础上进行了训练。

　　Falcon 180B-chat模型在聊天和指令数据集上进行了微调，并混合了多个大规模对话数据集，使其能够更好地理解用户的文本提示意图，生成丝滑、流畅、拟人化的各种文本内容。

　　「AIGC开放社区」通过在线demo体验了一下Falcon 180B- chat，使用方法和ChatGPT一样，中文生成的内容基本达到了GPT-3.5的效果，支持单话题，多轮深度询问。

　　例如，询问，中国历史上有哪些著名诗人？Falcon 180B- chat可以按照罗列的方式，列出最知名的诗人。

　　再介绍一下李白对现代人的影响。Falcon 180B- chat的整体回复内容非常丝滑、流畅。

　　TII 成立于2020年，是阿布扎比高等教育和科技部 (ADEK) 旗下的研究机构。TII 的目标是推动科学研究、开发前沿技术并将其商业化，以促进阿布扎比和阿联酋的经济发展。

　　目前，TII拥有来自 74个国家的800多名研究专家，发表了 700 多篇论文和 25 多项专利，是世界领先的科学研究机构之一。