3 Star 0 Fork 1

YijieChen/gpt-rlhf

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
dataset.py 884 Bytes
一键复制 编辑 原始数据 按行查看 历史
YijieChen 提交于 2023-09-11 15:35 +08:00 . Adapt GPT2 to RLHF
class IteratorStore:
def __init__(self, store):
self._index = 0
self.length = len(store)
self.store = store
def __next__(self):
if self._index >= self.length:
raise StopIteration
else:
item = (self.store[self._index].query_tensor,
self.store[self._index].response_tensor,
self.store[self._index].logprobs,
self.store[self._index].values,
self.store[self._index].rewards,
self.store[self._index].advantages,
self.store[self._index].returns,
self.store[self._index].pretrain_ids
)
self._index += 1
return item
def __iter__(self):
self._index = 0
return self
def __len__(self):
return self.length
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/chenyijie6/gpt-rlhf.git
git@gitee.com:chenyijie6/gpt-rlhf.git
chenyijie6
gpt-rlhf
gpt-rlhf
master

搜索帮助