keras的fit_generator()中数据生成器有什么规范
请问keras的fit_generator()中数据生成器有什么规范嘛？请问关于keras fit_generator这块有没有写得好的书籍推荐？
我在网上找到一个代码，但是我不明白数据生成器是如何运行的，通过断点追进去，也只能进入到 def __init__这个方法里面去，那其他诸如 def__len__，def__getitem__是如何工作的呢？
class DataGenerator(keras.utils.Sequence):
def __init__(self, datas, batch_size=1, shuffle=True):
self.batch_size = batch_size
self.datas = datas
self.indexes = np.arange(len(self.datas))
self.shuffle = shuffle
def __len__(self):
#计算每一个epoch的迭代次数
return math.ceil(len(self.datas) / float(self.batch_size))
def __getitem__(self, index):
#生成每个batch数据，这里就根据自己对数据的读取方式进行发挥了
# 生成batch_size个索引
batch_indexs = self.indexes
# 根据索引获取datas集合中的数据
batch_datas = for k in batch_indexs]
# 生成数据
X, y = self.data_generation(batch_datas)
return X, y
def on_epoch_end(self):
#在每一次epoch结束是否需要进行一次随机，重新随机一下index
if self.shuffle == True:
np.random.shuffle(self.indexes)
def data_generation(self, batch_datas):
images = []
labels = []
# 生成数据
for i, data in enumerate(batch_datas):
#x_train数据
image = cv2.imread(data)
image = list(image)
images.append(image)
#y_train数据
right = data.rfind("\\",0)
left = data.rfind("\\",0,right)+1
class_name = data
if class_name=="dog":
labels.append()
else:
labels.append()
#如果为多输出模型，Y的格式要变一下，外层list格式包裹numpy格式是list
return np.array(images), np.array(labels)
# 读取样本名称，然后根据样本名称去读取数据
class_num = 0
train_datas = []
for file in os.listdir("D:/xxx"):
file_path = os.path.join("D:/xxx", file)
if os.path.isdir(file_path):
class_num = class_num + 1
for sub_file in os.listdir(file_path):
train_datas.append(os.path.join(file_path, sub_file))
# 数据生成器
training_generator = DataGenerator(train_datas)
#构建网络
model = Sequential()
model.add(Dense(units=64, activation='relu', input_dim=784))
model.add(Dense(units=2, activation='softmax'))
model.compile(loss='categorical_crossentropy',
optimizer='sgd',
metrics=['accuracy'])
model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit_generator(training_generator, epochs=50,max_queue_size=10,workers=1)
https://zhuanlan.zhihu.com/p/165188660
注意, tf2 中的 keras 已经废弃 Model.fit_generator 方法, 普通 fit 天然支持 generator. 数据集构建可以参考谷歌官方例程, 构建成的 Dataset 对象应该也算一种生成器. leonrein 发表于 2021-3-25 10:26
https://zhuanlan.zhihu.com/p/165188660
注意, tf2 中的 keras 已经废弃 Model.fit_generator 方法, 普通 ...
谢谢你的回复。以知乎里的涉及到的例子，如果我将断点设置在model.fit_generator(MnistSequence(training_x, training_y, 32), epochs=10000)，追进去只能进入到 def__init__这个方法里面，我怎么能判断我在处理 def__getitem__里的把batch_x有没有错误呢，如何进入到 def__getitem__这个方法里面呢？
class MnistSequence(Sequence):
def __init__(self, x_set, y_set, batch_size):
self.x, self.y = x_set, y_set
self.batch_size = batch_size
def __len__(self):
return int(np.ceil(len(self.x) / float(self.batch_size)))
def __getitem__(self, idx):
batch_x = self.x
batch_y = self.y
return np.array([
resize(imread(file_name), (200, 200))
for file_name in batch_x]), np.array(batch_y)
model.fit_generator(MnistSequence(training_x, training_y, 32), epochs=10000) 直接在def__getitem__这个方法里面下断点不行吗 Learner0x5a 发表于 2021-3-25 11:48
直接在def__getitem__这个方法里面下断点不行吗
试过了，直接在def __getitem__断点不行，不知道为什么，直接跳过去了 wusir2018 发表于 2021-3-25 10:46
谢谢你的回复。以知乎里的涉及到的例子，如果我将断点设置在model.fit_generator(MnistSequence(training ...
单独建立 MnistSequence 对象, 再单独执行对象.__getitem__(idx) ?
leonrein 发表于 2021-3-25 21:31
单独建立 MnistSequence 对象, 再单独执行对象.__getitem__(idx) ?
这种没有试过，单独执行对象.__getitem__(idx)，相当于直接运行 MnistSequence.__getitem__(idx)看看了
页:
[1]