我要求tensorflow在每个时期每100次迭代保存模型,以下是我的代码。但是在900次迭代之后,只保存了500次、600次、700次、800次、900次迭代的训练模型。
with tf.Session(config = tf.ConfigProto(log_device_placement = True)) as sess:
sess.run(init_op)
for i in range(args.num_epochs):
start_time = time.time()
k = 0
acc_train = 0
假设我循环使用以下代码,直到获得满意的准确性为止:
from sklearn.model_selection import train_test_split
x, y = # ... read in some data set ...
c = 3000 # iterate over some arbitrary range
for i in range(c):
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=i)
model = # .
我正在尝试使用BERT进行情感分析,但我怀疑我做错了什么。在我的代码中,我使用bert-for-tf2对bert进行了微调,但在1个时期之后,我获得了42%的准确率,而一个简单的GRU模型获得了大约73%的准确率。我应该做些什么才能有效地使用BERT。我怀疑我正在训练第一批中的bert层,这可能是一个问题,因为密集层是随机初始化的。如有任何建议,我们将不胜感激,谢谢!
import bert-for-tf2 #gets imported as bert but relabeled for clarity
model_name = "uncased_L-12_H-768_A-12"